Storm分布式计算框架下基于知识图谱的快速学习资源推荐 被引量：8

1

作者 刘莹 杨淑萍 张治国 《南京邮电大学学报（自然科学版）》 北大核心 2024年第3期93-99,共7页

针对在线学习资源推荐存在精度较低或实时性较差的问题,采用知识图谱进行用户及资源的知识表示,并采用长短时间记忆网络对用户资源特征差进行优化,从而将与用户特征差最小的资源推送给用户。首先,在获得在线学习记录样本后,利用知识图... 针对在线学习资源推荐存在精度较低或实时性较差的问题,采用知识图谱进行用户及资源的知识表示,并采用长短时间记忆网络对用户资源特征差进行优化,从而将与用户特征差最小的资源推送给用户。首先,在获得在线学习记录样本后,利用知识图谱进行实体特征关系的知识表示,并借助Storm分布式框架生成知识图谱中头尾实体及关系特征向量。接着,建立用户-资源实体的最小特征差目标函数,并采用长短时间记忆网络对最小特征差目标函数进行优化。最后,通过Storm分布式平台进行长短时间记忆网络的参数求解,从而快速生成稳定的相关资源推荐模型。实验结果表明,在Storm分布式框架下采用知识图谱和长短时间记忆网络实现在线资源推荐,可获得较高准确率及运行效率,在应对大规模资源的实时推荐方面具有较强的适应度。 展开更多

关键词 资源推荐 知识图谱 storm框架 长短时间记忆 TransD模型

在线阅读 下载PDF 职称材料

基于Storm的实时计算框架的研究与应用 被引量：21

2

作者 李川 鄂海红 宋美娜 《软件》 2014年第10期16-20,共5页

互联网数据的增长,催生了一大批新的数据处理技术,Map Reduce,Hadoop及相关技术使得我们能够处理的数据量比以前要大得多,但这些技术的设计目的都不是为了实时计算。然而随着社交网络服务的流行,大规模的实时数据处理已经越来越成为一... 互联网数据的增长,催生了一大批新的数据处理技术,Map Reduce,Hadoop及相关技术使得我们能够处理的数据量比以前要大得多,但这些技术的设计目的都不是为了实时计算。然而随着社交网络服务的流行,大规模的实时数据处理已经越来越成为一种业务需求。Twitter Storm的出现弥补了Hadoop在实时处理方面的不足。本文就Storm的组成、运行机制以及计算模型进行研究,并设计与实现了基于Storm的社交网络中热门话题的实时计算问题。 展开更多

关键词 实时计算 storm框架 TopN问题 大数据

在线阅读 下载PDF 职称材料

基于Storm的城市智能交通规划方法 被引量：7

3

作者 刘春燕 邹承明 《武汉大学学报（理学版）》 CAS CSCD 北大核心 2019年第5期450-456,共7页

为了缓解城市交通拥堵,提高城市道路利用率,增强路径规划的实时性,提出基于Storm的城市智能交通规划方法。该方法在Storm框架的基础上,设计了城市实时动态路径规划模型(UR-MODE),将用户选择的静态目标和实时路况的动态目标相结合,实现... 为了缓解城市交通拥堵,提高城市道路利用率,增强路径规划的实时性,提出基于Storm的城市智能交通规划方法。该方法在Storm框架的基础上,设计了城市实时动态路径规划模型(UR-MODE),将用户选择的静态目标和实时路况的动态目标相结合,实现城市交通路径的智能规划;针对城市交通数据实时性较强的特点,利用用户偏好值动态选择最优粒子,并结合自适应惯性权重策略和小规模扰动策略,提出改进的自适应粒子群优化(adaptive partner-particle swarm optimization,APPSO)算法,保证模型的高效求解;结合开源实时处理系统Storm,实现了海量实时交通数据处理。仿真实验结果表明,相较于现有路径规划算法,本文方法收敛速度更快、稳定性更强,能减少17%的车辆平均行驶时间,道路资源利用率平均提高58%,大大缓解了城市交通拥堵问题。 展开更多

关键词 智能交通 动态路径规划 多目标优化 粒子群优化 storm框架

原文传递

基于Storm的流媒体实时传输系统 被引量：3

4

作者 翁小松 张征 《计算机系统应用》 2020年第6期64-72,共9页

为了满足流媒体视频数据在传输过程中对数据的时效性、传输效率及传输的准确性这些高要求,本文从实时大数据的流处理应用出发,通过分析流媒体视频数据在实时传输中遇到的难点和所需的关键技术,采用Storm流处理技术实现高性能、低延迟的... 为了满足流媒体视频数据在传输过程中对数据的时效性、传输效率及传输的准确性这些高要求,本文从实时大数据的流处理应用出发,通过分析流媒体视频数据在实时传输中遇到的难点和所需的关键技术,采用Storm流处理技术实现高性能、低延迟的分布式实时传输系统,在Linux系统上完成Storm框架的搭建,设计并实现了流媒体视频数据的传输拓扑任务,同时部署Zookeeper为框架提供高效可靠的分布式协调服务,并搭建流媒体服务器用于视频推流后的存储及客户端的点播.在搭建好Storm框架后,通过了对大规模流媒体视频数据的实时传输测试. 展开更多

关键词 流媒体传输 storm框架 LINUX系统 安装部署 传输测试

在线阅读 下载PDF 职称材料

数据需求驱动的Storm应用辅助开发框架 被引量：2

5

作者 周雯 史雪菲 +1 位作者 吴毅坚 赵文耘 《计算机科学》 CSCD 北大核心 2018年第9期81-88,共8页

Storm支持流式数据的高性能实时计算,是一种广泛使用的流式计算框架。在Storm应用的开发中,开发人员需要针对不同的流式数据需求定制开发相应的计算模块,从而导致大量的重复工作,且难以适应数据需求的变动。如何根据流式数据格式和计算... Storm支持流式数据的高性能实时计算,是一种广泛使用的流式计算框架。在Storm应用的开发中,开发人员需要针对不同的流式数据需求定制开发相应的计算模块,从而导致大量的重复工作,且难以适应数据需求的变动。如何根据流式数据格式和计算方式等数据需求,快速开发Storm应用并配置相应的环境,是提升大部分流式计算应用开发效率的重要问题。提出了流式数据需求描述方法,设计并实现了一种基于Storm的、由数据需求驱动的流式数据实时处理应用辅助开发框架,其根据业务人员描述的领域数据需求自动生成符合数据处理需求的Storm实时数据处理应用。实验表明,该框架能帮助不具备Storm开发能力甚至非软件开发人员快速配置常见的基于Storm的流式计算应用,对于常见的流式数据的实时处理需求具有一定的适应性。 展开更多

关键词 流式计算 开发框架 数据需求 storm

在线阅读 下载PDF 职称材料

基于Storm的AQI实时预测模型 被引量：3

6

作者 刘洪通 冯百明 +1 位作者 温向慧 车翔飞 《计算机工程与设计》 北大核心 2019年第1期296-301,共6页

为解决大数据条件下,预测空气质量指数AQI存在计算耗时长,不能进行实时预测等问题,提出一种基于Storm的AQI实时预测模型S-OKNN。使用Storm计算框架,对KNN算法进行分布式拓展;利用Storm实时流数据计算特点,使模型能够实时预测AQI。实验... 为解决大数据条件下,预测空气质量指数AQI存在计算耗时长,不能进行实时预测等问题,提出一种基于Storm的AQI实时预测模型S-OKNN。使用Storm计算框架,对KNN算法进行分布式拓展;利用Storm实时流数据计算特点,使模型能够实时预测AQI。实验结果表明,在保证预测精度的前提下,基于Storm的AQI实时预测模型S-OKNN比普通的KNN算法具有更快的处理速度、更高的吞吐量、更能满足实时预测AQI的需求。 展开更多

关键词 storm框架 K最近邻算法 空气质量指数 实时预测 大数据

在线阅读 下载PDF 职称材料

分布式计算中基于机器学习聚类的人力资源管理推荐 被引量：1

7

作者 余先玲 王成成 彭玲 《贵阳学院学报（自然科学版）》 2024年第3期80-85,共6页

由于受到特征维度及数据规模的影响,人力资源精准推荐难度提升。为了提高人力资源管理平台的自适应推荐精准度,采用机器学习聚类推荐策略,将AP聚类算法应用于大规模人力资源推荐,并借助于Storm计算框架提高推荐效率。首先,根据人力资源... 由于受到特征维度及数据规模的影响,人力资源精准推荐难度提升。为了提高人力资源管理平台的自适应推荐精准度,采用机器学习聚类推荐策略,将AP聚类算法应用于大规模人力资源推荐,并借助于Storm计算框架提高推荐效率。首先,根据人力资源平台的用户行为记录进行特征提取并初始化,并借助PCA算法进行特征提取,构建求职者和岗位的评分函数。然后,采用AP聚类算法对求职者—岗位特征进行聚类分析,根据聚类结果获得候选岗位推荐序列。AP聚类的所有过程均在Storm分布式节点中完成。通过对4家大型网络招聘平台的仿真分析,分别从不同推荐序列、不同聚类数目及不同特征数的角度下展开人力资源推荐性能分析。结果表明,AP聚类在4家平台的人力资源推荐中获得较高的Recall和F1性能,而分布式计算则有效提升了推荐加速比。 展开更多

关键词 人力资源推荐 机器学习 分布式计算 AP聚类 storm计算框架

在线阅读 下载PDF 职称材料

物联网环境下基于上下文感知的智能交互模型 被引量：5

8

作者 李敏 倪少权 +1 位作者 黄强 杨渝华 《西南交通大学学报》 EI CSCD 北大核心 2016年第6期1239-1249,共11页

为了提高物联网环境下平台交互的实时性,在Storm框架的基础上,建立了物联网环境下基于上下文感知的智能交互模型.该模型将异构、非结构化数据抽像为上下文,构建了上下文适配、上下文存储与上下文感知3个核心模块,并采用基于Storm框架的... 为了提高物联网环境下平台交互的实时性,在Storm框架的基础上,建立了物联网环境下基于上下文感知的智能交互模型.该模型将异构、非结构化数据抽像为上下文,构建了上下文适配、上下文存储与上下文感知3个核心模块,并采用基于Storm框架的规则匹配算法解决了上下文与规则的持续模糊匹配问题.实例验证结果表明:在样本量接近1 000的情况下,IITCA能够达到与人工操作相同的有效性;具有与基于Hadoop框架构建模型相当的数据吞吐能力;设置Spout组件为3、Bolt为6时,模型数据处理的平均时延稳定于50 ms,满足数据处理的实时性要求. 展开更多

关键词 上下文 感知 storm框架 规则匹配 物联网

在线阅读 下载PDF 职称材料

基于EMD距离的数据流分布式相似性连接技术 被引量：4

9

作者 许嘉 宋超 +1 位作者 吕品 李陶深 《计算机学报》 EI CSCD 北大核心 2019年第8期1779-1796,共18页

随着数据获取设备的不断进步和数据获取技术的快速发展,如何分析和挖掘应用中快速产生的数据流成为亟待解决的问题.数据流的相似性连接返回两个数据流上相似的数据对,是分析和挖掘数据流的重要操作.相比于Lp范式距离,例如曼哈顿距离和... 随着数据获取设备的不断进步和数据获取技术的快速发展,如何分析和挖掘应用中快速产生的数据流成为亟待解决的问题.数据流的相似性连接返回两个数据流上相似的数据对,是分析和挖掘数据流的重要操作.相比于Lp范式距离,例如曼哈顿距离和欧氏距离,EMD距离(Earth Mover’s Distance)因其可以更准确地量化直方图元组之间的相似性而受到广泛关注,被广泛应用于解决基于内容的图像检索、冗余图像识别以及视频对象跟踪等重要应用问题.然而EMD距离的计算复杂度却高达三次方,阻碍了EMD距离在数据流相似性连接问题中的应用.该文基于开源的Apache Storm数据流分布式并行处理框架,设计并实现了基于EMD距离的数据流分布式相似性连接技术,命名为EMD-DDSJ技术.该技术在数据分发时维护了连接计算节点上的数据局部性,并基于该数据局部性增强了连接算法对不相似直方图元组对间EMD计算的过滤性能,提高了各个连接计算节点的执行效率.同时基于连接计算节点的代价模型,提出了基于反馈的负载均衡策略,有效提升EMD-DDSJ技术的整体执行性能.在真实数据集上的实验结果展示了该文提出的EMD-DDSJ技术的高效性和可扩展性,比相关最好的技术在处理吞吐率上最高提升了1.4倍,在元组平均处理延迟上最多降低了44%,并且随着相似性阈值或滑动窗口大小的增大该提升比率还会进一步增大. 展开更多

关键词 EMD距离 相似性连接 数据流 APACHE storm框架 数据局部性

在线阅读 下载PDF 职称材料

基于分布式计算框架的风暴三维追踪方法 被引量：3

10

作者 曾沁 李永生 《计算机应用》 CSCD 北大核心 2017年第4期941-944,共4页

气象数据的增长规模已达到每小时TB级,这使得传统基于关系型数据库和文件存储系统在海量数据存储与管理方面捉襟见肘,进而使得基于大规模异构气象数据的应用无法规模化,同时,也无法满足科研人员对海量气象数据高效探索的需要。为解决这... 气象数据的增长规模已达到每小时TB级,这使得传统基于关系型数据库和文件存储系统在海量数据存储与管理方面捉襟见肘,进而使得基于大规模异构气象数据的应用无法规模化,同时,也无法满足科研人员对海量气象数据高效探索的需要。为解决这一系列问题,研究者分别基于MapReduce、HBase等分布式框架下的分布式计算和存储技术,尝试为海量气象数据的探索提供有效技术手段,然而,综合性的研究据了解还未开展。因此,利用近年来积累的海量多普勒天气雷达数据,开展了基于MapReduce和HBase相结合的风暴三维追踪方法的研究,并基于传统Rest标准化接口实现了雷达资料的点、线、面、体的多种分布式服务接口,与传统的Rest标准化单机数据存储和访问接口的性能相比,所实现方法在性能方面有100%的效率提升。最后,以2007年至2009年珠江三角洲地区三年雷达数据的风暴追踪回算为例,进一步验证了所提方法在计算和存储管理方面的性能优势。 展开更多

关键词 分布式计算框架 风暴追踪算法 长时间序列分析

在线阅读 下载PDF 职称材料

一种微服务框架的暴雨强度服务平台设计与实现 被引量：5

11

作者 刘樱 杨明 +3 位作者 徐集云 王锐 曾悠 高婷 《现代计算机》 2019年第18期91-94,共4页

为了解决传统气候暴雨强度服务在扩展性和易维护性方面存在的不足,对基于微服务框架的暴雨强度服务平台开发设计中的关键技术进行研究与实现,主要包括微服务框架的特性、微服务框架的暴雨强度服务平台框架设计,同时对微服务框架应用于... 为了解决传统气候暴雨强度服务在扩展性和易维护性方面存在的不足,对基于微服务框架的暴雨强度服务平台开发设计中的关键技术进行研究与实现,主要包括微服务框架的特性、微服务框架的暴雨强度服务平台框架设计,同时对微服务框架应用于暴雨强度服务的若干关键技术问题进行讨论与分析,实现基于微服务框架的暴雨强度服务平台,为暴雨强度在气象业务和气候评估中的应用起到一定的作用。 展开更多

关键词 微服务框架 暴雨强度 服务平台

在线阅读 下载PDF 职称材料

暴雨洪涝灾情快速监测评估技术框架体系与应用:以2022年6月北江流域洪水灾情分析为例 被引量：9

12

作者 王先伟 宁亚洲 +6 位作者 方勇军 袁培卿 高一骁 钟志伟 陈定安 李郇 陈栋胜 《水利水电技术（中英文）》 北大核心 2023年第3期1-20,共20页

【目的】暴雨洪涝灾情快速评估在洪灾应急救援和灾后恢复重建中发挥着重要作用,但仍面临诸多挑战。为快速监测和评估洪涝灾情,建立一套集成天空地网多源信息与多种技术的暴雨洪涝灾情快速监测评估技术框架体系,【方法】以2022年6月北江... 【目的】暴雨洪涝灾情快速评估在洪灾应急救援和灾后恢复重建中发挥着重要作用,但仍面临诸多挑战。为快速监测和评估洪涝灾情,建立一套集成天空地网多源信息与多种技术的暴雨洪涝灾情快速监测评估技术框架体系,【方法】以2022年6月北江暴雨洪灾为例,综合利用雨量、河道水位、网络淹没图片和视频、卫星遥感影像、地面调研测绘和无人机低空航测等多源数据、水文模型和地理空间分析技术,通过实地调研测绘和无人机航测,结合遥感影像、水力学模型和地理空间分析技术,快速识别本次洪水淹没深度范围、分析淹没区内的受灾人口、房屋、农田等基本灾情,在洪水灾情分析的实战中检验集成天空地网多源信息的暴雨洪涝灾情快速监测评估技术。【结果】结果显示:清远市新增的淹没面积为478 km^(2),其中淹没农田307 km^(2)(64%),淹没区内有74119栋房屋和167306人;韶关市新增的淹没面积为90 km^(2),其中淹没农田46 km^(2)(51%),淹没区内有15629栋房屋和78037人。【结论】结果表明:无人机航测结合地面RTK高程和洪痕测绘,将在洪涝灾情快速调查评估中发挥越来越重要的作用;卫星影像可快速揭示洪水淹没区的总体格局,但受云层遮档和过境时间的影响,难以获取最大淹没范围;洪涝淹没区公众提供的各类网络众包信息是最直接和现时的洪涝灾情信息,需要认真核实和充分利用;结合河道等各类实测水位,HAND模型可以快速估算出淹没深度范围,有很大的推广应用价值。通过对本次北江洪涝灾情的快速模拟和初步分析,充分展示了各类前沿技术在洪涝灾情快速识别中的独特作用,可为洪涝灾情应急监测方案设计和技术准备提供参考。 展开更多

关键词 暴雨洪涝 多源信息 技术框架 快速监测 灾情分析 降水 径流 卫星遥感

在线阅读 下载PDF 职称材料

BDAP——一个基于Spark的数据挖掘工具平台 被引量：9

13

作者 卜尧 吴斌 +1 位作者 陈玉峰 白德盟 《中国科学技术大学学报》 CAS CSCD 北大核心 2017年第4期358-368,共11页

大数据处理系统是大数据领域的一个热点,为此首先研究大数据分析平台的架构与功能,将大数据分析平台分为数据源、数据吸收层、数据存储层、平台层、安全与监控层、设备层和应用层.平台包含多个数据预处理和算法模块,平台架构为大数据分... 大数据处理系统是大数据领域的一个热点,为此首先研究大数据分析平台的架构与功能,将大数据分析平台分为数据源、数据吸收层、数据存储层、平台层、安全与监控层、设备层和应用层.平台包含多个数据预处理和算法模块,平台架构为大数据分析了奠定基础.在功能上,该平台功能全面,可以自由组合各种操作,模块之间耦合度低,便于维护和拓展.在用户体验上,调参、建立流程、监控、数据挖掘过程都是可视的,融合工作流和调度流技术.在性能上,该平台相应算法的性能优于Hive和MLlib.最后,举例说明大数据挖掘平台的应用场景.可以对电网线路故障和气象数据进行预处理,从而对故障进行预测和分类,可以通过视频挖掘组件,对数据分类. 展开更多

关键词 大数据分析平台 HADOOP storm SPARK 批处理 数据挖掘

在线阅读 下载PDF 职称材料

“海绵城市”建设的关键科学问题与思考 被引量：86

14

作者 李兰 李锋 《生态学报》 CAS CSCD 北大核心 2018年第7期2599-2606,共8页

"海绵城市"是学术界、政府和企业界特别关注的热点之一,具有有效防止城市雨洪灾害、改善水生态和水环境、提高生物多样性等多方面的服务功能,有助于城市社会经济发展。在目前全国范围内发生城市内涝的严重情况下,科学地进行&q... "海绵城市"是学术界、政府和企业界特别关注的热点之一,具有有效防止城市雨洪灾害、改善水生态和水环境、提高生物多样性等多方面的服务功能,有助于城市社会经济发展。在目前全国范围内发生城市内涝的严重情况下,科学地进行"海绵城市"建设显得尤为重要。对"海绵城市"的研究背景、概念与内涵、建设途径、主要技术、国内发展现状等进行了总结和归纳,并提出"海绵城市"建设的关键科学问题,并进行深入思考,建立"SPONGE"框架来概括整个"海绵城市"的建设内容,为今后的"海绵城市"研究和建设提供参考。 展开更多

关键词 海绵城市 城市内涝 雨洪管理 生态系统服务 “SPONGE”框架

在线阅读 下载PDF 职称材料

面向油色谱化学成分分析的变压器并行诊断研究 被引量：3

15

作者 郑博文 王秋雯 +1 位作者 牛斌 陶宇 《粘接》 CAS 2020年第3期39-43,共5页

针对变压器油色谱分析的智能化需求,提出一种基于大数据和三维场景的变压器油色谱诊断模型。为验证该模型的准确性,首先采用HDFS+HBase完成对诊断架构的搭建;然后引入Storm框架+OAO-RVM的并行化诊断框架;通过obj完成对挖掘结果的可视化... 针对变压器油色谱分析的智能化需求,提出一种基于大数据和三维场景的变压器油色谱诊断模型。为验证该模型的准确性,首先采用HDFS+HBase完成对诊断架构的搭建;然后引入Storm框架+OAO-RVM的并行化诊断框架;通过obj完成对挖掘结果的可视化。最后,搭建服务集群,对上述方案进行验证,结果表明本方案对变压器DGA数据的挖掘准确率高达95.37%,并可实现大规模的变压器油色谱数据的挖掘,表现出良好的性能。同时通过三维场景,可实时展示变压器的溶解气体成分与比值,为变压器故障的可视化诊断提供了参考。 展开更多

关键词 溶解气体成分 storm框架 三维场景 相关向量机

在线阅读 下载PDF 职称材料

应对告警风暴告警的系统优化策略 被引量：3

16

作者 甘雯 文锋 +4 位作者 宫大鹏 徐钽 黄甫光 张健 苏雷 《电信科学》 北大核心 2015年第5期121-128,共8页

长期以来,随着网络规模的扩大,告警风暴一直是电信网络管理工作的重点与难点。通过对现有告警堆积日常处理经验的研究,包括融合对硬件架构调整、软件调整、中间件配置优化等方法,得到一套解决告警风暴的处理思路,为电信运营商解决此类... 长期以来,随着网络规模的扩大,告警风暴一直是电信网络管理工作的重点与难点。通过对现有告警堆积日常处理经验的研究,包括融合对硬件架构调整、软件调整、中间件配置优化等方法,得到一套解决告警风暴的处理思路,为电信运营商解决此类问题提供借鉴经验。 展开更多

关键词 告警风暴处理 综合告警架构优化 应对告警量突增

在线阅读 下载PDF 职称材料

雨水排水体系构建和技术发展重点的综述 被引量：1

17

作者 陈华 《净水技术》 CAS 2014年第1期16-18,38,共4页

该文介绍了国际通行的雨水排水体系构架,阐述了"小排水系统"和"大排水系统"的定义,分析了两者在防汛除涝方面的关系。

关键词 雨水排水 排水体系架构 大排水系统 小排水系统 技术发展重点

在线阅读 下载PDF 职称材料

微博数据下突发事件在线检测的研究 被引量：1

18

作者 方中纯 宋平 《电脑知识与技术》 2020年第20期211-212,217,共3页

为了改善现有突发检测的不足,提出一种融合词特征和Strom框架的突发事件在线检测模型。在基于词特征的检测模型的基础上,使用Strom分布式框架,结合层次聚类算法,在线检测微博事件中的突发事件。实验结果表明进行检索评估测试时取得了较... 为了改善现有突发检测的不足,提出一种融合词特征和Strom框架的突发事件在线检测模型。在基于词特征的检测模型的基础上,使用Strom分布式框架,结合层次聚类算法,在线检测微博事件中的突发事件。实验结果表明进行检索评估测试时取得了较好结果,很好的实现在线检测。 展开更多

关键词 突发事件 Strom框架 层次聚类 在线检测

在线阅读 下载PDF 职称材料