一种基于Spark在线Web服务的高效低延迟调度资源算法 被引量：2

1

作者 丁晶晶 张功萱 《计算机工程与科学》 CSCD 北大核心 2016年第8期1550-1556,共7页

Spark作为流行的分布式数据处理框架,其资源的调度方式和资源的利用率直接关系到集群计算处理的效率和速度。针对Spark资源调度问题,在Spark自身考虑的资源因素内存和空余核数下,提出新的调度算法。算法通过实时监视工作节点资源利用情... Spark作为流行的分布式数据处理框架,其资源的调度方式和资源的利用率直接关系到集群计算处理的效率和速度。针对Spark资源调度问题,在Spark自身考虑的资源因素内存和空余核数下,提出新的调度算法。算法通过实时监视工作节点资源利用情况,增加对节点CPU处理速度和CPU剩余利用率的考虑,重新调度与分配资源,为Spark作为Web服务高并发请求、低延迟响应提供优化,还可以减少传统方式没有考虑的资源因素导致出现的资源利用倾斜现象,提高资源的利用率。实验表明,改进的资源调度算法有较好的效果。 展开更多

关键词 spark web服务 资源监视 资源调度

在线阅读 下载PDF 职称材料

基于Openfire、SparkWeb构建即时消息平台 被引量：2

2

作者 周云飞 刘立明 《电脑知识与技术》 2015年第1X期121 124-,124,共2页

该文介绍一种基于开源软件Openfire、SparkWeb二次开发的公司内部消息平台的解决方案,并以新兴即时通项目为例说明实现消息平台的开发过程和应用效果。

关键词 OPENFIRE sparkweb 即时通讯

在线阅读 下载PDF 职称材料

基于Spark技术的气象数据分析

3

作者 刘丽景 刘力维 +1 位作者 王林 郝婉婷 《黑龙江科学》 2024年第2期56-59,共4页

近些年来,气象数据规模及复杂性大大增加,这对气象数据的存储、利用及加工分析提出了更高的要求。需采用适当的技术及策略,更好地利用分析气象数据,为天气预报、气候研究及社会公共服务提供更大的价值。通过网络爬虫爬取实时天气数据,... 近些年来,气象数据规模及复杂性大大增加,这对气象数据的存储、利用及加工分析提出了更高的要求。需采用适当的技术及策略,更好地利用分析气象数据,为天气预报、气候研究及社会公共服务提供更大的价值。通过网络爬虫爬取实时天气数据,发送实时数据到Kafka消息系统中,利用Spark技术从消息队列中获取实时数据并进行数据清洗、转换、归一化、聚合、汇总、分组等操作,实现气象数据的多维度分析,利用Spark计算结果将处理后的数据进行可视化,以图表、图形等形式进行展示。 展开更多

关键词 气象数据分析 网络爬虫 消息队列 spark数据分析

在线阅读 下载PDF 职称材料

基于Spark的网络日志分析系统设计与实现 被引量：4

4

作者 汪小霞 《无线互联科技》 2021年第10期23-24,共2页

当下,互联网技术已经广泛地应用于企业办公系统。企业在需要对业务进行处理时,对互联网有着较高的需求。在利用网络技术的基础上,工作人员可以有效地借助飞快的信息传播速度,降低工作的成本,同时也可以进一步提升办公的整体效能。因此,... 当下,互联网技术已经广泛地应用于企业办公系统。企业在需要对业务进行处理时,对互联网有着较高的需求。在利用网络技术的基础上,工作人员可以有效地借助飞快的信息传播速度,降低工作的成本,同时也可以进一步提升办公的整体效能。因此,文章针对Spark的网络日志,进行系统设计、分析以及阐述,以此为相关领域的研究人员提供参考。 展开更多

关键词 spark 网络日志 系统构建 逻辑处理 网页展示

在线阅读 下载PDF 职称材料

Spark框架下基于对比散度的网络服务TLRBM推荐算法 被引量：2

5

作者 那勇 《计算机应用与软件》 北大核心 2019年第8期293-299,共7页

为提高Web服务推荐算法的可靠性和时效性,提出一种Spark框架下基于对比散度的网络服务推荐算法。基于用户之间的直接信任关系,构建信任网络无向图模型,提出一种基于两层受限玻尔兹曼机的Web服务质量预测模型TLRBM(Two Layers Restricted... 为提高Web服务推荐算法的可靠性和时效性,提出一种Spark框架下基于对比散度的网络服务推荐算法。基于用户之间的直接信任关系,构建信任网络无向图模型,提出一种基于两层受限玻尔兹曼机的Web服务质量预测模型TLRBM(Two Layers Restricted Boltzmann Machine Model),并将该模型应用于Web服务质量预测。为提高算法处理Web服务大数据的能力,采用对比散度算法CD(Contrastive Divergence)来提高收敛速度,并采用Spark框架实现TLRBM的并行化执行,大幅度提升了Web服务推荐算法的计算速度。通过在Epinions数据集上的仿真测试,验证了该算法在Web服务推荐算法的可靠性和时效性上的性能优势。 展开更多

关键词 spark框架 并行化 web服务 玻尔兹曼机 推荐算法 云计算 大数据

在线阅读 下载PDF 职称材料

基于Spark和Redis的大规模RDF数据查询系统 被引量：1

6

作者 阳杰 王木涵 徐九韵 《计算机系统应用》 2017年第9期69-74,共6页

随着语义Web技术的不断发展,RDF数据量增长迅速,单机RDF查询系统已经难以满足现实需要,研究和构建分布式RDF查询系统已经成为学术界与工业界的研究热点之一.现有的RDF查询系统主要是基于Hadoop或通用分布式技术.前者磁盘I/O太高;后者则... 随着语义Web技术的不断发展,RDF数据量增长迅速,单机RDF查询系统已经难以满足现实需要,研究和构建分布式RDF查询系统已经成为学术界与工业界的研究热点之一.现有的RDF查询系统主要是基于Hadoop或通用分布式技术.前者磁盘I/O太高;后者则可扩展性较差.且两种系统在基本图模式查询时,效率都较低.针对上述问题,本文设计了基于Spark和Redis的分布式系统架构,并改进了查询计划生成算法,最后实现了原型系统RDF-SR.该系统使用Spark减少了磁盘I/O,借助Redis提高了数据映射速率,利用改进的算法减少了数据混洗次数.实验表明,相比于现有的其他系统,RDF-SR既保持了较高可扩展性,又在基本图模式查询时,具有更高的性能. 展开更多

关键词 语义web 大规模RDF spark REDIS

在线阅读 下载PDF 职称材料

基于Spark的OWL语义规则并行化推理算法 被引量：2

7

作者 赵慧含 刘鹏 《计算机应用研究》 CSCD 北大核心 2018年第4期1076-1079,1095,共5页

随着语义网的快速发展,语义数据也高速增长,传统单机推理系统无法满足推理需求,而已有的并行推理算法在推理完备性和稳定性上存在明显不足。为此提出的基于Spark的并行推理算法(PROS)从以下三点进行了优化:通过分析OWL Horst规则依赖关... 随着语义网的快速发展,语义数据也高速增长,传统单机推理系统无法满足推理需求,而已有的并行推理算法在推理完备性和稳定性上存在明显不足。为此提出的基于Spark的并行推理算法(PROS)从以下三点进行了优化:通过分析OWL Horst规则依赖关系,结合数据的分类结果将规则分为四类;四类规则分别设计了区域最优的规则执行顺序,进一步提高了并行推理的执行效率;将same As规则考虑到迭代中,显著提高了算法的推理能力。实验结果表明,相比已有并行推理算法,PROS并行推理算法在保证推理完备性和稳定性上表现更加出色,推理效率亦有小幅提高;同时PROS相比单机推理算法大大缩短了推理时间,处理大规模数据展现出了优良的并行扩展性。 展开更多

关键词 语义推理 网络本体语言 OWL Horst规则 并行化 spark

在线阅读 下载PDF 职称材料

基于Spark的气象数据处理与分析系统的设计与实现 被引量：1

8

作者 刘海 王明珠 +3 位作者 刘世超 石钊宇 刘明阳 孙浩然 《河南科技》 2021年第29期26-28,共3页

将智能化信息应用于天气信息领域,是当今社会发展的必然趋势。通过使用中央气象台官方网站中的数据,利用爬虫技术提取各个城市的天气状况,基于Spark技术对数据进行处理分析,利用SSM框架实现分析结果数据的可视化,设计了基于Spark的气息... 将智能化信息应用于天气信息领域,是当今社会发展的必然趋势。通过使用中央气象台官方网站中的数据,利用爬虫技术提取各个城市的天气状况,基于Spark技术对数据进行处理分析,利用SSM框架实现分析结果数据的可视化,设计了基于Spark的气息数据处理与分析系统。系统的实现将对人们的日常生产生活产生积极的影响。 展开更多

关键词 spark技术 气象数据 SSM框架 网络爬虫

在线阅读 下载PDF 职称材料

基于spark技术的心脏病预测平台研究与设计

9

作者 杨宇 《电子测试》 2021年第17期91-93,共3页

针对目前心脏病预测存在的准确率低、技术平台分散、耦合差等问题,本文采用spark大数据处理技术,结合HDFS分布式数据存储技术,设计一种心脏病预测平台。该平台选用spark机器学习库中的决策树算法实现心脏病预测建模,利用SpringBoot技术... 针对目前心脏病预测存在的准确率低、技术平台分散、耦合差等问题,本文采用spark大数据处理技术,结合HDFS分布式数据存储技术,设计一种心脏病预测平台。该平台选用spark机器学习库中的决策树算法实现心脏病预测建模,利用SpringBoot技术搭建Web服务器,结合Mysql数据库实现预测模型与Web服务器的数据实时交互。本文以美国某区域ICU开源的体测数据为数据源,对平台进行验证,通过测试,该平台可以根据用户提供的体态数据实时预测是否患有心脏病,准确率达到89.2%。系统具有稳定可靠、操作简单、实时性强等特点。 展开更多

关键词 心脏病 spark HDFS web服务器 SpringBoot MYSQL

在线阅读 下载PDF 职称材料

基于Spark的Web文本挖掘系统的研究与实现

10

作者 林昊 喻金平 《信息与电脑》 2025年第22期144-147,共4页

文章基于Spark大数据处理框架,设计并实现了一个Web文本挖掘系统。该系统通过异步爬虫技术从学术期刊获取文本数据,利用Spark框架的分布式计算能力与结巴分词工具,结合词云等可视化技术,最终通过Web界面对文本挖掘结果进行展示。实验结... 文章基于Spark大数据处理框架,设计并实现了一个Web文本挖掘系统。该系统通过异步爬虫技术从学术期刊获取文本数据,利用Spark框架的分布式计算能力与结巴分词工具,结合词云等可视化技术,最终通过Web界面对文本挖掘结果进行展示。实验结果表明,该设计能够高效处理大规模文本数据,与传统方法相比,具有更高的处理效率。 展开更多

关键词 文本挖掘 spark 分布式计算 数据可视化 web系统

在线阅读 下载PDF 职称材料

Goldfish:基于矩阵分解的大规模RDF数据存储与查询系统 被引量：11

11

作者 顾荣 仇红剑 +3 位作者 杨文家 胡伟 袁春风 黄宜华 《计算机学报》 EI CSCD 北大核心 2017年第10期2212-2230,共19页

随着互联网应用的迅猛发展和语义网技术研究的深入,语义数据呈现出爆炸性增长趋势.一方面,对于语义数据实现高效存储和查询是语义网应用的重要基础,越来越多的语义应用可以依赖于此以提供更好的服务;另一方面,语义数据的爆炸性增长,对... 随着互联网应用的迅猛发展和语义网技术研究的深入,语义数据呈现出爆炸性增长趋势.一方面,对于语义数据实现高效存储和查询是语义网应用的重要基础,越来越多的语义应用可以依赖于此以提供更好的服务;另一方面,语义数据的爆炸性增长,对大数据环境下的语义数据的存储与查询技术提出了新的挑战.传统的基于关系型数据库的语义数据与查询系统已难以满足大规模语义数据的存储与查询需求.该文针对大规模RDF数据的存储与查询问题,以OpenRDF Sesame框架为基础,采用分布式分层式存储架构,提出并实现了属性表存储结构来进行语义数据的存储.在此基础上,针对布尔矩阵分解算法在对大规模语义数据构造属性表较慢的问题,基于Spark分布式计算框架提出并实现了并行化频繁项集挖掘算法求解大规模矩阵分解,以加速属性表的构造过程.并且,在查询层增加了基于哈希转换等查询优化.最后,基于该文所提出的索引结构和优化方法设计实现了原型系统Goldfish,并在大规模合成和真实数据集上进行了实验对比.结果表明,Goldfish原型系统比Rainbow系统查询性能平均提升约6倍,比Jena-HBase查询性能平均提升约500倍,比基于MapReduce的RDF查询系统SHARD性能平均提升约1200倍. 展开更多

关键词 大规模RDF存储 矩阵分解 分层式存储 大数据 语义网 spark

在线阅读 下载PDF 职称材料

矢量瓦片并行构建与分布式存储模型研究 被引量：14

12

作者 聂沛 陈广胜 景维鹏 《地球信息科学学报》 CSCD 北大核心 2020年第7期1487-1496,共10页

矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数... 矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数,将原始矢量数据GeoJson转换成mvt瓦片集;对于生成的矢量瓦片集,本文基于分布式内存文件系统Alluxio设计一个瓦片存储模型-VectorTileStore,模型以键值对进行数据存储,瓦片元数据占据前八个键值对,单个瓦片占据一个键值对,在数据写入的同时,基于键构建一个哈希索引,用于快速访问,模型兼容海量瓦片的组织存储,具有很强的扩展性。通过实验结果表明,本文提出的矢量瓦片并行构建算法较单机构建算法运行时间平均减少49.6%,分布式存储模型VectorTileStore较传统方案更适合海量矢量瓦片存储,存取时间效率更高。 展开更多

关键词 矢量瓦片 web地图服务 并行处理 spark 分布式存储 Alluxio

原文传递

基于网络日志进行大数据分析的安全感知 被引量：3

13

作者 向永谦 李欣 满建文 《自动化博览》 2018年第6期76-80,共5页

基于网络日志的大数据分析感知可以从技术上有效通过网络安全应用进行安全事件发生前的迹象捕捉,从而进行预防与设置陷阱,对安全进行有效防护。

关键词 大数据分析 网络日志 安全感知 陷阱捕捉 HADOOP spark

在线阅读 下载PDF 职称材料