期刊文献+
共找到12篇文章
< 1 >
每页显示 20 50 100
基于SparkStreaming的实时路桥检测系统的设计与实现
1
作者 穆荣 《中文科技期刊数据库(全文版)工程技术》 2025年第4期159-163,共5页
在现阶段的交通体系中,桥梁作为关键枢纽,其关键性逐步凸显,除了极大地便利了民众生活,还有效驱动了经济的蓬勃发展。然而,以往桥梁监测手段多依赖于管理人员与技术人员的主观判断,缺乏系统标准的技术支撑。而信息的滞后传递,使得桥梁... 在现阶段的交通体系中,桥梁作为关键枢纽,其关键性逐步凸显,除了极大地便利了民众生活,还有效驱动了经济的蓬勃发展。然而,以往桥梁监测手段多依赖于管理人员与技术人员的主观判断,缺乏系统标准的技术支撑。而信息的滞后传递,使得桥梁健康状态的评估与响应机制难以高效运转。若低估桥梁受损程度,将错失最佳维护时机,加快其老化速度,缩短使用年限;反之,高估损害则会导致资源耗费,影响桥梁的正常使用效率。所以,建立对桥梁状况的实时监测与精准预判机制,对于桥梁的有效维护与长期安全运营必不可少。文章聚焦于基于SparkStreaming技术的实时路桥检测系统的设计、达成措施,旨在探索提升桥梁监测效率与准确性的实施途径,为有关领域提供一定的帮助。 展开更多
关键词 sparkstreaming 路桥检测 大数据
在线阅读 下载PDF
基于SparkStreaming的车辆轨迹实时处理实现研究
2
作者 马晟 刘雅伦 +1 位作者 陈晓男 沈漪 《科技资讯》 2021年第32期26-28,共3页
城市的发展使得运营车辆日益增长,车辆调度愈发困难,传统系统无法满足现有众多车辆的监控调度与运营。该程序基于大数据流处理系统,实现了大批量的车辆信息监测和实时处理以及车辆的精细监控与轨迹回放。可用于网约车、公交车以及货运... 城市的发展使得运营车辆日益增长,车辆调度愈发困难,传统系统无法满足现有众多车辆的监控调度与运营。该程序基于大数据流处理系统,实现了大批量的车辆信息监测和实时处理以及车辆的精细监控与轨迹回放。可用于网约车、公交车以及货运集团的调度中心进行实时监控和订单把控,以提高车辆调度的灵活性,达到最优调度、减少成本的效果。 展开更多
关键词 sparkstreaming 大数据 轨迹回放 交通
在线阅读 下载PDF
基于Spark Streaming的实时日志处理平台设计与实现 被引量:12
3
作者 薛瑞 朱晓民 《电信工程技术与标准化》 2015年第9期55-58,共4页
本文基于Hadoop Yarn平台,通过Spark Streaming流数据处理技术实时处理Web日志、系统日志、监控日志等,很好地解决了目前存在的问题,并使用HBase(Hadoop No SQL Database)作为数据库存储,更好地适应日志数据规模的增长。
关键词 HADOOP sparkstreaming 实时日志处理系统
在线阅读 下载PDF
基于Spark Streaming流技术的机动车缉查布控系统设计 被引量:3
4
作者 陈丽 王锐 《顺德职业技术学院学报》 2016年第4期10-15,共6页
机动车缉查布控系统以治安交通卡口系统为基础,将公路运行车辆的构成、流量分布、违章情况等信息进行汇总,实现对车辆轨迹的查询分析,从而为交通规划、管理和案件侦破等提供有效决策。由于机动车的数量增长迅猛,且机动车违规违章具有流... 机动车缉查布控系统以治安交通卡口系统为基础,将公路运行车辆的构成、流量分布、违章情况等信息进行汇总,实现对车辆轨迹的查询分析,从而为交通规划、管理和案件侦破等提供有效决策。由于机动车的数量增长迅猛,且机动车违规违章具有流动性、偶发性的特点,造成卡口系统录入的数据量巨大,传统的机动车缉查布控技术只能在预设条件下对数据进行查询,不能实现快速地实时分析查询。通过采用Spark Streaming技术进行大数据实时处理,实现实时显示和告警机动车违规违章活动热点,分析和预测机动车活动轨迹。 展开更多
关键词 机动车缉查布控系统 交通管理 sparkstreaming 流数据处理
在线阅读 下载PDF
基于改进协同过滤算法的个性化美食推荐APP开发 被引量:4
5
作者 周显春 邓雨 +2 位作者 吴世雄 杨宇鑫 王晗 《软件导刊》 2019年第2期88-90,95,共4页
为了改善基于个人喜好或营养成分等单一特征的传统协同过滤算法推荐效果不好、缺乏实时性及使用不方便等问题,将中医体质、地方口味、营养成分等多种特征相结合,利用基于Spark Streaming的协同过滤算法,设计一款基于Android平台的智能... 为了改善基于个人喜好或营养成分等单一特征的传统协同过滤算法推荐效果不好、缺乏实时性及使用不方便等问题,将中医体质、地方口味、营养成分等多种特征相结合,利用基于Spark Streaming的协同过滤算法,设计一款基于Android平台的智能饮食推荐APP。实验结果表明,改进协同过滤算法能够大幅改善推荐效果,该APP不仅可为用户推荐符合身体健康需要,且合乎口味的饮食,而且能够较好地满足用户对实时性与便捷性的要求。 展开更多
关键词 协同过滤算法 sparkstreaming 特征融合 智能推荐 饮食推荐
在线阅读 下载PDF
基于Spark Streaming的快速视频转码方法 被引量:2
6
作者 付眸 杨贺昆 +3 位作者 吴唐美 何润 冯朝胜 康胜 《计算机应用》 CSCD 北大核心 2018年第12期3500-3508,共9页
针对单机视频转码方法转码速度较慢和面向批处理的并行转码方法效率提升有限的问题,基于Spark Streaming分布式流处理框架,提出了一种面向流处理的快速视频转码方法。首先,使用开源多媒体处理工具FFmpeg,构建了自动化的视频切片模型,提... 针对单机视频转码方法转码速度较慢和面向批处理的并行转码方法效率提升有限的问题,基于Spark Streaming分布式流处理框架,提出了一种面向流处理的快速视频转码方法。首先,使用开源多媒体处理工具FFmpeg,构建了自动化的视频切片模型,提出编程算法;然后,针对并行视频转码的特点,对弹性分布式数据集(RDD)进行研究,构建了视频转码的流处理模型;最后,设计视频合并方案,将合并后的视频文件进行有效储存。根据所提出的快速视频转码方法设计与实现了基于Spark Streaming的快速视频转码系统。实验结果表明,与面向批处理Hadoop视频转码方法相比,所提方法转码效率提升了26. 7%;与基于Hadoop平台的视频并行转码方法相比,该方法转码效率提升了20. 1%。 展开更多
关键词 视频转码 sparkstreaming 分布式流处理 FFMPEG 弹性分布式数据集
在线阅读 下载PDF
高校网站日志分析系统的研究与应用 被引量:3
7
作者 尹鑫 种兰祥 杨建锋 《中国教育信息化》 2019年第13期64-67,共4页
针对高校网站管理者对网站访问情况及时、直观了解的需求,本文提出了一种以SparkStreaming为核心的分布式网站访问日志分析系统。本系统使用Flume实时收集网站被访问时产生的日志,使用Kafka对收集到的日志进行缓存,使用Spark中的Stream... 针对高校网站管理者对网站访问情况及时、直观了解的需求,本文提出了一种以SparkStreaming为核心的分布式网站访问日志分析系统。本系统使用Flume实时收集网站被访问时产生的日志,使用Kafka对收集到的日志进行缓存,使用Spark中的Streaming流处理框架按批次提取缓存的数据,并通过其中的Translation和Action算子对流量、站点、地区、终端信息进行分析,使用MySQL数据库对分析结果进行存储。使用Echarts设计界面并结合Ajax等前端技术对分析结果进行实时可视化处理。在分布式平台下实现了一个实时可扩展的日志数据分析系统。有效地支持了高校网站的管理工作。 展开更多
关键词 高校网站日志 分布式集群 sparkstreaming 可视化
在线阅读 下载PDF
Spark平台中Kafka偏移量的读取管理与设计 被引量:4
8
作者 高宗宝 刘丽美 +1 位作者 张家铭 宋国兴 《软件》 2019年第7期118-122,共5页
随着移动互联网技术的大规模发展,创新型互联网公司和迭代型各行各业应用产品层出不穷,门户访问、好友互动等操作产生的大规模日志记录,对大数据处理的实时性、准确性和高可用性发起了挑战。Kafka是一种高吞吐量分布式发布订阅消息系统... 随着移动互联网技术的大规模发展,创新型互联网公司和迭代型各行各业应用产品层出不穷,门户访问、好友互动等操作产生的大规模日志记录,对大数据处理的实时性、准确性和高可用性发起了挑战。Kafka是一种高吞吐量分布式发布订阅消息系统,其在高并发数据读写方面优势明显,但其提供的数据消费方式存在数据丢失和重复的风险。本文首先介绍Kafka架构及其Offset管理,介绍了新型流式数据处理框架SparkStreaming与Kafka的结合,并说明了Kafka数据消费方面存在的缺陷,最后提出了一种基于SparkStreaming读取Kafka的近似ExactlyOnce方案实现。通过搭建实验环境进行对比测试,验证了该设计可以在保证数据读取效率的前提下确保数据的准确性。 展开更多
关键词 Kafka OFFSET sparkstreaming 数据准确性
在线阅读 下载PDF
基于Sketch数据结构的海量网络流量实时排名系统 被引量:2
9
作者 方澄 殷明瑞 +1 位作者 张礼哲 孙佳慧 《计算机应用》 CSCD 北大核心 2019年第A01期70-74,共5页
海量互联网流量数据服从幂律分布,因此对流量中排名前k个的服务提供商(SP)进行实时监控和了解,有助于运营商实时了解网络状态,便于网络管理。针对这个事实,提出一种采用概要(Sketch)数据结构的互联网流量实时排名系统。该系统实时记录... 海量互联网流量数据服从幂律分布,因此对流量中排名前k个的服务提供商(SP)进行实时监控和了解,有助于运营商实时了解网络状态,便于网络管理。针对这个事实,提出一种采用概要(Sketch)数据结构的互联网流量实时排名系统。该系统实时记录网络数据流信息到Sketch数据结构,用Sketch图来保留整个数据流所有元素的概要信息。与数据流所有元素信息相比,Sketch图占用更少的计算和存储资源,因此可以实现实时流量统计。此外,为适应大规模流式数据的需求,系统算法进行并行化,并部署在并行流式工作框架SparkStreaming之上,从而实现对海量网络流量的实时排名。该系统应用于运营商真实网络环境下,对真实网络环境下流量进行了实时跟踪和分析。通过大量实验首次给出了某省网络运营商真实流量的实时排名变化情况,发现在一天内流量排名虽然有小幅的变化,但整体排名顺序基本保持不变,腾讯公司是流量最大的服务提供商;同时还发现为了分流网络流量,减小网络流量压力,服务提供商将网页内嵌的图片、视频等对象转移到其他域名下。通过实际应用和测试验证了该实时排名系统的有效性。 展开更多
关键词 概要数据结构 实时 大规模流式数据 sparkstreaming
在线阅读 下载PDF
基于ThingsBoard和Spark Streaming的传感器数据采集和分析平台 被引量:1
10
作者 黄亦成 龙帆 《工业控制计算机》 2023年第11期9-11,共3页
当今,小型低成本传感器得到大规模的发展,为众多应用领域的实时监控系统设计提供了新思路。作为信息技术新分支的物联网(IoT)技术通过不同的网络协议将各种传感器连接到一起,并提供大规模的互操作性。描述如何集成开源软件工具来采集、... 当今,小型低成本传感器得到大规模的发展,为众多应用领域的实时监控系统设计提供了新思路。作为信息技术新分支的物联网(IoT)技术通过不同的网络协议将各种传感器连接到一起,并提供大规模的互操作性。描述如何集成开源软件工具来采集、监控和处理传感器设备的实时数据流。应用ThingsBoard来采集和展示传感器数据,通过SparkStreaming搭建数据分析处理集群框架。此架构适用于各种监测场景,用于研究关键参数的变化趋势和规律,并在出现问题时发出警报。不失一般性,关注呼吸受影响的慢性呼吸道疾病患者的生物医学数据:实时监测呼吸参数以便自动调节通气治疗,同时允许在发生严重病情时及时给医生发送警报。 展开更多
关键词 ThingsBoard sparkstreaming IOT 传感器 硬件
在线阅读 下载PDF
基于Spark平台的异常流量实时检测 被引量:1
11
作者 阎红灿 王小雨 刘盈 《电脑知识与技术》 2023年第36期62-65,76,共5页
传统的流量检测方法在大规模、大流量网络环境下不能满足对异常流量检测的准确性和实时性要求,基于此,该文构建了一个基于spark平台的分布式流量实时检测模型。该模型使用LibPcap、Flume、SparkStreaming实现分布式流量采集、上传和实... 传统的流量检测方法在大规模、大流量网络环境下不能满足对异常流量检测的准确性和实时性要求,基于此,该文构建了一个基于spark平台的分布式流量实时检测模型。该模型使用LibPcap、Flume、SparkStreaming实现分布式流量采集、上传和实时计算,以满足大流量场景下实时性需求;通过CNN网络提取流量载荷内容特征和双向流量统计特征,基于Stacking算法进行模型融合,提高了检测准确性;使用CIC-IDS-2018数据集对该模型进行了测试。实验结果表明,该模型能够满足大流量环境下异常流量检测的准确性和实时性要求。 展开更多
关键词 sparkstreaming 分布式流量检测 CNN STACKING 模型融合
在线阅读 下载PDF
A Real-Time Visualization Defense Framework for DDoS Attack
12
作者 Yiqiao Jin Qidi Liang +1 位作者 Jian Zhang Ou Jin 《国际计算机前沿大会会议论文集》 2017年第1期85-87,共3页
In recent years,with the continuous development of DDoS attacks,DDoS attacks are becoming easier to implement.More and more servers and even personal computers are under the threat of DDoS attacks,especially DDoS floo... In recent years,with the continuous development of DDoS attacks,DDoS attacks are becoming easier to implement.More and more servers and even personal computers are under the threat of DDoS attacks,especially DDoS flood attacks.Its main purpose is to cause the target host’s TCP/IP protocol layer to become congested.In this paper,we propose a real-time visualization defense framework for DDoS attack.Our framework is based on spark-streaming so that it allows for parallel and distributed traffic analysis that can be deployed at high speed network links.Moreover,this framework includes a cylindrical coordinates Visualization Model,which enables users to recognize DDoS threats promptly and clearly.The experiments show that our framework is able to detect and visualize DDoS flooding attacks timely and efficiently. 展开更多
关键词 DDOS VISUALIZATION ATTACK DETECTION Kafka sparkstreaming
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部