期刊文献+
共找到257篇文章
< 1 2 13 >
每页显示 20 50 100
Sentiment Drift Detection and Analysis in Real Time Twitter Data Streams
1
作者 E.Susi A.P.Shanthi 《Computer Systems Science & Engineering》 SCIE EI 2023年第6期3231-3246,共16页
Handling sentiment drifts in real time twitter data streams are a challen-ging task while performing sentiment classifications,because of the changes that occur in the sentiments of twitter users,with respect to time.... Handling sentiment drifts in real time twitter data streams are a challen-ging task while performing sentiment classifications,because of the changes that occur in the sentiments of twitter users,with respect to time.The growing volume of tweets with sentiment drifts has led to the need for devising an adaptive approach to detect and handle this drift in real time.This work proposes an adap-tive learning algorithm-based framework,Twitter Sentiment Drift Analysis-Bidir-ectional Encoder Representations from Transformers(TSDA-BERT),which introduces a sentiment drift measure to detect drifts and a domain impact score to adaptively retrain the classification model with domain relevant data in real time.The framework also works on static data by converting them to data streams using the Kafka tool.The experiments conducted on real time and simulated tweets of sports,health care andfinancial topics show that the proposed system is able to detect sentiment drifts and maintain the performance of the classification model,with accuracies of 91%,87%and 90%,respectively.Though the results have been provided only for a few topics,as a proof of concept,this framework can be applied to detect sentiment drifts and perform sentiment classification on real time data streams of any topic. 展开更多
关键词 Sentiment drift sentiment classification big data BERT real time data streams TWITTER
在线阅读 下载PDF
Spark Streaming动态资源分配策略 被引量:6
2
作者 刘备 谭新明 曹文彬 《计算机应用》 CSCD 北大核心 2017年第6期1574-1579,共6页
针对Spark Streaming作为混合大数据计算平台流处理组件时资源调整周期长和不能满足多应用多用户个性化需求的问题,提出了一种多应用下动态资源分配策略(DRAM)。该策略增加了应用全局变量来控制动态资源分配过程。首先,获取历史执行数... 针对Spark Streaming作为混合大数据计算平台流处理组件时资源调整周期长和不能满足多应用多用户个性化需求的问题,提出了一种多应用下动态资源分配策略(DRAM)。该策略增加了应用全局变量来控制动态资源分配过程。首先,获取历史执行数据反馈和应用全局变量;然后,进行资源增减计算;最后,进行资源增减执行。实验结果表明,所提策略能够有效调整应用资源配额,且在稳定数据流和不稳定数据流两种情况下,其处理延时相比原Spark平台的Streaming策略和Core策略都有所降低;同时该策略也能够提高集群资源利用率。 展开更多
关键词 SPARK 实时数据流 多应用 动态资源分配
在线阅读 下载PDF
基于Spark Streaming的实时数据采集分析系统设计 被引量:4
3
作者 党寿江 刘学 +1 位作者 王星凯 刘春梅 《网络新媒体技术》 2017年第5期48-53,共6页
大数据量的实时数据分析系统,需要快速的处理和响应。为了实现实时数据分析,本文设计了基于Spark Streaming的实时数据采集分析系统,并对有状态计算操作的基数计算的精确计算方法和估算方法进行了比较分析。实验表明,基于HyperLogLog++... 大数据量的实时数据分析系统,需要快速的处理和响应。为了实现实时数据分析,本文设计了基于Spark Streaming的实时数据采集分析系统,并对有状态计算操作的基数计算的精确计算方法和估算方法进行了比较分析。实验表明,基于HyperLogLog++的基数估算方法在处理时间和存储占用空间上有明显优势,而计算偏差基本可以忽略不计,更适于大数据的基数估算。 展开更多
关键词 基数计算 实时数据分析 Spark流式处理 不重复计数 HyperLogLog++
在线阅读 下载PDF
TWCT-Stream:数据流上的频繁模式挖掘算法 被引量:1
4
作者 庄波 刘希玉 隆坤 《计算机工程与应用》 CSCD 北大核心 2009年第20期147-150,161,共5页
提出一种结合倾斜时间窗的TWCT树结构,可以保存不同时间粒度下频繁模式的完全集,并设计了其顺序更新和删除算法,使其能够存储在外存,从而有效地降低算法的内存空间需求。结合TWCT树结构特点,提出了数据流上的频繁模式挖掘算法TWCT-Stre... 提出一种结合倾斜时间窗的TWCT树结构,可以保存不同时间粒度下频繁模式的完全集,并设计了其顺序更新和删除算法,使其能够存储在外存,从而有效地降低算法的内存空间需求。结合TWCT树结构特点,提出了数据流上的频繁模式挖掘算法TWCT-Stream,其模式生长的TWCT-Growth算法按字典顺序生成频繁模式,以配合TWCT结构的顺序更新。实验证实算法的内存需求低于FP-Stream等同类算法。 展开更多
关键词 数据流挖掘 频繁模式 倾斜时间窗口
在线阅读 下载PDF
基于Spark Streaming流回归的煤矿瓦斯浓度实时预测 被引量:11
5
作者 吴海波 施式亮 念其锋 《中国安全生产科学技术》 CAS CSCD 北大核心 2017年第5期84-89,共6页
为了实时分析瓦斯监测流数据并对瓦斯浓度进行准确预测以实现瓦斯灾害实时预警,以实时流数据处理框架Spark Streaming构建基于流回归的瓦斯浓度实时预测系统。系统采用分布式流处理技术,可使基于回归算法的瓦斯浓度预测模型更新周期达... 为了实时分析瓦斯监测流数据并对瓦斯浓度进行准确预测以实现瓦斯灾害实时预警,以实时流数据处理框架Spark Streaming构建基于流回归的瓦斯浓度实时预测系统。系统采用分布式流处理技术,可使基于回归算法的瓦斯浓度预测模型更新周期达到秒级,提高了瓦斯浓度预测精度,满足流式大数据处理的实时性要求。实验表明:应用Spark Streaming流回归预测系统在采样周期为5s的瓦斯监测数据流上进行实时预测时,预测平均均方根误差随模型更新周期的缩短而减小,模型更新周期可达15s,且更新周期为45s时预测总均方根误差最小,既能保证预测精度,又能提高瓦斯灾害预警时效。 展开更多
关键词 监测数据 流数据 瓦斯浓度 SPARK streamING 流回归 实时预测 灾害预警
在线阅读 下载PDF
基于Spark Streaming的实时流数据处理模型化研究与实现 被引量:2
6
作者 云惟英 苟宇 +1 位作者 王京 王丽莉 《测绘与空间地理信息》 2017年第S1期48-50,55,共4页
通过研究与分析,选取Spark Streaming技术实现对P实时流数据的处理.同时,研究出一套模型化的方式,实现动态装配软件的执行过程;并通过具体的实例展示了两者结合后,在数据处理的易用性、性能及吞吐量方面,都得到了大幅提升.
关键词 SPARK streamING 空间大数据 时实流数据
在线阅读 下载PDF
符合Real-time CORBA规范的传感器网络监控系统设计 被引量:1
7
作者 魏云华 《计算机工程与设计》 CSCD 北大核心 2006年第23期4585-4588,4591,共5页
传感器网络在解决底层数据源和I/O设备的异构性、处理连续查询的实时性、服务质量自适应等方面提出了许多新的挑战。提出一种基于实时CORBA的传感器网络数据流处理框架,说明了符合实时中间件规范的数据流处理系统设计的方法和特点,通过... 传感器网络在解决底层数据源和I/O设备的异构性、处理连续查询的实时性、服务质量自适应等方面提出了许多新的挑战。提出一种基于实时CORBA的传感器网络数据流处理框架,说明了符合实时中间件规范的数据流处理系统设计的方法和特点,通过实验对该框架进行了性能测试,验证了其处理连续查询的实时性。 展开更多
关键词 实时中间件 数据流 连续查询 服务质量 传感器网络 实时CORBA
在线阅读 下载PDF
基于Spark Streaming的气象自动站实时流处理与存储系统 被引量:2
8
作者 马彬 李玉涛 许琪 《计算机技术与发展》 2023年第3期207-214,共8页
在当前大数据技术蓬勃发展的时代,人们对气象数据的实时处理、数据质量、数据存储及大规模查询等要求也越来越高。针对现有气象自动站数据业务落地环节多,任务处理耦合紧但系统部署分散等问题,文中基于Spark Streaming的流式计算框架,... 在当前大数据技术蓬勃发展的时代,人们对气象数据的实时处理、数据质量、数据存储及大规模查询等要求也越来越高。针对现有气象自动站数据业务落地环节多,任务处理耦合紧但系统部署分散等问题,文中基于Spark Streaming的流式计算框架,研究使用Flume解析收集自动站原始数据,在Spark Streaming中设计融入自动站数据质控算法,最终通过对分布式数据库存储的表设计,使气象自动站数据具备高效率、高质量、高可靠的应用服务能力。性能测试结果表明,基于Spark Streaming的气象自动站数据实时流处理与存储系统,数据从文件采集、解码、流处理至入库的全流程能够在秒级完成,TB级数据查询响应为毫秒级,加权查询为秒级,完全满足自动站数据业务应用需求,从而为进一步提高气象自动站数据质量与服务水平提供基础支撑。 展开更多
关键词 气象自动站数据 Spark streaming 实时处理 FLUME 分布式数据库
在线阅读 下载PDF
基于生成式循环网络的伺服系统在线异常检测 被引量:1
9
作者 陈晓 王赞 路辉 《上海航天(中英文)》 2025年第2期157-165,共9页
在线异常检测是确保火箭伺服系统正常运行的关键技术。然而,目前大多数研究未考虑模型部署和应用时存在的概念漂移问题,进而影响检测精度。为此,本文提出一种基于生成式循环网络的伺服系统在线异常检测算法。首先,为建立系统输入输出关... 在线异常检测是确保火箭伺服系统正常运行的关键技术。然而,目前大多数研究未考虑模型部署和应用时存在的概念漂移问题,进而影响检测精度。为此,本文提出一种基于生成式循环网络的伺服系统在线异常检测算法。首先,为建立系统输入输出关系模型,提出深层循环神经网络,该网络通过引入多层记忆单元和跳跃连接,来提升其对数据多尺度时空依赖关系的拟合能力;其次,为缓解概念漂移问题,引入在线学习使模型具有持续学习能力,但也带来了灾难性遗忘问题;最后,为缓解灾难性遗忘问题,提出生成式网络,以生成包含历史数据、整体数据分布信息的回顾数据,使模型学习新数据分布的同时,避免遗忘历史数据。结果表明:基于火箭伺服系统所采集的真实运行数据,消融实验和对比实验证明了提出的算法能有效缓解上述问题,并取得较好的异常检测效果。 展开更多
关键词 伺服系统异常检测 多变量时间序列 流数据 概念漂移 灾难性遗忘
在线阅读 下载PDF
基于实时数据流对比的钻速建模算法
10
作者 李同意 李谦 +2 位作者 魏思维 何俊杰 姜杰 《钻探工程》 2025年第S1期97-104,共8页
为提升钻进效率与预测精度,本文设计了一种基于实时数据流对比的钻速建模算法。通过主井与9口历史井的数据流比对,构建了一个面向实时更新与模型复用的预测框架。系统首先利用滑动窗口机制对主井数据动态切片,并以K近邻方式从9口井中提... 为提升钻进效率与预测精度,本文设计了一种基于实时数据流对比的钻速建模算法。通过主井与9口历史井的数据流比对,构建了一个面向实时更新与模型复用的预测框架。系统首先利用滑动窗口机制对主井数据动态切片,并以K近邻方式从9口井中提取同深度段数据,构建参考数据集。再结合快速傅里叶变换与频谱相似性指标,实现主井窗口与历史数据的频域对比。当相似度高于设定阈值时,系统复用历史模型,否则即时触发重新建模。建模过程采用随机森林算法,融合主井累计窗口数据与历史近邻数据,并按“80%训练+20%测试”的方式进行训练验证。在最终建模效果中,模型表现出高度的稳定性与良好的泛化能力,平均R^(2)为0.99,残差围绕零值分布。该系统为钻速预测提供了具备实时性、自适应性与可拓展性的建模策略,为智能钻井决策提供了重要支撑。 展开更多
关键词 钻速预测 实时数据流 动态建模 频谱特征比对
在线阅读 下载PDF
一种自适应的数据流近期加权频繁项集挖掘
11
作者 贺慧爱 荀亚玲 +1 位作者 王林青 杨海峰 《太原科技大学学报》 2025年第2期152-159,共8页
针对传统频繁项集挖掘仅考虑项目频率导致的信息损失,以及流式数据所包含知识将随时间推移发生变化的问题,提出一种高效的近期加权频繁项集挖掘算法RWFIM-Neg.RWFIM-Neg引入时间衰减因子,通过设置相似性阈值自适应地调整不同时域数据流... 针对传统频繁项集挖掘仅考虑项目频率导致的信息损失,以及流式数据所包含知识将随时间推移发生变化的问题,提出一种高效的近期加权频繁项集挖掘算法RWFIM-Neg.RWFIM-Neg引入时间衰减因子,通过设置相似性阈值自适应地调整不同时域数据流的衰减程度;在挖掘过程中,通过引入一种更高效的数据结构NegNodeset避免了复杂的建树过程和繁琐的支持度计算,其采用前缀树中的节点集Nodesets,利用位运算来迅速得到没有父子节点关系的负节点集NegNodesets,提高了连接效率,使得其支持度计算的复杂度降低到O(n);同时采用超集等价和父子等价修剪策略,有效地减少了最近加权频繁模式的搜索空间。实验结果表明,其性能优于最新的RWFIM-M算法和传统的WFI挖掘算法。 展开更多
关键词 相似度 时间衰减因子 近期加权频繁项集 位图树 数据流
在线阅读 下载PDF
大数据环境下监控系统的设计与实现 被引量:1
12
作者 殷春 《数字通信世界》 2025年第8期1-3,共3页
随着物联网技术发展和设备数量的激增,监控系统面临着数据量庞大、处理速度要求高、存储压力大等挑战,针对传统监控系统在大数据环境下遇到的技术瓶颈,本文设计一套基于分布式架构的监控系统解决方案。该系统采用Hadoop生态圈技术,结合... 随着物联网技术发展和设备数量的激增,监控系统面临着数据量庞大、处理速度要求高、存储压力大等挑战,针对传统监控系统在大数据环境下遇到的技术瓶颈,本文设计一套基于分布式架构的监控系统解决方案。该系统采用Hadoop生态圈技术,结合流式计算框架Storm实现数据实时处理,运用Kafka消息队列解决数据传输问题,通过MongoDB分布式数据库存储海量数据,系统实现了数据采集、传输、处理、存储及展示全流程自动化,经过测试验证,可支持每秒百万级数据处理能力,数据处理延迟控制在毫秒级,为大数据环境下监控系统建设提供参考。 展开更多
关键词 分布式架构 流式计算 实时处理 数据存储
在线阅读 下载PDF
基于边缘计算的实时数据处理技术研究
13
作者 密海婷 《长江信息通信》 2025年第9期130-132,共3页
随着物联网设备激增和5G网络部署,传统云计算面临延迟高、带宽消耗大等挑战。边缘计算将计算资源下沉到网络边缘,为实时数据处理提供有效途径。本文聚焦边缘计算环境下的分布式同步机制这一关键技术,提出压缩向量时钟算法(CVC)和预测性... 随着物联网设备激增和5G网络部署,传统云计算面临延迟高、带宽消耗大等挑战。边缘计算将计算资源下沉到网络边缘,为实时数据处理提供有效途径。本文聚焦边缘计算环境下的分布式同步机制这一关键技术,提出压缩向量时钟算法(CVC)和预测性同步策略,解决多边缘节点间数据一致性与实时性平衡问题。通过分层同步架构和基于LSTM的预测模型,显著降低同步延迟和存储开销,提高系统容错能力。该技术在智能交通、工业物联网等领域应用前景广阔。 展开更多
关键词 边缘计算 实时数据处理 流式处理 资源调度 负载均衡
在线阅读 下载PDF
基于动态时间窗格的数据仓库流批一体优化方法
14
作者 陈滨林 唐小勇 《计算机应用研究》 北大核心 2025年第8期2460-2466,共7页
数据仓库是企业数据管理核心,批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题,以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战,提出了一种流批一体处理... 数据仓库是企业数据管理核心,批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题,以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战,提出了一种流批一体处理方法。所提方法通过分析数据集在不同时间窗格中的变化,融合了基于调度时间的动态时间窗格划分和基于DFS算法的最简数据集搜索。实验结果表明,与主流微批处理方法相比,该方法将整体计算时间缩短57.2%,内存消耗减少24.2%,同时确保了数据的强一致性。该方法对于企业构建高处理效率、低资源消耗的流批一体化数据仓库具有重要参考价值。 展开更多
关键词 数据仓库 数据流处理 动态时间窗格 最简数据集 流批一体化
在线阅读 下载PDF
基于LSTM的雷达脉冲信号检测与到达时间估计
15
作者 李金鑫 黄武奇 蒋伊琳 《舰船电子对抗》 2025年第4期69-73,共5页
在电子侦察场景中,低信噪比雷达脉冲信号的准确检测至关重要。提出了一种基于长短期记忆(LSTM)网络的脉冲信号检测方法,将脉冲信号进行快速傅里叶变换(FFT),利用LSTM处理滑动输入的频域数据流信息,捕捉时频数据的时序关联,从中提取出脉... 在电子侦察场景中,低信噪比雷达脉冲信号的准确检测至关重要。提出了一种基于长短期记忆(LSTM)网络的脉冲信号检测方法,将脉冲信号进行快速傅里叶变换(FFT),利用LSTM处理滑动输入的频域数据流信息,捕捉时频数据的时序关联,从中提取出脉冲上升沿特征,通过对信号上升沿的检测来实现脉冲信号检测。实验结果表明该算法在低信噪比条件下具有较优的检测性能,且脉冲到达时间估计误差低于自相关算法,验证了方法的有效性。 展开更多
关键词 雷达脉冲信号检测 长短期记忆 低信噪比 数据流 脉冲到达时间
在线阅读 下载PDF
面向实时处理场景的流式大数据架构优化与应用实践研究
16
作者 李宜学 《计算机应用文摘》 2025年第14期122-124,共3页
随着数据生成速度的指数级增长,传统批处理架构已无法满足实时数据处理需求。文章针对实时处理场景深入研究了流式大数据架构的优化策略与应用实践。通过分析Lambda架构的核心思想与层次划分,结合Apache Kafka,Apache Flink等关键技术组... 随着数据生成速度的指数级增长,传统批处理架构已无法满足实时数据处理需求。文章针对实时处理场景深入研究了流式大数据架构的优化策略与应用实践。通过分析Lambda架构的核心思想与层次划分,结合Apache Kafka,Apache Flink等关键技术组件,提出了一套高效的流式大数据处理方案。结果表明,该方案能够显著提升数据处理速度与准确性,降低系统延迟,为实时决策提供有力支持。 展开更多
关键词 流式大数据架构 实时处理 Lambda架构 Apache Kafka Apache Flink
在线阅读 下载PDF
一种面向并发AI数据流边缘处理集群的资源配置算法
17
作者 陈逸飞 陈庆奎 《智能计算机与应用》 2025年第11期1-8,共8页
面对多个AI (Artificial Intelligence)数据流需要并发处理以及边缘处理集群中各个单元的处理能力不同的情况,如何充分利用边缘集群中的各类资源,降低AI数据流任务的处理时间和能耗,是一个具有重要意义的课题。本文设计了一个面向并发A... 面对多个AI (Artificial Intelligence)数据流需要并发处理以及边缘处理集群中各个单元的处理能力不同的情况,如何充分利用边缘集群中的各类资源,降低AI数据流任务的处理时间和能耗,是一个具有重要意义的课题。本文设计了一个面向并发AI数据流的边缘集群架构,并对并发AI数据流以及边缘处理集群中的处理单元资源进行建模,提出了一种面向并发AI数据流边缘处理集群的资源配置算法DLBE-PSO,该算法是基于粒子群的多目标优化算法,采用混沌映射与非线性递减结合的方式来更新权重,提高算法后期的局部搜索能力,同时对任务处理时间、边缘集群能耗、边缘集群负载均衡这3个关键指标进行分析。 展开更多
关键词 并发AI数据流 多目标优化 粒子群 任务处理时间 能耗 负载均衡
在线阅读 下载PDF
基于云原生架构的数据中台实时处理技术研究
18
作者 周萌 谢丰 +2 位作者 褚智广 吴星 解恒亮 《办公自动化》 2025年第21期24-26,共3页
随着企业数字化转型的深入,数据中台作为数据资源整合与服务的核心平台,其实时处理能力成为关键。文章基于云原生架构,研究数据中台实时处理的关键技术,包括流式计算、服务网格、容器化部署与弹性扩缩容等,构建了一套完整的实时数据处... 随着企业数字化转型的深入,数据中台作为数据资源整合与服务的核心平台,其实时处理能力成为关键。文章基于云原生架构,研究数据中台实时处理的关键技术,包括流式计算、服务网格、容器化部署与弹性扩缩容等,构建了一套完整的实时数据处理框架。通过实验对比传统架构与云原生架构在吞吐量、延迟、资源利用率等方面的性能差异,验证了云原生架构在实时数据处理中的优势。实验结果表明,基于云原生架构的数据中台在高并发场景下具有更低的延迟、更高的吞吐量和更好的资源弹性。 展开更多
关键词 数据中台 云原生架构 实时处理 流式计算 弹性伸缩
在线阅读 下载PDF
基于无人机实时视频的违法用海监测技术研究
19
作者 韩俊杰 杨小红 《北斗与空间信息应用技术》 2025年第4期51-53,共3页
传统的违法用海监测主要依赖于卫星遥感、地面巡查等手段,存在时效性差、巡查效率低等问题。本文提出一种基于无人机实时视频的违法用海监测方法。通过解算无人机的位置和姿态信息,建立无人机视频数据和空间GIS数据的对应关系,将无人机... 传统的违法用海监测主要依赖于卫星遥感、地面巡查等手段,存在时效性差、巡查效率低等问题。本文提出一种基于无人机实时视频的违法用海监测方法。通过解算无人机的位置和姿态信息,建立无人机视频数据和空间GIS数据的对应关系,将无人机视频数据与GIS数据进行融合,实现在无人机巡查视频画面中叠加海岸线、用海权属红线等界址GIS数据,并结合机载改进YOLOv8算法,提取用海权属红线外的非法构筑物。能够快速、实时、清晰地核查围填海、养殖用海和码头用海中的违法用海行为。 展开更多
关键词 无人机 实时视频流 违法用海监测 GIS数据融合
在线阅读 下载PDF
广域实时精密定位原型系统及初步结果 被引量:34
20
作者 施闯 楼益栋 +1 位作者 宋伟伟 蔡华 《武汉大学学报(信息科学版)》 EI CSCD 北大核心 2009年第11期1271-1274,共4页
介绍了基于全球IGS实时站数据流的广域实时精密定位原型系统的工作流程及关键技术解决方案。原型系统通过接收全球50个左右IGS参考站1s采样间隔的实时观测数据每秒解算的卫星钟差,并将广播星历的轨道与钟差改正数通过无线通信网络发送... 介绍了基于全球IGS实时站数据流的广域实时精密定位原型系统的工作流程及关键技术解决方案。原型系统通过接收全球50个左右IGS参考站1s采样间隔的实时观测数据每秒解算的卫星钟差,并将广播星历的轨道与钟差改正数通过无线通信网络发送给双频用户,用户通过实时精密单点定位的方式实现高精度实时定位。原型系统的整个链路时间延迟为4~8s。测试结果表明,实时钟差产品精度优于0.2ns,实时用户定位精度平面为10cm,高程优于20cm。 展开更多
关键词 IGS实时数据流 实时卫星钟差确定 实时精密单点定位
原文传递
上一页 1 2 13 下一页 到第
使用帮助 返回顶部