期刊文献+
共找到9篇文章
< 1 >
每页显示 20 50 100
大数据处理框架下的高效存储与查询优化研究
1
作者 包煜玺 王俊人 《计算机应用文摘》 2025年第10期218-220,共3页
大数据处理框架在海量数据分析中扮演着关键角色,但存储与查询性能瓶颈严重影响其处理效率。针对现有处理框架中JVM内存管理、数据序列化和反序列化开销大、垃圾回收时间长等问题,文章提出了一种融合分层存储、内存数据布局优化和查询... 大数据处理框架在海量数据分析中扮演着关键角色,但存储与查询性能瓶颈严重影响其处理效率。针对现有处理框架中JVM内存管理、数据序列化和反序列化开销大、垃圾回收时间长等问题,文章提出了一种融合分层存储、内存数据布局优化和查询计划智能生成的综合解决方案。通过将热点数据集中存储于专用内存区域,采用列式存储结构,利用基于代价模型的查询计划优化,实现了对数据密集型应用的高效支持。实验结果表明,该方案较传统方法可减少50%的垃圾回收开销,提高约40%查询吞吐量,在大规模数据集上展现出良好的扩展性。 展开更多
关键词 数据处理框架 高效存储 查询优化 JVM优化 内存管理
在线阅读 下载PDF
大数据技术下的流数据处理框架构建及应用研究 被引量:2
2
作者 龙虎 李娜 《电脑知识与技术》 2024年第5期66-68,共3页
大数据技术下的流数据具有实时性、突发性、无序性、易失性和无限性等特征,因此,传统的分布式计算机系统很难满足计算需求,需要利用流计算来处理流数据,流计算可以针对海量的不同数据源的流数据进行实时分析与处理。在梳理大数据技术架... 大数据技术下的流数据具有实时性、突发性、无序性、易失性和无限性等特征,因此,传统的分布式计算机系统很难满足计算需求,需要利用流计算来处理流数据,流计算可以针对海量的不同数据源的流数据进行实时分析与处理。在梳理大数据技术架构的基础上,对流数据及流数据处理框架进行了阐述,给出了流数据处理的三种常用框架,利用文献研究法和系统法对大数据技术下的流数据处理进行深入研究,提出了大数据技术下的流数据处理框架及应用领域,希望能为大数据技术下的流数据处理的研究者提供借鉴。 展开更多
关键词 数据技术 数据处理框架 应用
在线阅读 下载PDF
空间科学卫星数据处理框架研究与系统实现 被引量:4
3
作者 马文臻 邹自明 +3 位作者 黎建辉 于勤思 佟继周 李菁菁 《系统仿真学报》 CAS CSCD 北大核心 2022年第7期1605-1618,共14页
基于我国空间科学战略发展需求,针对我国空间科学先导专项当前在役与未来即将开展的众多卫星任务,对卫星地面段的数据处理框架及关键技术进行研究,提出了一种通用的具有任务级与资源级双层调度引擎的空间科学卫星数据处理技术框架(space... 基于我国空间科学战略发展需求,针对我国空间科学先导专项当前在役与未来即将开展的众多卫星任务,对卫星地面段的数据处理框架及关键技术进行研究,提出了一种通用的具有任务级与资源级双层调度引擎的空间科学卫星数据处理技术框架(space science satellite data processing framework,SDPF),设计实现了自动、高效、实时、标准化的空间科学卫星数据处理系统,使得多卫星任务、多载荷数据源的大规模数据的高度复杂的处理过程得以快速并行完成,在数据处理能力、计算资源规划、应对故障的可靠性、灵活性和可拓展性等方面体现出非常好的应用效果,也可为其他领域相关系统的设计提供参考思路。 展开更多
关键词 空间科学卫星 数据处理框架 任务调度 资源调度 数据处理工作流
原文传递
OODAFlow:面向智能无人系统的流式数据处理框架 被引量:1
4
作者 全振宇 尹龙祥 +1 位作者 陈晓明 韩银和 《高技术通讯》 CAS 北大核心 2024年第9期905-920,共16页
智能无人系统是一种能够在复杂环境中自主进行实时推理、决策和制定行动方案的计算系统。智能无人系统实现实时决策的关键在于对流式数据的实时处理,然而随着人工智能技术和传感器技术的快速发展,智能无人系统需要处理的数据规模不断增... 智能无人系统是一种能够在复杂环境中自主进行实时推理、决策和制定行动方案的计算系统。智能无人系统实现实时决策的关键在于对流式数据的实时处理,然而随着人工智能技术和传感器技术的快速发展,智能无人系统需要处理的数据规模不断增长,数据类型变得更加复杂。面对不断增长的数据处理性能需求,智能无人系统需要一个充分优化的专用流式数据处理框架来提升其数据处理性能。针对该问题,本文提出了一种面向智能无人系统的流式数据处理框架OODAFlow,该框架将智能无人系统的硬件特征和智能计算任务的数据特征与观察-判断-决策-行动(OODA)模型思想相融合,实现了OODA任务创建、任务调度、资源调度等功能,能够实现对智能无人系统异构资源的调度和智能计算任务的处理。本文在智能无人系统上搭建了一套OODA任务处理系统,验证了所提OODAFlow框架的可行性。通过提出的图像预处理过程优化、流水线优化以及判断节点并行加速优化等方法,提高了系统的数据吞吐性能和资源利用率。无人机智能控制任务的实验表明,采用本文提出的OODAFlow框架后,智能无人系统的数据处理性能提升了73倍。 展开更多
关键词 智能无人系统 深度学习加速卡 观察-判断-决策-行动(OODA) 流式数据处理框架 异构计算资源
在线阅读 下载PDF
面向实时计算的大数据处理框架性能优化
5
作者 冯泽 《微型计算机》 2024年第5期64-66,共3页
文中旨在探索面向实时计算的大数据处理框架性能优化策略。针对大数据处理Flink框架进行了性能分析,发现在实时计算任务中Flink框架存在数据流速度管理、事件时间处理、状态管理的复杂性、容错机制的开销、计算任务的复杂性等一系列常... 文中旨在探索面向实时计算的大数据处理框架性能优化策略。针对大数据处理Flink框架进行了性能分析,发现在实时计算任务中Flink框架存在数据流速度管理、事件时间处理、状态管理的复杂性、容错机制的开销、计算任务的复杂性等一系列常见性能挑战。针对问题和挑战,文章提出了硬件和基础设施优化、Flink应用程序优化、并行与分布式处理等一系列Flink性能优化策略和技术。 展开更多
关键词 实时计算 数据处理框架 Flink框架 性能优化
在线阅读 下载PDF
绿色数据中心数据处理型框架中的数据管理 被引量:2
6
作者 张啸 高原 +3 位作者 王晓亮 葛以踊 杨海祥 万书鹏 《系统仿真学报》 CAS CSCD 北大核心 2016年第3期592-599,共8页
使用绿色能源已成为解决数据中心能耗问题的一种有效方式。为了降低绿色能源变化幅度大的特点带来的影响,通常将可延迟作业放入等待队列,将相应空闲服务器置为休眠状态,降低系统能耗,在新能源可用的时候执行作业。当新作业执行时,需要... 使用绿色能源已成为解决数据中心能耗问题的一种有效方式。为了降低绿色能源变化幅度大的特点带来的影响,通常将可延迟作业放入等待队列,将相应空闲服务器置为休眠状态,降低系统能耗,在新能源可用的时候执行作业。当新作业执行时,需要重新开启休眠状态服务器来保证数据可用性。数据放置与作业执行时间的不统一,会导致频繁开启休眠服务器,带来能源浪费。针对绿色数据中心提出一种数据调度策略,根据数据处理型框架中等待队列作业调度次序,通过将未来一段时间内需要被读取的数据块提前复制在活跃服务器上,降低休眠状态服务器开启的次数,从而降低总体能耗。实验模拟结果显示,该算法可平均减少43%的休眠状态服务器重复开启次数。 展开更多
关键词 绿色数据中心 数据处理框架 能耗 新能源 数据管理
原文传递
装备建设规划绩效评估数据处理分析框架及关键技术 被引量:1
7
作者 尚晓凡 薛奇 +1 位作者 刘瑜 王萌 《军事运筹与评估》 2023年第2期30-36,共7页
针对装备建设规划绩效评估数据具有的类型形式多样、质量参差不齐、定性数据量化困难等特点,提出了包含评估数据采集、评估数据预处理、评估数据综合集成、评估结果分析展示等环节的评估数据处理分析框架;针对处理分析框架中的文本数据... 针对装备建设规划绩效评估数据具有的类型形式多样、质量参差不齐、定性数据量化困难等特点,提出了包含评估数据采集、评估数据预处理、评估数据综合集成、评估结果分析展示等环节的评估数据处理分析框架;针对处理分析框架中的文本数据定量化和多源异构不确定性数据综合集成的难点,分别提出了加权情感分析方法和基于D-S证据理论的综合集成方法,实现装备建设规划绩效评估数据的综合分析。 展开更多
关键词 装备规划 绩效评估 评估数据处理分析框架 情感分析方法 D-S证据理论
在线阅读 下载PDF
基于Spark的城市居民出行时空特征快速提取 被引量:3
8
作者 赵英豪 吕亮 +3 位作者 徐青 施群山 卢万杰 张杰 《测绘科学技术学报》 CSCD 北大核心 2018年第6期609-615,共7页
利用交通轨迹挖掘人类活动规律是实现智慧城市与生活的基础,然而常规方法已无法满足高效处理的大数据量要求。以海量出租车轨迹数据分析为例,设计了基于Spark平台的城市居民出行时空特征快速提取方法。借助Spark分布式计算框架,将核心... 利用交通轨迹挖掘人类活动规律是实现智慧城市与生活的基础,然而常规方法已无法满足高效处理的大数据量要求。以海量出租车轨迹数据分析为例,设计了基于Spark平台的城市居民出行时空特征快速提取方法。借助Spark分布式计算框架,将核心算子匹配应用于二次排序、数据清洗及O/D点提取等预处理工作,并在时间分割和网格剖分统计的基础上完成时空特征提取。利用2014年8月份成都市出租车轨迹数据开展实验验证,结果表明,相较于传统单机环境,在确保准确性的基础上,该方法能够大幅提高特征提取的效率;集群节点一定时,数据规模越大优势越明显;数据规模足够大时,Spark集群节点数量越多,耗时越少。 展开更多
关键词 出租车轨迹 居民出行 时空特征 数据处理框架 分布式计算
在线阅读 下载PDF
Top-K Query Framework in Wireless Sensor Networks for Smart Grid 被引量:2
9
作者 WANG Hui GUAN Zhitao +1 位作者 YANG Tingting XU Yue 《China Communications》 SCIE CSCD 2014年第6期89-98,共10页
The smart grid has caught great attentions in recent years, which is poised to transform a centralized, producer-controlled network to a decentralized, consumer- interactive network that's supported by fine-grained m... The smart grid has caught great attentions in recent years, which is poised to transform a centralized, producer-controlled network to a decentralized, consumer- interactive network that's supported by fine-grained monitoring. Large-scale WSNs (Wireless Sensor Networks) have been considered one of the very promising technologies to support the implementation of smart grid. WSNs are applied in almost every aspect of smart grid, including power generation, power transmission, power distribution, power utilization and power dispatch, and the data query processing of 'WSNs in power grid' become an hotspot issue due to the amount of data of power grid is very large and the requirement of response time is very high. To meet the demands, top-k query processing is a good choice, which performs the cooperative query by aggregating the database objects' degree of match for each different query predicate and returning the best k matching objects. In this paper, a framework that can effectively apply top-k query to wireless sensor network in smart grid is proposed, which is based on the cluster-topology sensor network. In the new method, local indices are used to optimize the necessary query routing and process intermediate results inside the cluster to cut down the data traffic, and the hierarchical join query is executed based on the local results.Besides, top-k query results are verified by the clean-up process, and two schemes are taken to deal with the problem of node's dynamicity, which further reduce communication cost. Case studies and experimental results show that our algorithm has outperformed the current existing one with higher quality results and better efficiently. 展开更多
关键词 smart grid wireless sensornetwork top-k query framework.
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部