面向实时计算的大数据处理框架性能优化

下载PDF

导出

摘要文中旨在探索面向实时计算的大数据处理框架性能优化策略。针对大数据处理Flink框架进行了性能分析,发现在实时计算任务中Flink框架存在数据流速度管理、事件时间处理、状态管理的复杂性、容错机制的开销、计算任务的复杂性等一系列常见性能挑战。针对问题和挑战,文章提出了硬件和基础设施优化、Flink应用程序优化、并行与分布式处理等一系列Flink性能优化策略和技术。

作者冯泽

机构地区北京世纪互联宽带数据中心有限公司

出处《微型计算机》 2024年第5期64-66,共3页 MicroComputer

关键词实时计算大数据处理框架 Flink框架性能优化

分类号 TP3 [自动化与计算机技术—计算机科学与技术]

引文网络
相关文献

参考文献5

1孙国璋,黄山,艾力卡木·再比布拉,徐浩桐,段晓东.基于Flink的k-支配skyline体并行求解算法[J].计算机工程与科学,2023,45(1):17-27. 被引量：3
2曹张宇,钟原,周静.基于Flink的分布式在线集成学习框架研究[J].计算机应用研究,2023,40(6):1784-1788. 被引量：3
3刘广轩,黄山,胡佳丽,段晓东.面向Flink流处理框架的主动备份容错优化[J].浙江大学学报（工学版）,2022,56(2):297-305. 被引量：4
4李旺,双锴.面向Flink的多表连接计算性能优化算法[J].计算机应用与软件,2021,38(6):31-38. 被引量：1
5汪丽娟,钱育蓉,张猛,英昌甜,赵燚.基于Flink平台的资源感知任务调度策略[J].东北师大学报（自然科学版）,2020,52(2):66-72. 被引量：2

二级参考文献18

1董雷刚,刘国华,崔晓微,张东明,金晓丹.基于共享策略的k-支配轮廓体的求解算法[J].小型微型计算机系统,2009,30(6):1072-1076. 被引量：3
2印鉴,姚树宇,薛少锷,杨文新,刘玉葆.一种基于索引的高效k-支配Skyline算法[J].计算机学报,2010,33(7):1236-1245. 被引量：14
3孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146-169. 被引量：2439
4黄荣跃,赵雷.一种使用简化预排序的k-支配Skyline查询算法[J].小型微型计算机系统,2013,34(5):1054-1059. 被引量：4
5孙大为,张广艳,郑纬民.大数据流式计算:关键技术及系统实例[J].软件学报,2014,25(4):839-862. 被引量：322
6董雷刚,崔晓微,刘国华.一种更新k-支配轮廓的算法[J].科学技术与工程,2014,22(22):235-239. 被引量：2
7王铭坤,袁少光,朱永利,王德文.基于Storm的海量数据实时聚类[J].计算机应用,2014,34(11):3078-3081. 被引量：30
8王志平,李小勇.基于实时计算平台的虚拟机调度策略[J].计算机工程,2016,42(5):30-34. 被引量：4
9易佳,薛晨,王树鹏.分布式流数据加载和查询技术优化[J].计算机科学,2017,44(5):172-177. 被引量：7
10韩德志,陈旭光,雷雨馨,戴永涛,张肖.基于Spark Streaming的实时数据分析系统及其应用[J].计算机应用,2017,37(5):1263-1269. 被引量：30

共引文献8

1吴菲,陈嘉诚,王万良.基于并行计算的计算智能综述[J].浙江大学学报(工学版),2025,59(1):27-38. 被引量：1
2潘璐,赵鹏,崔小彪,王鏐璞.干部信息管理系统的改进与实现[J].吉林大学学报(信息科学版),2024,42(6):1100-1110.
3郭元春.基于偏微分方程的高速滚动轴承振动控制系统设计[J].计算机测量与控制,2025,33(4):115-122.
4彭相华,余敏,罗迎社,易锦.一种基于集成学习神经网络的木质材料受压本构关系模型[J].中南林业科技大学学报,2025,45(5):175-184. 被引量：1
5董雷刚.Skyline查询技术概述与前景分析[J].电脑知识与技术,2025,21(13):4-7.
6杨浩.大数据技术在广电工程全周期数智化中的应用[J].电视技术,2025,49(5):167-169.
7赵国伟,伍曾权.大数据处理中Apache Flink流式计算的研究与应用[J].微型计算机,2025(16):235-237.
8冯鹏,黄山,段晓东.一种基于动态水位值的Flink调度优化算法[J].计算机科学与应用,2021,11(5):1512-1521.

1俞立平,张矿伟,韩亚茹.物流产业发展速度对区域物流的影响效应研究[J].天津大学学报（社会科学版）,2024,26(1):65-74. 被引量：3
2刘志红.基于大数据的社交媒体分析[J].软件,2024,45(3):183-186. 被引量：3
3叶浩,张承琪,张亚威,申小军,杨孟新.基于数据湖的海量异构实时处理技术的研究与应用[J].移动信息,2024,46(4):298-300. 被引量：2
4李静,危玉蓉,邹书力,熊诚,潘怡宏.历史风貌区特色街巷更新实践[J].城市道桥与防洪,2024(4):16-21. 被引量：1
5张诗,杨子邈,黄杰,徐进.基于ETC数据的山区高速公路连续下坡车速特征与车型分类[J].科学技术与工程,2023,23(35):15269-15278.
6王金生,孙占全.基于Transformer和双注意力机制的颈动脉超声造影图像斑块分割方法[J].建模与仿真,2024,13(2):1577-1591.
7崔婷婷,冯新刚,张玉昆.就地城镇化背景下县域养老服务设施优化与配置研究[J].建设科技,2024(8):38-41. 被引量：1
8董克,吴佳纯.突发公共卫生事件研究中的科研数据质量控制研究:以新冠撤稿论文为例[J].评价与管理,2024,22(1):108-108.
9张运红,叶恺倩.城乡融合政策试点创新中的路径依赖及其优化研究--以J区试点为例[J].南方农村,2024,40(2):29-37. 被引量：1

微型计算机

2024年第5期

浏览历史

内容加载中请稍等...

面向实时计算的大数据处理框架性能优化

参考文献5

二级参考文献18

共引文献8

相关作者

相关机构

相关主题

浏览历史