-
题名共享集群基于HDFS的数据块密度调度策略
被引量：2
- 1
-
-
作者
杜红光
雷州
陈圣波
-
机构
上海大学计算机科学与技术
-
出处
《计算机科学》
CSCD
北大核心
2017年第B11期510-515,共6页
-
文摘
随着云计算技术和海量数据处理技术的发展,共享集群逐渐采用HDFS作为分布式文件系统并通过虚拟化的方式管理计算资源,为计算框架和应用提供运行资源,造成应用运行过程中计算资源和数据存储的分离。海量数据处理应用的数据本地性是影响其性能的关键因素之一。目前,共享集群管理框架调度器的研究主要集中在通过提升调度的并行度来提高系统的吞吐量和资源利用率,而其在调度的质量方面还存在一些缺陷,如应用的数据本地性问题。提出基于数据块密度的调度策略,来提高应用的数据本地性,根据数据块的密度为应用等比例分配计算资源,减少应用运行过程中的跨主机I/O,从而提升应用的性能。实验表明,基于数据块密度的调度策略能够有效减少数据密集型作业的运行时间,该策略能够使应用达到90%的数据本地性。在测试应用WordCount和TeraSort中,该策略使应用缩短了20%左右的运行时间。
-
关键词
hdfs
数据块密度
共享集群
调度策略
-
Keywords
hdfs,data block density,shared cluster,scheduling strategy
-
分类号
TP392
[自动化与计算机技术—计算机应用技术]
-
