期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到5,153篇文章
< 1 2 … 250 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于内容的Hadoop/MapReduce架构图像检索方法
1
作者 蔡丽娟 《福建广播电视大学学报》 2014年第5期41-45,共5页
运用Hadoop/Map Reduce并行海量图像处理框架进行基于内容的海量图像检索,将海量图像数据分布式存储在众多节点上,运用优化的ACCC算法在各节点上进行基于内容的图像搜索分析算法一体化处理,通过与传统并行计算方法和单节点方法试验对比... 运用Hadoop/Map Reduce并行海量图像处理框架进行基于内容的海量图像检索,将海量图像数据分布式存储在众多节点上,运用优化的ACCC算法在各节点上进行基于内容的图像搜索分析算法一体化处理,通过与传统并行计算方法和单节点方法试验对比,演示本方法在存储能力和计算检索效能的优势。 展开更多
关键词 hadoop/mapreduce 并行处理 图像处理
在线阅读 下载PDF
基于Hadoop/MapReduce的K_NN算法
2
作者 艾树宇 《科技传播》 2013年第1期203-204,200,共3页
分布式框架Hadoop/MapReduce的逐渐流行,本文针对机器算法K最邻近算法,阐述其在Hadoop/MapReduce上的实现过程,其中对于文本的相似度会利用余弦定理还处理,这样在Hadoop/MapReduce环境下实现K-NN算法对位置类别的文本分类。机器算法在Ha... 分布式框架Hadoop/MapReduce的逐渐流行,本文针对机器算法K最邻近算法,阐述其在Hadoop/MapReduce上的实现过程,其中对于文本的相似度会利用余弦定理还处理,这样在Hadoop/MapReduce环境下实现K-NN算法对位置类别的文本分类。机器算法在Hadoop/MapReduce上的实现,同时增加了算法的可扩展性和分析文本的能力,适应于当今大规模数据处理的要求。 展开更多
关键词 K-NN hadoop/mapreduce 文本分类 余弦定理 机器学习
在线阅读 下载PDF
基于Hadoop和MapReduce的大数据处理算法优化研究 被引量：2
3
作者 张楠楠 戎真真 +1 位作者 杜帅兵 刘杨 《软件》 2025年第6期140-142,共3页
当前,信息技术飞速发展,大数据时代悄然来临,数据规模的急剧膨胀给传统数据处理方法带来了巨大的挑战。在大数据处理领域,Hadoop和MapReduce框架凭借其高效的分布式计算能力被广泛应用,但随着数据量的增加,其也暴露出计算性能、数据传... 当前,信息技术飞速发展,大数据时代悄然来临,数据规模的急剧膨胀给传统数据处理方法带来了巨大的挑战。在大数据处理领域,Hadoop和MapReduce框架凭借其高效的分布式计算能力被广泛应用,但随着数据量的增加,其也暴露出计算性能、数据传输及作业调度等方面的局限性。本文探讨了Hadoop和MapReduce框架在大数据处理中的应用及其局限性,并基于近年研究成果,提出了一系列优化措施,包括提高任务并行度、优化数据传输和改进调度策略。研究表明,这些优化手段可以有效提升大数据处理的效率和稳定性,从而推动大数据技术的进一步发展。 展开更多
关键词 大数据 hadoop mapreduce 算法优化 计算性能 数据传输
在线阅读 下载PDF
融合大数据与MapReduce框架的冷链物流智慧管控优化策略研究
4
作者 李土金 卢爱芬 +1 位作者 罗国强 梁家富 《自动化与仪器仪表》 2026年第2期83-87,共5页
针对冷链物流实时数据处理延迟与多目标决策约束冲突问题,研究提出融合大数据处理与智能优化策略的智慧管控模型,通过动态流式处理机制与领域知识引导的邻域搜索,优化实时响应能力与业务规则满足度。实验表明,该模型将温控违规时长占比... 针对冷链物流实时数据处理延迟与多目标决策约束冲突问题,研究提出融合大数据处理与智能优化策略的智慧管控模型,通过动态流式处理机制与领域知识引导的邻域搜索,优化实时响应能力与业务规则满足度。实验表明,该模型将温控违规时长占比降至3.05%,货损率控制在1.38%,路径优化率达87.52%;决策响应延迟缩短至191 ms,温度波动幅值低至0.87℃,冷藏设备总耗电量300 kWh。所有关键指标较基准方法提升显著,统计检验显著性均达到p<0.001级别,标准差波动范围0.42至0.90,验证了模型在复杂场景下的稳定性与优越性。研究提出的模型能够提升冷链物流全链条的实时管控效率与资源利用率,为生鲜农产品、医药制品等高附加值商品的智慧物流建设提供可落地的技术方案。 展开更多
关键词 冷链物流 大数据 mapreduce MOPSO 增量处理 启发式规则
原文传递
Hadoop云平台MapReduce模型优化研究 被引量：10
5
作者 张红 王晓明 +3 位作者 曹洁 马彦宏 郭义戎 王慜 《计算机工程与应用》 CSCD 北大核心 2016年第22期22-25,共4页
针对Hadoop平台Map Reduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题,从提高平台中每个执行节点的细粒度并行数据处理角度出发,结合Java共享内存多线程编程技术,对该模型进行了优化,提出一种Map Reduce+Open MP粗细... 针对Hadoop平台Map Reduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题,从提高平台中每个执行节点的细粒度并行数据处理角度出发,结合Java共享内存多线程编程技术,对该模型进行了优化,提出一种Map Reduce+Open MP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理,验证该模型的性能和效率,实验结果证明Map Reduce+Open MP分布式并行计算模型确实能够提高针对大数据集的计算效率,是对Hadoop平台大数据分析处理模型有效的完善和优化。 展开更多
关键词 hadoop mapreduce OPENMP 分布式 并行
在线阅读 下载PDF
Hadoop平台中MapReduce调度算法研究 被引量：11
6
作者 徐焕良 翟璐 +1 位作者 薛卫 任守纲 《计算机应用与软件》 CSCD 2015年第5期1-6,16,共7页
MapReduce是一种新型的并行计算框架,在计算速度,容错性,可靠性等方面具有优势,因此得到了广泛的商业应用与科学研究。而调度算法作为MapReduce的核心组成部分,它的优劣成为了直接影响MapReduce性能的关键因素,因而得到了很大的关注。... MapReduce是一种新型的并行计算框架,在计算速度,容错性,可靠性等方面具有优势,因此得到了广泛的商业应用与科学研究。而调度算法作为MapReduce的核心组成部分,它的优劣成为了直接影响MapReduce性能的关键因素,因而得到了很大的关注。在介绍和分析MapReduce并行计算模型的基础上,介绍了几种相关的模型改进,并基于Hadoop平台,重点研究了MapReduce的常用调度算法及改进算法。通过对比分析,就MapReduce未来的发展进行了进一步的探讨,为其调度算法的改进提供有效的方法。 展开更多
关键词 云计算 并行计算模型 hadoop mapreduce 调度算法
在线阅读 下载PDF
基于hadoop云平台的智能电网MapReduce数据计算技术研究 被引量：10
7
作者 孟祥萍 周来 +1 位作者 王晖 纪秀 《电测与仪表》 北大核心 2015年第10期66-72,共7页
为应对未来智能电网海量数据信息带来的实时计算、分析等难题,文章首先在Hadoop云计算平台基础上搭建MapReduce框架,论证了其良好的数据计算性能,并通过实验发现MapReduce在进一步提高计算效率方面的诸多问题——任务调度不均、数据偏... 为应对未来智能电网海量数据信息带来的实时计算、分析等难题,文章首先在Hadoop云计算平台基础上搭建MapReduce框架,论证了其良好的数据计算性能,并通过实验发现MapReduce在进一步提高计算效率方面的诸多问题——任务调度不均、数据偏移、异构环境下适应性差等。随后考虑MapReduce原始调度方式的弊端并给出均衡数据映射、评估节点性能的MapReduce架构改进方案,并提出了动态匹配的调度算法(DMSA——Dynamic Matching Scheduling Algorithm),最后通过在仿真平台上的集群实验,减少了系统计算资源的消耗,缩短了运行时间,显著地提高了集群性能,同时增强了数据本地性,证明了该策略提高MapReduce计算效率的可行性。 展开更多
关键词 智能电网 数据计算 hadoop mapreduce
在线阅读 下载PDF
基于Hadoop的MapReduce模型的研究与改进 被引量：36
8
作者 李玉林 董晶 《计算机工程与设计》 CSCD 北大核心 2012年第8期3110-3116,共7页
针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通... 针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致。仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间。 展开更多
关键词 mapreduce模型 hadoop 数据倾斜 云计算 并行编程
在线阅读 下载PDF
Hadoop-MapReduce下的PageRank矩阵分块算法 被引量：13
9
作者 李远方 邓世昆 +1 位作者 闻玉彪 韩月阳 《计算机技术与发展》 2011年第8期6-9,13,共5页
PageRank是Web结构挖掘的经典算法,已在Google搜索引擎中取得了巨大成功。但其迭代次数多,时空消耗大,执行速度和收敛速度都还较慢。文中详细讨论了Hadoop-MapReduce的执行流程及其内部实现机制后,提出了一种并行MapReduce实现矩阵分块... PageRank是Web结构挖掘的经典算法,已在Google搜索引擎中取得了巨大成功。但其迭代次数多,时空消耗大,执行速度和收敛速度都还较慢。文中详细讨论了Hadoop-MapReduce的执行流程及其内部实现机制后,提出了一种并行MapReduce实现矩阵分块的PageRank算法,其实质是减少MapReduce框架结构中Map阶段和Reduce阶段的迭代次数,从而减少时空开销。最后搭建Hadoop-MapReduce开源平台,模拟Web结构爬取,比较了传统算法和改进算法的性能。结果表明,改进后的算法迭代次数低,并行效率较高,在模拟环境中PageRank标识网页等级显示其优越性。 展开更多
关键词 PAGERANK mapreduce hadoop 矩阵分块
在线阅读 下载PDF
基于MapReduce的Hadoop大表导入编程模型 被引量：13
10
作者 陈吉荣 乐嘉锦 《计算机应用》 CSCD 北大核心 2013年第9期2486-2489,2561,共5页
针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长... 针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长度(等于步长),从而保证每个mapper的导入工作量完全相同。该模型的map方式是:进入map函数的键值对中的键是一个split所对应的SQL语句,将查询放在map函数中完成,从而使得模型中的每个mapper只调用一次map函数。对比实验表明:两个记录数相同的大表,无论其记录区间如何分布,其导入时间基本相同,或者对同一表分别用不同的分割字段,导入时间也完全相同;而对于同一个大表,模型的导入效率比Sqoop有显著提高。 展开更多
关键词 编程模型 hadoop mapreduce hadoop分布式文件系统 Sqoop
在线阅读 下载PDF
基于MapReduce的拷贝数变异测序数据并行处理方案 被引量：1
11
作者 何亨 程凯莉 +1 位作者 张葵 成淑君 《计算机工程》 北大核心 2025年第5期177-187,共11页
拷贝数变异(CNV)作为一种遗传变异,广泛存在于人类基因组的基因分布中。CNV检测效率的提升不仅可以为更多的病患提供更加快速精确的CNV检测结果,大幅降低医疗成本,同时又有利于药物的研发和临床应用。基于读段深度(RD)的方法是目前最为... 拷贝数变异(CNV)作为一种遗传变异,广泛存在于人类基因组的基因分布中。CNV检测效率的提升不仅可以为更多的病患提供更加快速精确的CNV检测结果,大幅降低医疗成本,同时又有利于药物的研发和临床应用。基于读段深度(RD)的方法是目前最为常用的CNV检测方法,对RD相关信息的处理时间较长,在CNV检测中时间占比较高。现有方法无法有效应用于全基因组分析,存在计算效率较低、检测精度下降的问题。基于RD的CNV检测方法,提出一种高效的测序数据并行处理方案EPPCNV。在EPPCNV中,设计2个MapReduce作业串行执行的方法,实现高效全基因组测序数据的并行处理,精准地完成RD相关信息的提取;为充分考虑到GC含量偏差对CNV检测结果的影响,对测序数据的RDs进行校正处理,保证最终检测结果的高灵敏度与高精确度;采用独立于具体CNV检测方法的高适配性数据处理方式,其最终生成的RD相关信息能够与多种主流CNV检测方法直接结合,在不改变原方法对CNV区域判定的基础上,实现方法整体性能的大幅提升。实验结果表明,EPPCNV的综合准确率高,分别与CNV-LOF、HBOS-CNV以及CNVnator 3种方法直接结合,能够显著提升原方法的计算效率,并保证检测结果的高灵敏度与高精确度。对于覆盖深度越高、数据量越大的测序数据,CNV检测方法与EPPCNV结合后计算效率的提升更为显著。 展开更多
关键词 拷贝数变异检测 mapreduce作业 测序数据处理 读段深度 全基因组
在线阅读 下载PDF
Hadoop MapReduce短作业执行性能优化 被引量：28
12
作者 顾荣 严金双 +2 位作者 杨晓亮 袁春风 黄宜华 《计算机研究与发展》 EI CSCD 北大核心 2014年第6期1270-1280,共11页
Hadoop MapReduce并行计算框架被广泛应用于大规模数据并行处理.近年来,由于其能较好地处理大规模数据,Hadoop MapReduce也被越来越多地使用在查询应用中.为了能够处理大规模数据集,Hadoop的基本设计更多地强调了数据的高吞吐率.然而在... Hadoop MapReduce并行计算框架被广泛应用于大规模数据并行处理.近年来,由于其能较好地处理大规模数据,Hadoop MapReduce也被越来越多地使用在查询应用中.为了能够处理大规模数据集,Hadoop的基本设计更多地强调了数据的高吞吐率.然而在处理对短作业响应性能有较高要求的查询应用时,Hadoop MapReduce并行计算框架存在明显不足.为了提升Hadoop对于短作业的执行效率,对原有的Hadoop MapReduce作出以下3点优化:1)通过优化原有的setup和cleanup任务的执行方式,成功地缩短了作业初始化环境准备和作业结束环境清理的时间;2)将首次任务分配从"拉"模式转变为"推"模式;3)将作业执行过程中JobTracker和TaskTrackers之间的控制消息通信从现有的周期性心跳机制中分离出来,采用即时传递机制.最后,采用一种典型的基于MapReduce并行化的查询应用BLAST,对优化工作进行了评估.各种不同类型BLAST作业的测试实验表明,与现有的标准Hadoop相比,优化后的Hadoop平均执行性能提升约23%. 展开更多
关键词 mapreduce 并行计算 短作业 性能优化 大数据处理
在线阅读 下载PDF
基于Hadoop框架的MapReduce计算模式的优化设计 被引量：12
13
作者 孙彦超 王兴芬 《计算机科学》 CSCD 北大核心 2014年第B11期333-336,共4页
对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的MapReduce分布式处理模式。MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析Hadoop源码的使用,认真研究M... 对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的MapReduce分布式处理模式。MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析Hadoop源码的使用,认真研究MapReduce对海量数据处理作业流程分析,提出了MapReduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率。 展开更多
关键词 hadoop 海量数据 mapreduce 分布式计算
在线阅读 下载PDF
基于Hadoop MapReduce的大规模数据索引构建与集群性能分析 被引量：11
14
作者 谌超 强保华 石龙 《桂林电子科技大学学报》 2012年第4期307-312,共6页
为了满足搜索引擎构建索引的时空开销需求,构建高效的分布式索引,利用Hadoop搭建分布式集群环境,基于MapReduce编程实现大数据倒排索引。采用不同的网络带宽、数据量和集群节点数来评估Hadoop集群的性能。实验结果表明:网络带宽越大,集... 为了满足搜索引擎构建索引的时空开销需求,构建高效的分布式索引,利用Hadoop搭建分布式集群环境,基于MapReduce编程实现大数据倒排索引。采用不同的网络带宽、数据量和集群节点数来评估Hadoop集群的性能。实验结果表明:网络带宽越大,集群处理效率越高;集群节点数越多,处理大数据的能力越强。可见,网络通信带宽对Hadoop集群性能有一定影响,高速集群链路有利于发挥集群的性能。 展开更多
关键词 mapreduce 倒排索引 hadoop集群
在线阅读 下载PDF
一种基于MapReduce的C4.5决策树并行化算法 被引量：1
15
作者 潘俊辉 王辉 +1 位作者 张强 王浩畅 《计算机与数字工程》 2025年第2期327-331,共5页
C4.5决策树是一种用于分类规则提取的有效算法,该算法在对中、小规模数据集进行处理时已取得不错的效果,但将其直接应用到大规模数据集上受到多方面的限制,而MapReduce框架对算法进行分布式实现是非常方便的。由此论文将MapReduce与C4.... C4.5决策树是一种用于分类规则提取的有效算法,该算法在对中、小规模数据集进行处理时已取得不错的效果,但将其直接应用到大规模数据集上受到多方面的限制,而MapReduce框架对算法进行分布式实现是非常方便的。由此论文将MapReduce与C4.5决策树相结合,提出了一种基于MapReduce的C4.5决策树并行化算法(MRCTA),该算法通过保留C4.5决策树自身的优点,在决策树的节点的构造中首先利用MapReduce对其分裂属性进行并行计算,然后利用所得的最优分裂属性对数据采用分布式分割完成树子节点的生成,同时为了避免产生过度学习现象在构造中将树深和节点覆盖样本的个数和类别比例作为算法终止的条件。最后通过实验对算法的有效性和效率进行了比较和分析。 展开更多
关键词 决策树 分布式算法 并行计算 mapreduce
在线阅读 下载PDF
基于Hadoop的贝叶斯过滤MapReduce模型 被引量：3
16
作者 曾青华 袁家斌 张云洲 《计算机工程》 CAS CSCD 2013年第11期57-60,64,共5页
传统分布式大型邮件系统对海量邮件的过滤存在编程难、效率低、前期训练耗用资源大等缺点,为此,对传统贝叶斯过滤算法进行并行化改进,利用云计算MapReduce模型在海量数据处理方面的优势,设计一种基于Hadoop开源云架构的贝叶斯邮件过滤Ma... 传统分布式大型邮件系统对海量邮件的过滤存在编程难、效率低、前期训练耗用资源大等缺点,为此,对传统贝叶斯过滤算法进行并行化改进,利用云计算MapReduce模型在海量数据处理方面的优势,设计一种基于Hadoop开源云架构的贝叶斯邮件过滤MapReduce模型,优化邮件的训练和过滤过程。实验结果表明,与传统分布式计算模型相比,该模型在召回率、查准率和精确率方面性能较好,同时可降低邮件过滤成本,提高系统执行效率。 展开更多
关键词 云计算 mapreduce模型 hadoop架构 贝叶斯算法 垃圾邮件 反垃圾邮件过滤
在线阅读 下载PDF
一种适用于Hadoop MapReduce环境的数据预取方法 被引量：4
17
作者 张霄宏 雒芬 +1 位作者 贾宗璞 沈记全 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2014年第2期191-196,共6页
为解决由Reduce任务引起的远程数据访问延时和资源竞争导致的系统性能问题,提出了一种基于预调度的数据预取方法.该方法通过预取数据来隐藏由Reduce任务引起的远程数据访问延时,通过控制与Reduce任务相关的资源分配来减少由其引起的资... 为解决由Reduce任务引起的远程数据访问延时和资源竞争导致的系统性能问题,提出了一种基于预调度的数据预取方法.该方法通过预取数据来隐藏由Reduce任务引起的远程数据访问延时,通过控制与Reduce任务相关的资源分配来减少由其引起的资源竞争.此方法已在Hadoop-0.20.2中实现.实验结果表明,与缺省的Hadoop MapReduce及Hadoop Online Prototype相比,该方法可将系统性能提高10%以上. 展开更多
关键词 mapreduce 分布式计算 预取 调度
在线阅读 下载PDF
Hadoop HDFS和MapReduce架构浅析 被引量：73
18
作者 郝树魁 《邮电设计技术》 2012年第7期37-42,共6页
在简述Hadoop namenode、datanode运行模式的基础上,重点介绍了Hadoop MapReduce的工作机制,并以作业提交、作业初始化、任务分配、任务执行和任务进度更新等流程介绍了Job Client、JobTracker、TaskTracker和HDFS在MapReduce过程中的... 在简述Hadoop namenode、datanode运行模式的基础上,重点介绍了Hadoop MapReduce的工作机制,并以作业提交、作业初始化、任务分配、任务执行和任务进度更新等流程介绍了Job Client、JobTracker、TaskTracker和HDFS在MapReduce过程中的分工与协作,最后,对云计算作出展望。 展开更多
关键词 hadoop HDFS namenode datanode mapreduce JobTracker TaskTracker
在线阅读 下载PDF
基于灰盒模型的Hadoop MapReduce job参数性能分析与预测 被引量：6
19
作者 周世龙 陈兴蜀 罗永刚 《四川大学学报（工程科学版）》 CSCD 北大核心 2014年第S1期146-154,共9页
针对传统使用统计机器学习对Hadoop MapReduce job参数性能预测时完全基于黑盒模型,预测精度不高且不具有扩展性等问题,提出一种结合黑盒和白盒的灰盒预测方法。定性分析了MapReduce job配置参数对job性能的影响;基于局部加权线性回归... 针对传统使用统计机器学习对Hadoop MapReduce job参数性能预测时完全基于黑盒模型,预测精度不高且不具有扩展性等问题,提出一种结合黑盒和白盒的灰盒预测方法。定性分析了MapReduce job配置参数对job性能的影响;基于局部加权线性回归分别对job的map task和reduce task性能进行预测;实现Hadoop调度器模拟器,并利用调度器模拟器对预测的job map task和reduce task进行调度,计算job执行时间,达到预测job性能目的。实验通过对比传统基于黑盒方法的预测效果,表明灰盒模型有更好的预测精度,并且可以完成集群规模变化后的job性能预测。 展开更多
关键词 hadoop 调度器模拟 配置参数 灰盒模型 局部加权线性回归
在线阅读 下载PDF
Hadoop平台下MapReduce模型调度算法研究 被引量：1
20
作者 刘伟 杜永文 吕晓剑 《广西民族大学学报（自然科学版）》 CAS 2014年第3期72-74,85,共4页
针对Hadoop默认FIFO调度算法和Fair调度算法、Capacity调度算法的不足,引入了一种基于优先权的自适应MapReduce调度算法.该算法利用作业权值为不同的Job分配不同的系统资源,同时根据各TaskTracker节点反馈回来的消息调整可执行队列的长... 针对Hadoop默认FIFO调度算法和Fair调度算法、Capacity调度算法的不足,引入了一种基于优先权的自适应MapReduce调度算法.该算法利用作业权值为不同的Job分配不同的系统资源,同时根据各TaskTracker节点反馈回来的消息调整可执行队列的长度,以达到各节点负载平衡,提高系统的执行效率. 展开更多
关键词 hadoop mapreduce 调度算法 基于优先权的自适应调度算法
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 250 下一页 到第 页
使用帮助 返回顶部