针对DHP(direct hashing and pruning)算法对大数据挖掘关联规则存在执行时间过长、效率不高的问题,对DHP算法的并行化策略进行了研究。根据云计算平台Hadoop的MapReduce并行编程模型,设计了一种并行DHP算法,给出了算法的总体流程和Map...针对DHP(direct hashing and pruning)算法对大数据挖掘关联规则存在执行时间过长、效率不高的问题,对DHP算法的并行化策略进行了研究。根据云计算平台Hadoop的MapReduce并行编程模型,设计了一种并行DHP算法,给出了算法的总体流程和Map函数、Reduce函数的算法描述。与DHP算法相比,并行算法利用了Hadoop集群强大的计算能力,提高了从大数据集中挖掘关联规则的效率。通过实例分析了并行DHP算法的执行过程,在多个数据集上进行了实验。实验结果表明:并行DHP算法对大数据具有较好的加速比和可扩展性。展开更多
随着动车组运营时间和运营里程的增长,动车组运维系统积累了大量的数据.利用高效的关联规则挖掘算法从动车组运维数据中快速发现有用的信息,对于提高动车组关键部件运维效率具有重要意义.针对动车组运维数据的数据量巨大、价值密度低的...随着动车组运营时间和运营里程的增长,动车组运维系统积累了大量的数据.利用高效的关联规则挖掘算法从动车组运维数据中快速发现有用的信息,对于提高动车组关键部件运维效率具有重要意义.针对动车组运维数据的数据量巨大、价值密度低的特点,设计一种基于近似最小完美Hash函数的AMPHP(approximate minimum perfect hashing and pruning)算法,相较于传统的直接Hash和修剪(direct hashing and pruning,DHP)算法,它可以过滤掉所有的非频繁项集,无需额外的数据库扫描.为了突破单机算法的性能限制,借鉴SON算法思想对AMPHP算法进行并行化改进,提出AMPHPSON算法,进一步提高算法性能.使用实际的动车组牵引电机运维数据进行测试分析,实验结果表明,AMPHP-SON算法具有很好的时间性能,且挖掘出的规则可以有效地指导动车组修程修制优化,从而达到提高动车组运维效率的目的.展开更多
文摘针对DHP(direct hashing and pruning)算法对大数据挖掘关联规则存在执行时间过长、效率不高的问题,对DHP算法的并行化策略进行了研究。根据云计算平台Hadoop的MapReduce并行编程模型,设计了一种并行DHP算法,给出了算法的总体流程和Map函数、Reduce函数的算法描述。与DHP算法相比,并行算法利用了Hadoop集群强大的计算能力,提高了从大数据集中挖掘关联规则的效率。通过实例分析了并行DHP算法的执行过程,在多个数据集上进行了实验。实验结果表明:并行DHP算法对大数据具有较好的加速比和可扩展性。
文摘随着动车组运营时间和运营里程的增长,动车组运维系统积累了大量的数据.利用高效的关联规则挖掘算法从动车组运维数据中快速发现有用的信息,对于提高动车组关键部件运维效率具有重要意义.针对动车组运维数据的数据量巨大、价值密度低的特点,设计一种基于近似最小完美Hash函数的AMPHP(approximate minimum perfect hashing and pruning)算法,相较于传统的直接Hash和修剪(direct hashing and pruning,DHP)算法,它可以过滤掉所有的非频繁项集,无需额外的数据库扫描.为了突破单机算法的性能限制,借鉴SON算法思想对AMPHP算法进行并行化改进,提出AMPHPSON算法,进一步提高算法性能.使用实际的动车组牵引电机运维数据进行测试分析,实验结果表明,AMPHP-SON算法具有很好的时间性能,且挖掘出的规则可以有效地指导动车组修程修制优化,从而达到提高动车组运维效率的目的.
