-
题名基于MTR与Impala结合的数据查询优化研究
被引量：1
- 1
-
-
作者
袁文翠
舒昝
赵建民
-
机构
东北石油大学
-
出处
《微型电脑应用》
2016年第6期29-31,共3页
-
基金
中国石油科技创新基金研究项目(2013D-5006-0203)
黑龙江省科技攻关项目(GZ09A120)
黑龙江省教育厅科学技术研究项目(12521050)
-
文摘
以大数据的查询技术为中心,研究了当前一些主流的查询方法以及在此基础上的优化改进。MapReduce是一种编程模型,将存储在HDFS中的文件分块再整合以达到加速实现数据查询的目的,在此方法的基础上优化得出Map-Trim-Reduce编程模型,然后与Impala查询引擎相结合,利用M印-Trim-Reduce处理复杂数据的长处弥补Impala的短处,提前处理Impala的预处理数据,达到提高大数据查询效率的目的。
-
关键词
大数据
map-trim-reduce
mpala
-
Keywords
Big Data
map-trim-reduce
Impala
-
分类号
TP312
[自动化与计算机技术—计算机软件与理论]
-
-
题名面向ETL数据处理过程的优化研究
被引量：3
- 2
-
-
作者
张晓冉
舒昝
-
机构
东北石油大学计算机与信息技术学院
-
出处
《自动化与仪器仪表》
2016年第7期109-110,共2页
-
文摘
针对ETL数据处理的数据转换阶段进行研究与优化,为了进一步提高数据处理的效率,对数据处理的规则进行优化合并,减少了相关进程的数目以及存储空间的消耗。另外引入了Map TrimReduce编程模型对ETL的大量数据进行分布式处理,规则上的优化处理也进一步缩短了MTR三个部分的执行次数,达到提高整体ETL数据处理效率的目的。
-
关键词
ETL
数据处理规则
map-trim-reduce
-
Keywords
ETL
Data Processing Rules
map-trim-reduce
-
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
