基于Hadoop的气象云储存与数据处理应用浅析被引量：1

下载PDF

导出

摘要本文主要介绍了Hadoop架构的构成,用实例来对Hadoop架构的MapReduce实现进行了详细的描述。并在这个基础上开发出一个在Hadoop架构的基础上进行气象数值统计的实例,并根据这个实例来对其在单节点模式,伪分布模式以及完全分布模式下的运行效率进行分析。

作者薛胜军周天波周天杰

机构地区江苏奥普圣信息技术有限公司

出处《数字技术与应用》 2012年第5期82-82,84,共2页 Digital Technology & Application

关键词 Hadoop架构 mapReduce机制

分类号 TP333 [自动化与计算机技术—计算机系统结构]

引文网络
相关文献

参考文献2

1易剑.Hadoop开发者第1期[R/OL].[2009一07-11].
2易剑.Hadoop开发者第2期[R/OL].[2010-Ol-30].

同被引文献13

1李英俊,韩雷.基于三维雷达图像数据的风暴体追踪算法研究[J].计算机应用,2008,28(4):1078-1080. 被引量：11
2王金柱,李元诚.MD5算法在J2EE平台下用户管理系统中的应用[J].计算机工程与设计,2008,29(18):4728-4730. 被引量：14
3杨锋,吴华瑞,朱华吉,张海辉,孙想.基于Hadoop的海量农业数据资源管理平台[J].计算机工程,2011,37(12):242-244. 被引量：36
4吴石磊,安虹,李小强,周伟,刘谷,魏学超.组网雷达估测降水系统并行化方案的设计与实现[J].计算机科学,2012,39(3):271-275. 被引量：5
5薛胜军,刘寅.基于Hadoop的气象信息数据仓库建立与测试[J].计算机测量与控制,2012,20(4):926-928. 被引量：17
6郑芳,许先斌,向冬冬,王卓薇,徐鸣.基于GPU的GRAPES数值预报系统中RRTM模块的并行化研究[J].计算机科学,2012,39(B06):370-374. 被引量：5
7田兰,金石声,李波,卜英竹,李珏.基于XML和正则表达式的气象数据处理系统[J].计算机科学,2013,40(11A):432-435. 被引量：4
8李峰,秦世广,周薇,徐鸣一,张乐坚,周青,夏元彩,曹婷婷,梁海河.综合气象观测运行监控业务及系统升级设计[J].气象科技,2014,42(4):539-544. 被引量：43
9钱峥,曹艳艳,赵科科,许皓皓.私有云在市级气象业务平台的实现与应用[J].气象科技,2014,42(4):641-646. 被引量：28
10杨润芝,沈文海,肖卫青,胡开喜,杨昕,王颖,田伟.基于MapReduce计算模型的气象资料处理调优试验[J].应用气象学报,2014,25(5):618-628. 被引量：9

引证文献1

1赵文芳,刘旭林.Spark Streaming框架下的气象自动站数据实时处理系统[J].计算机应用,2018,38(1):38-43. 被引量：17

二级引证文献17

1严磊,汪小可.基于Spark流式计算的实时电影推荐研究[J].软件导刊,2019,18(5):44-48. 被引量：3
2郭捷,乔文文,张金标,寇媛媛.基于流式计算的自动站资料实时处理系统研究[J].气象研究与应用,2019,40(2):94-97. 被引量：2
3黄志,詹利群,任晓炜,李涛.Hadoop环境下基于SparkSQL海量自动站数据查询统计初探[J].气象科技,2019,47(5):768-772. 被引量：12
4贺勇,薛盖超,畅广辉,张江南,周冰.基于分布式实时计算框架的电能量数据异常特征提取在线预警系统[J].机电信息,2019,0(35):22-23. 被引量：4
5韩萍,王浩,方澄,牛勇钢,贾云飞.基于WiFi数据的实时高效定位分析系统设计[J].现代电子技术,2020,43(4):43-47. 被引量：3
6戚红雨.流式处理框架发展综述[J].信息化研究,2019,45(6):1-8. 被引量：11
7李宏志,李苋兰,赵生慧.基于Spark的大规模文本KNN并行分类算法[J].湖南科技大学学报（自然科学版）,2020,35(1):90-97. 被引量：2
8胡争光,薛峰,于连庆.海量气象数据计算处理及可视化在决策气象服务移动平台上的应用[J].气象科技,2020,48(5):615-621. 被引量：27
9郭昌松,王珊珊,郭超燕.HBase在自动站历史数据存储中的研究与应用[J].电脑与信息技术,2021,29(5):46-48. 被引量：3
10张维嘉.基于北斗卫星的气象数据传输系统设计[J].电子设计工程,2021,29(20):19-23. 被引量：5

1田秀霞,周耀君,毕忠勤,彭源.基于Hadoop架构的分布式计算和存储技术及其应用[J].上海电力学院学报,2011,27(1):70-74. 被引量：27
2黄志华.脑机接口的MapReduce计算模型[J].福州大学学报（自然科学版）,2013,41(6):981-985.
3邵秀丽,刘一伟,耿梅洁,韩健斌.检测僵尸网络的贝叶斯算法的MapReduce并行化实现[J].智能系统学报,2014,9(1):26-33. 被引量：1
4李锦青,柏逢明,底晓强.基于Hopfield混沌神经网络的彩色图像加密算法研究[J].长春理工大学学报（自然科学版）,2012,35(4):117-121. 被引量：7
5韩伟,张学庆,陈旸.基于MapReduce的图像分类方法[J].计算机应用,2014,34(6):1600-1603. 被引量：8
6陈凤娟,丁贵广,朱妤晴.面向云环境的图像高维特征索引框架[J].计算机集成制造系统,2011,17(8):1827-1833. 被引量：1
7秦静,钱雪忠,王卫涛,谢国伟,宋威.一种处理不平衡大数据的并行随机森林算法[J].微电子学与计算机,2017,34(4):22-27. 被引量：9
8师金钢,鲍玉斌,冷芳玲,于戈.MapReduce环境下的并行Dwarf立方构建[J].计算机科学与探索,2011,5(5):398-409. 被引量：3
9胡吉朝,黄红艳.基于Hadoop二阶段并行模糊c-Means聚类算法[J].计算机应用与软件,2016,33(6):282-286.
10高献卫,师智斌.基于Hadoop二阶段并行模糊c-Means数据聚类算法[J].计算机测量与控制,2015,23(3):842-846. 被引量：2

数字技术与应用

2012年第5期

浏览历史

内容加载中请稍等...

基于Hadoop的气象云储存与数据处理应用浅析被引量：1

参考文献2

同被引文献13

引证文献1

二级引证文献17

相关作者

相关机构

相关主题

浏览历史

基于Hadoop的气象云储存与数据处理应用浅析 被引量：1

参考文献2

同被引文献13

引证文献1

二级引证文献17

相关作者

相关机构

相关主题

浏览历史

基于Hadoop的气象云储存与数据处理应用浅析被引量：1