Spark的图计算框架:GraphX 被引量：5

Spark's Graph Calculation Framework:GraphX

下载PDF

导出

摘要 Spark是UC Berkeley AMP Lab所开源的类Hadoop MapReduce的通用并行框架,是专为大规模数据处理而设计的快速通用的计算引擎,在如今的大数据环境下,Spark所发挥的作用正越来越大。介绍Spark的图计算框架GraphX。 Spark is a generic parallel framework for the open source Hadoop MapReduce from UC Berkeley AMP Lab, a fast and versatile computing engine designed for large-scale data processing. In today＇s big data environment, Spark＇s role is growing. Introduces Spark＇s graph calculation framework GraphX.

作者孙海

机构地区四川大学计算机学院

出处《现代计算机》 2017年第6期120-122,127,共4页 Modern Computer

关键词 SPARK 并行大数据 GraphX Spark Parallel Big Data GraphX

分类号 TP311.13 [自动化与计算机技术—计算机软件与理论]

引文网络
相关文献

参考文献3

1黎文阳.大数据处理模型Apache Spark研究[J].现代计算机（中旬刊）,2015(3):55-60. 被引量：35
2陈虹君.Spark框架的Graphx算法研究[J].电脑知识与技术,2015,0(1):75-77. 被引量：4
3黄明,吴炜.快刀初试：Spark GraphX在淘宝的实践[J].程序员,2014(8):98-103. 被引量：1

二级参考文献15

1PageRank算法[EB/OL].2012.http://blog.csdn.net/hguisu/article/details/7996185.
2连通图[EB/OL].http://www3-cs.stonybrook.edu/:algorith/files/dfs-bfs.shtml.
3Spark编程指南[EB/OL].2013.http://spark.apache.org/docs/latest/programming-guide.html.
4机器学习库[EB/OL].2013.http://blog.csdn.ne:johnny_lee/article/details/25656343.
5Graphx学习[EBfOL].2012.http://spark.apache.org/docs/latest/graphx-programming-guide.html.
6云计算的分类[EB/OL].2010.http://tech.qq.com/d20101103/000074.htm.
7最近的spark文档[EB/OL].2014.http://spark.apache.org/docs/latest/.
8Zaharia M, Chowdhury M, Das T, et al. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for in-Memory Cluster Computing [C]. Proceedings of the 9th USENIX Conference on Networked Systems Design and Implementation. USENIX Association, 2012:2-2.
9Zaharia M, Chowdhury M, Franklin M J, et al. Spark: Cluster Computing with Working Sets[C]. Proceedings of the 2nd USENIX Con- ference on Hot Topics in Cloud Computing,2010:10-10.
10Spark[EB/OL]. http://spark.apache.org.

共引文献37

1叶小榕,邵晴.基于Spark的大规模社交网络社区发现原型系统[J].科技导报,2018,36(23):93-101. 被引量：9
2陈虹君,吴雪琴.基于Hadoop平台的Spark快数据推荐算法分析与应用[J].现代电子技术,2016,39(10):18-20. 被引量：13
3张亮,杨春丽,马媛媛.大数据应用部署研究[J].电信网技术,2016,0(5):30-36. 被引量：2
4吕益民,吴旻中,苏伟杰.基于Spark大数据平台在视频中搜索特征车辆的研究[J].警察技术,2016(4):80-82. 被引量：1
5盛剑,樊红,龚天任,程幸福.K-Means算法及其在卷烟零售门店库存聚类分析中的应用[J].商业经济,2017(3):128-129. 被引量：5
6张友海,李锋刚.Kmeans算法的Spark实现及优化[J].西安文理学院学报（自然科学版）,2017,20(3):18-20. 被引量：1
7丁祥武,解书亮,李继云.基于Spark的并行ETL[J].计算机工程与设计,2017,38(9):2580-2585. 被引量：7
8陆可,桂伟,江雨燕,杜萍萍.基于Spark的并行FP-Growth算法优化与实现[J].计算机应用与软件,2017,34(9):273-278. 被引量：8
9林宗缪,郭先超,裴雨清,唐浩,姚文勇.基于Spark的网络日志分析平台研究与设计[J].自动化与仪器仪表,2017(11):157-159. 被引量：3
10张靓,肖俊东,赵开敏.基于Spark的舰船网络数据解析存储系统设计与实现[J].舰船电子工程,2017,37(11):92-95. 被引量：2

同被引文献41

1王钰,赵晓艳,杨杏丽,李济洪.基于K折交叉验证Beta分布的AUC度量的置信区间[J].系统科学与数学,2020,40(9):1564-1577. 被引量：17
2白铂,刘玉婷,马驰骋,王光辉,闫桂英,闫凯,张明,周志恒.图神经网络[J].中国科学：数学,2020,50(3):367-384. 被引量：32
3赵卓翔,王轶彤,田家堂,周泽学.社会网络中基于标签传播的社区发现新算法[J].计算机研究与发展,2011,48(S3):8-15. 被引量：37
4戴俊,朱晓民.基于ActiveMQ的异步消息总线的设计与实现[J].计算机系统应用,2010,19(8):254-257. 被引量：33
5刘磊,陈兴蜀,尹学渊,段意,吕昭.基于特征加权朴素贝叶斯分类算法的网络用户识别[J].计算机应用,2011,31(12):3268-3270. 被引量：8
6林友芳,王天宇,唐锐,周元炜,黄厚宽.一种有效的社会网络社区发现模型和算法[J].计算机研究与发展,2012,49(2):337-345. 被引量：51
7张东亮,董礼.基于改进的朴素贝叶斯算法在垃圾短信过滤中的研究[J].计算机测量与控制,2012,20(2):526-528. 被引量：7
8张俊丽,常艳丽,师文.标签传播算法理论及其应用研究综述[J].计算机应用研究,2013,30(1):21-25. 被引量：43
9宫秀文,张佩云.基于PageRank的社交网络影响最大化传播模型与算法研究[J].计算机科学,2013,40(06A):136-140. 被引量：14
10刘丽娇,陶俊才,肖晓军,卢宇.电信大规模社交关系网络图数据挖掘研究[J].电信科学,2015,31(1):23-31. 被引量：4

引证文献5

1叶小榕,邵晴.基于Spark的大规模社交网络社区发现原型系统[J].科技导报,2018,36(23):93-101. 被引量：9
2杨文杰,周志刚,雷欢,杨慧莉.基于GraphX的社交网络用户推荐算法研究[J].自动化与信息工程,2018,39(1):27-31. 被引量：1
3杨宁,黄婷婷.基于Spark的大数据分析工具Hive的研究[J].计算机时代,2018(11):31-35. 被引量：12
4郝晓培,朱建生,单杏花.图神经网络在12306黑产用户挖掘的研究[J].计算机技术与发展,2022,32(7):185-190.
5李兰凤,马佳荣.大数据计算框架与平台分析[J].网络安全技术与应用,2019,0(9):47-49. 被引量：1

二级引证文献23

1叶小榕,邵晴.基于Spark的大规模社交网络社区发现原型系统[J].科技导报,2018,36(23):93-101. 被引量：9
2刘磊,黄嘉浩,许锐强,蔡欣桦.基于华为大数据平台的电商网站建设优化[J].现代计算机,2019,25(4):88-91. 被引量：1
3吴庭天,田蜜,陈宗铸,雷金睿,陈小花,李苑菱,黄绪壮.基于Hadoop的森林资源信息平台研究[J].热带林业,2019,47(1):43-47. 被引量：3
4王涛,赵忠浩,任晴晴,白亮,李响.电力信息监测系统的设计[J].信息技术,2019,43(6):134-139. 被引量：2
5贺释千,张海涛,李密生,王玉清.基于Spark云计算技术的Linux实验教学研究[J].中国教育信息化,2019,25(12):89-91. 被引量：4
6于兴尚,王迎胜.面向精准化服务的图书馆用户画像模型构建[J].图书情报工作,2019,63(22):41-48. 被引量：42
7何芳,杨彬.新时期信息化生命周期演进的方法与实践--大数据分析平台功能研究[J].IT经理世界,2019,22(11):106-108. 被引量：1
8袁欣雨,刘玮,孙辰军,杨楠.基于多站融合的分布式数据库搬移共享模式研究[J].电力信息与通信技术,2020,18(5):46-51. 被引量：5
9彭贝,刘黎志,杨敏,张晨跃.基于Hive的空气质量大数据查询优化方法[J].武汉工程大学学报,2020,42(4):467-472. 被引量：1
10马志宇,吴颖,夏川,刘飞,吴云志,乐毅,张友华.基于改进DRF算法的农业微服务负载均衡[J].江苏农业学报,2020,36(5):1298-1304. 被引量：7

1邱璐璐.TinyOS无线传感器网络操作系统分析[J].电子元器件应用,2010,12(6):79-81. 被引量：1
2UC Berkeley研发出塑料薄膜触摸屏[J].功能材料信息,2013,10(4):57-58.
3张振平.基于NS-2的网络协议仿真研究[J].大众科技,2010,12(12):35-37. 被引量：1
4陈建荣,童洪亮,朱培栋,齐治昌.传感器网络中基于延迟测量的时间标记[J].计算机工程与科学,2008,30(2):84-86.
5微软“创新杯”2016年全球总决赛名单揭晓[J].中国信息化,2016,0(8):75-75.
6高巍,潘桃,刘佳扬,叶佐昌,余志平.考虑衬底涡旋电流的CMOS射频电路电感元件的快速提取算法及实现[J].电子学报,2006,34(8):1361-1366.

现代计算机

2017年第6期

浏览历史

内容加载中请稍等...