摘要
随着大数据时代的到来,面对海量新闻数据,用户很难获得有用的信息。提出基于Spark技术构建新闻大数据分析系统,使用Scrapy采集新闻数据,利用向量空间模型对数据进行特征化,选择K-Means算法进行新闻聚类,对新闻进行实时分析,帮助用户获取新闻热点。系统运行结果表明,该方法对新闻大数据分析效果较好。
With the advent of the era of big data, it is difficult for users to obtain useful information in the face of massive news data. Spark technology is used to construct news big data analysis system, Scrapy is adopted to collect news data, vector space model is used to characterize data, k-means algorithm is selected for news clustering, and real-time analysis of news is carried out to help users obtain news hot spots. The system running results show that this method is effective for big data analysis of news.
作者
李伟
孙新杰
张毓福
Li Wei;Sun Xinjie;Zhang Yufu(College of mathematics and information engineering,Liupanshui Normal University,Liupanshui 553001,China)
出处
《六盘水师范学院学报》
2019年第3期20-22,共3页
Journal of Liupanshui Normal University
基金
2015年度贵州省联合基金项目“大数据下的电子商务推荐系统优化研究与开发”(黔科合LH字[2015]7606号)
2018年度六盘水市科技局基金项目“基于大数据的协同过滤推荐算法及推荐平台研究”(5202020180415)
