期刊文献+
共找到178篇文章
< 1 2 9 >
每页显示 20 50 100
一种基于HiveSQL的增加任务并行度与建立中间表组合的优化查询方法 被引量:3
1
作者 郑灵逸 李擎 《现代计算机》 2021年第36期55-59,共5页
针对大数据时代数据量级随时间不断累积、在大数据环境中查询数据困难且缓慢的问题,提出一种基于HiveSQL的增加任务并行度与建立中间表组合的优化查询方法。本文应用的是Hadoop生态系统中Hive数据库,从Hive数据库里数据量级为Pb的数据当... 针对大数据时代数据量级随时间不断累积、在大数据环境中查询数据困难且缓慢的问题,提出一种基于HiveSQL的增加任务并行度与建立中间表组合的优化查询方法。本文应用的是Hadoop生态系统中Hive数据库,从Hive数据库里数据量级为Pb的数据当中,通过编写SQL语句查询出实验所需要的数据。当在查询数据量级过大、查询指标较多并且SQL查询语句冗长的情况下,都会造成查询时间过长和查询效率低的问题,提出增加SQL任务并行度与建立中间表组合的优化查询方法来解决这一问题。实验结果证明,本文提出的方法将大数据查询时间缩短为原来的25%,并且提高了集群的利用效率。 展开更多
关键词 大数据查询优化 Hive SQL任务并行 建立中间表
在线阅读 下载PDF
DON'T BE RASH!Dealing with hives
2
作者 DR.CHEN LEI 《城市漫步(上海版、英文)》 2015年第4期89-89,共1页
Hives,medically known as urticaria,is a vascular reaction of the skin characterized by the appearance of red,swollen marks and is associated with severe itching,stinging or pricking sensations.
关键词 SENSATION Hive APPEARANCE
原文传递
一种海量教育用户行为数据分析软件的设计
3
作者 何雪锋 《河北软件职业技术学院学报》 2025年第1期19-23,共5页
在线教育行业的迅猛发展加剧了各大在线教育机构的竞争,尤其在打造个性化服务和预测市场趋势方面竞争更加激烈。为了提升在线教育机构的市场竞争力,基于分布式数据仓库Hive、后端开发框架SpringBoot和前端开发框架Vue等技术,提出了一套... 在线教育行业的迅猛发展加剧了各大在线教育机构的竞争,尤其在打造个性化服务和预测市场趋势方面竞争更加激烈。为了提升在线教育机构的市场竞争力,基于分布式数据仓库Hive、后端开发框架SpringBoot和前端开发框架Vue等技术,提出了一套海量数据存储、分析和可视化解决方案。实践证明,该方案能够高效、多维度地实现海量数据的挖掘和展示,具有较强的可操作性和借鉴意义。 展开更多
关键词 教育数据 用户行为 数据仓库 Hive
在线阅读 下载PDF
城校共生视域下韩国高等职业教育政策研究--基于高等职业教育重点区域事业(HiVE)项目的分析
4
作者 王佳桐 冯旭芳 《教育与职业》 北大核心 2025年第1期60-68,共9页
近年来,城校共生成为韩国政府推动高等职业教育发展的重要理念。基于该理念和面临的国内外环境,韩国政府出台高等职业教育重点区域事业(HiVE)项目,其愿景是创建与城市(社区)相生的高等职业院校,其目标是打造区域紧密型高等职业教育体系... 近年来,城校共生成为韩国政府推动高等职业教育发展的重要理念。基于该理念和面临的国内外环境,韩国政府出台高等职业教育重点区域事业(HiVE)项目,其愿景是创建与城市(社区)相生的高等职业院校,其目标是打造区域紧密型高等职业教育体系,目前该项目已经形成了四维战略举措、四大实施成效以及五大改进方向。探讨其在推动高等职业教育与区域经济协同发展方面的政策实践,特别是在促进城校共生、产教融合、终身教育方面的经验,可以为我国建设产教融合型城市提供宝贵借鉴。 展开更多
关键词 城校共生 产教融合 高等职业教育 HiVE 政策研究 韩国
在线阅读 下载PDF
基于Hive数据分析技术在塑料加工中的应用研究
5
作者 王丽佳 张萌 《塑料工业》 北大核心 2025年第8期194-194,共1页
塑料加工行业里,生产过程会产生海量多源异构数据,对这些数据的有效分析是提升生产效率与产品质量的关键,而数据仓库工具(Hive)数据分析技术凭借处理大规模数据的能力在塑料加工中逐渐受到关注,不过它的应用既面临数据整合和机理建模难... 塑料加工行业里,生产过程会产生海量多源异构数据,对这些数据的有效分析是提升生产效率与产品质量的关键,而数据仓库工具(Hive)数据分析技术凭借处理大规模数据的能力在塑料加工中逐渐受到关注,不过它的应用既面临数据整合和机理建模难点,也有重要的实践价值。 展开更多
关键词 Hive数据分析技术 塑料加工 海量多源异构数据 生产过程
在线阅读 下载PDF
基于HIVE数据仓库的新入网用户卖卡行为识别方法
6
作者 陈乔 《数字通信世界》 2025年第11期102-104,共3页
部分新入网的用户采用隐蔽的方式实施卖卡活动,增加了识别和打击这类行为的难度。为了有效识别新入网用户的异常行为,本文开展基于HIV E数据仓库的新入网用户卖卡行为识别方法研究。首先,根据Hive数据仓库架构,逐级进行用户行为数据处... 部分新入网的用户采用隐蔽的方式实施卖卡活动,增加了识别和打击这类行为的难度。为了有效识别新入网用户的异常行为,本文开展基于HIV E数据仓库的新入网用户卖卡行为识别方法研究。首先,根据Hive数据仓库架构,逐级进行用户行为数据处理。然后,利用处理过的用户行为数据,进行新入网用户特征行为画像。最后,从用户特征行为画像中提取多项与卖卡行为高度相关的行为规则,设计基于行为规则判别模型的用户卖卡行为识别方法。实验结果表明,此方法不仅可以实现对新入网用户异常行为数据类别的精准划分,还能准确识别新入网用户卖卡行为风险。 展开更多
关键词 HIVE数据仓库 行为规则判别模型 特征行为画像 识别方法 卖卡行为
在线阅读 下载PDF
基于Hadoop的SQL查询引擎性能研究 被引量:8
7
作者 吴黎兵 邱鑫 +2 位作者 叶璐瑶 王晓栋 聂雷 《华中师范大学学报(自然科学版)》 CAS 北大核心 2016年第2期174-182,共9页
Apache Hadoop处理超大规模数据集有非常出色的表现,相比较于传统的数据仓库和关系型数据库有不少优势.为了让原有业务能够充分利用Hadoop的优势,SQL-on-Hadoop系统越来越受到工业界和学术界的关注.基于Hadoop的SQL查询引擎种类繁多,各... Apache Hadoop处理超大规模数据集有非常出色的表现,相比较于传统的数据仓库和关系型数据库有不少优势.为了让原有业务能够充分利用Hadoop的优势,SQL-on-Hadoop系统越来越受到工业界和学术界的关注.基于Hadoop的SQL查询引擎种类繁多,各有优势,其运算引擎主要包括三种:1传统的Map/Reduce引擎;2新兴的Spark引擎;3基于shared-nothing架构的MPP引擎.本文选取了其中最有代表性的三种SQL查询引擎—Hive、Spark SQL、Impala,并使用了一种类TPC-H的测试基准对它们的决策支持能力进行测试及评估.从实验结果来看,Impala和Spark SQL相对于传统的Hive都有较大的提高,其中Impala的部分查询比Hive快了10倍以上,并且Impala在完成查询所占用的集群资源也是最少的.然而若从稳定性、易用性、兼容性和性能等多个方面进行对比,并不存在各方面均最优的查询引擎,因此在构建基于Hadoop的数据仓库系统时,推荐采用Hive+Impala或者Hive+Spark SQL的混合架构. 展开更多
关键词 大数据 SQL-on-Hadoop 数据仓库 SPARK SQL IMPALA Hive
在线阅读 下载PDF
基于Hive的电力设备状态信息数据仓库 被引量:41
8
作者 王德文 肖凯 肖磊 《电力系统保护与控制》 EI CSCD 北大核心 2013年第9期125-130,共6页
随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于Hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对... 随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于Hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对状态监测系统与生产管理系统(PMS)的分析,将电力设备静态信息与状态监测信息存储到Hive数据仓库中。设计了基于Hive的电力设备状态信息数据仓库的系统架构和海量状态数据存储结构,采用Hadoop分布式文件系统(HDFS)对数据进行分布式存储管理,Map Reduce作为海量数据查询分析的计算模式,HiveQL查询语言作为数据仓库的控制工具,并给出了数据仓库的工作过程。建立一个基于Hive的电力设备状态信息数据仓库实验平台,分别利用5个节点和10个节点的Hadoop集群进行测试,结果表明上述方法具有较好的扩展性,能满足大规模多维电力设备状态数据存储查询的需要。 展开更多
关键词 智能变电站 电力设备状态信息 数据仓库 Hive HDFS
在线阅读 下载PDF
基于Hadoop/Hive的web日志分析系统的设计 被引量:24
9
作者 刘永增 张晓景 李先毅 《广西大学学报(自然科学版)》 CAS CSCD 北大核心 2011年第A01期314-317,共4页
互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现,为这类问题的解决提供了一种思路。云计算将数据通过网络分布到集群的... 互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现,为这类问题的解决提供了一种思路。云计算将数据通过网络分布到集群的各个计算节点上,从而完成大规模数据的存储和运算。Hadoop是一个用于构建云计算平台的流行的开源框架,广泛应用于海量数据的处理。但利用Hadoop处理数据,用户必须自己开发Map/Reduce程序。这种程序处于比较低的层次,用户不容易掌握,而且难于维护。Hive是一个基于Hadoop的开源数据仓库工具,它能够将文件映射成数据表,并提供类SQL语句,简化了用户的开发。利用Hadoop、Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度。通过与单机实验的对比,证明系统是有效的和有价值的。 展开更多
关键词 WEB日志 云计算 HADOOP Hive
在线阅读 下载PDF
主流大数据处理开源架构的分析及对比评测 被引量:4
10
作者 方艾 徐雄 +2 位作者 梁冰 张玉忠 杨翊平 《电信科学》 北大核心 2015年第7期152-157,共6页
结合电信增值业务领域中对大数据处理的实际需求,对现有主流的分布式大数据处理架构(Hive、Impala、Spark)的核心进行分析与实测,比较它们在大数据处理过程中的优劣及适用的场景,从而为大数据分析所面临的架构适用性选型提供参考。
关键词 大数据 Hive MAPREDUCE IMPALA SPARK
在线阅读 下载PDF
QAR数据仓库在Hive中的构建 被引量:7
11
作者 冯兴杰 吴稀钰 +2 位作者 赵杰 贺阳 房戍 《计算机工程与应用》 CSCD 北大核心 2017年第11期90-94,共5页
分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有... 分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有数据仓库的不足,提出基于Hive的QAR数据仓库。通过对Hive特点及QAR数据结构分析,设计了基于Hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库,实现了对已有数据仓库的兼容。实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长。 展开更多
关键词 Hive 快速存取记录器(QAR) 数据仓库 数据处理 HADOOP
在线阅读 下载PDF
基于Hadoop/Hive的乳制品溯源数据计算及性能优化 被引量:4
12
作者 朱淑鑫 李悦 +3 位作者 袁培森 徐焕良 王康 谢忠红 《华东师范大学学报(自然科学版)》 CAS CSCD 北大核心 2018年第4期99-108,共10页
为了提升传统乳制品溯源系统应对大规模企业生产数据的性能,本文分析了乳制品相关企业供应链业务流程、关键溯源单元和溯源信息,结合Hadoop/Hive大数据技术和分布式数据库技术,设计并构建了基于Hadoop/Hive的乳制品溯源框架.搭建模拟大... 为了提升传统乳制品溯源系统应对大规模企业生产数据的性能,本文分析了乳制品相关企业供应链业务流程、关键溯源单元和溯源信息,结合Hadoop/Hive大数据技术和分布式数据库技术,设计并构建了基于Hadoop/Hive的乳制品溯源框架.搭建模拟大数据环境并使用实际生产数据对系统性能进行测试,实验结果表明,引入Hadoop/Hive技术后,系统的平均数据存储速度、平均数据访问速度、平均数据交互速度分别提升了87.43%、27.10%、58.16%.改进后的乳制品溯源系统存储和处理大规模数据的能力明显优于传统的乳制品溯源系统. 展开更多
关键词 Hadoop/Hive 乳制品溯源 数据计算 性能优化
在线阅读 下载PDF
基于Hadoop的高校公共数据平台的构建 被引量:15
13
作者 胡锐 胡伏原 陈丽春 《苏州科技学院学报(自然科学版)》 CAS 2015年第3期52-55,共4页
随着高校信息化建设的发展,数据资源出现了快速的增长。现有的存储平台已难以满足信息化数据增长的要求。文中提出一种基于云存储的公共数据平台,该平台以Hadoop为基础,通过Hive、HBase和HDFS等技术实现数据资源的统一存储和共享。实验... 随着高校信息化建设的发展,数据资源出现了快速的增长。现有的存储平台已难以满足信息化数据增长的要求。文中提出一种基于云存储的公共数据平台,该平台以Hadoop为基础,通过Hive、HBase和HDFS等技术实现数据资源的统一存储和共享。实验证明,该平台性能基本可以代替传统的数据库系统和文件存储系统。 展开更多
关键词 Hive HADOOP 公共数据平台
在线阅读 下载PDF
基于HBase和Hive的航班延误平台的存储方法 被引量:6
14
作者 吴仁彪 刘超 屈景怡 《计算机应用》 CSCD 北大核心 2018年第5期1339-1345,共7页
针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具Leaf Let为可视化载体,在地图界面实时显示航班轨... 针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具Leaf Let为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法(MD5)重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于Solr Cloud的关联查询算法,利用Solr Cloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于Hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。 展开更多
关键词 大数据平台 航班延误 HBASE Hive SolrCloud LEAFLET
在线阅读 下载PDF
基于Hadoop的心电数据库存储研究 被引量:4
15
作者 熊艳 陈宇 +2 位作者 蒋文涛 王冠石 舒敬恒 《生物医学工程研究》 北大核心 2016年第3期175-177,共3页
本文旨在研究远程监控心血管疾病时,产生的心电大数据的存储方式。采用Hadoop分布式集群技术,设计基于HBase非关系型(NoSQL)心电数据库,测试存储时间和访问效率,解决心电大数据的存储问题。经测试,HBase数据库的存储时间、访问时间、存... 本文旨在研究远程监控心血管疾病时,产生的心电大数据的存储方式。采用Hadoop分布式集群技术,设计基于HBase非关系型(NoSQL)心电数据库,测试存储时间和访问效率,解决心电大数据的存储问题。经测试,HBase数据库的存储时间、访问时间、存储的高可靠性,均满足心电数据的存储要求。本研究为后续进行心血管大数据分析、统计、数据挖掘打下基础。 展开更多
关键词 NOSQL HADOOP 心电数据 HBASE 存储技术 HIVE
暂未订购
基于Hadoop的VPN访问日志分析平台的研究与实现 被引量:3
16
作者 武凌 杨家桂 +1 位作者 陈劲松 王平水 《沈阳大学学报(自然科学版)》 CAS 2016年第6期488-496,共9页
采用Hadoop分布式计算框架和数据仓库Hive构建一个日志分析平台,将VPN环境下不同系统或应用程序产生的多个相关的日志进行关联分析,以还原出通过VPN存取资源的轨迹行为,用以改善使用单机进行大量日志处理效率低下而且扩充性差的问题.平... 采用Hadoop分布式计算框架和数据仓库Hive构建一个日志分析平台,将VPN环境下不同系统或应用程序产生的多个相关的日志进行关联分析,以还原出通过VPN存取资源的轨迹行为,用以改善使用单机进行大量日志处理效率低下而且扩充性差的问题.平台产生的轨迹数据可以协助系统管理者找出数据外泄轨迹,了解资源是否被滥用,以及发现潜在的安全性威胁. 展开更多
关键词 VPN 日志 审核跟踪 HADOOP Hive
在线阅读 下载PDF
基于Hive的高可用双引擎数据仓库 被引量:10
17
作者 李翀 张彤彤 +1 位作者 杜伟静 刘学敏 《计算机系统应用》 2019年第9期65-71,共7页
打破信息孤岛,整合异构数据,汇聚共享交换,深度分析挖掘,提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引,设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓... 打破信息孤岛,整合异构数据,汇聚共享交换,深度分析挖掘,提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引,设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓库,支持多种方式OLAP分析,进行了可用性、负载均衡、资源管理的优化设计,为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑.实验表明,系统灵活高效,高可用可扩展,资源调度科学,负载均衡效果明显. 展开更多
关键词 数据仓库 Hive 高可用 OLAP HADOOP
在线阅读 下载PDF
基于WinCE的嵌入式系统注册表的研究 被引量:4
18
作者 张建畅 陶会荣 +1 位作者 王建超 张明路 《微计算机信息》 北大核心 2008年第14期44-46,共3页
本文首先讲述了Windows CE注册表的重要性,它对整个嵌入式系统的正常运行起着关键性作用。然后又介绍了两种注册表存储方式,并着重讲述了基于HIVE的注册表。详细阐述了基于HIVE的注册表的保存数据方式及实现HIVE注册表的方法。最后给出... 本文首先讲述了Windows CE注册表的重要性,它对整个嵌入式系统的正常运行起着关键性作用。然后又介绍了两种注册表存储方式,并着重讲述了基于HIVE的注册表。详细阐述了基于HIVE的注册表的保存数据方式及实现HIVE注册表的方法。最后给出了系统成功修改注册表的实现方法。本文的研究对其它操作系统的注册表修改也具有着借鉴意义。 展开更多
关键词 WINDOWSCE 注册表 HIVE 信息存储
在线阅读 下载PDF
基于HDFS和IMPALA的碰撞比对分析 被引量:4
19
作者 王艳 潘晨光 《电视技术》 北大核心 2015年第14期94-98,共5页
处理公共安全大数据需实现查询、全文检索、即时数据推送和内存计算等实时业务分析,而基于Hadoop生态系统建立的Hive不支持海量数据的实时查询,无法实现交互式查询和报表查询快速返回数据结果。针对Hive实时查询的不足,首次将Impala架... 处理公共安全大数据需实现查询、全文检索、即时数据推送和内存计算等实时业务分析,而基于Hadoop生态系统建立的Hive不支持海量数据的实时查询,无法实现交互式查询和报表查询快速返回数据结果。针对Hive实时查询的不足,首次将Impala架构应用于公共安全数据处理上,结合Impala实时查询引擎的原理,分析了Map Reduce上Hive的实时查询缺陷,比较了Impala和Hive的实时性能,改进了Impala上运行CURE碰撞比对算法,实现了异地数据碰撞比对的分析与展现。本系统的方案在实战应用中取得了较好的效果,可为公安安全领域构建大规模数据处理与分析系统提供技术参考。 展开更多
关键词 公共安全 数据处理 HDFS MAPREDUCE Hive
在线阅读 下载PDF
基于Hadoop的海量电费数据处理模型 被引量:5
20
作者 谌章义 毕伟 +2 位作者 向万红 王国安 吴爱国 《计算机系统应用》 2014年第5期37-42,共6页
随着电费数据量的快速增长,某特大型集团公司财务管理信息系统传统的电费数据处理模式已经成为系统的性能瓶颈.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于海量数据处理领域.本文在对电... 随着电费数据量的快速增长,某特大型集团公司财务管理信息系统传统的电费数据处理模式已经成为系统的性能瓶颈.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于海量数据处理领域.本文在对电费业务和Hadoop进行分析和研究的基础上,提出了电费数据新的处理模型,建立了基于Hadoop和Hive的电费明细数据处理平台.实验证明该模型可以有效解决目前海量电费数据处理面临的性能瓶颈,提高电费数据处理的速度和效率,并且可以提供高性能的明细数据查询功能. 展开更多
关键词 HADOOP Hive 海量数据 电费数据处理 财务管理系统
在线阅读 下载PDF
上一页 1 2 9 下一页 到第
使用帮助 返回顶部