期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到256篇文章
< 1 2 … 13 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
城校共生视域下韩国高等职业教育政策研究--基于高等职业教育重点区域事业(HiVE)项目的分析
1
作者 王佳桐 冯旭芳 《教育与职业》 北大核心 2025年第1期60-68,共9页
近年来,城校共生成为韩国政府推动高等职业教育发展的重要理念。基于该理念和面临的国内外环境,韩国政府出台高等职业教育重点区域事业(HiVE)项目,其愿景是创建与城市(社区)相生的高等职业院校,其目标是打造区域紧密型高等职业教育体系... 近年来,城校共生成为韩国政府推动高等职业教育发展的重要理念。基于该理念和面临的国内外环境,韩国政府出台高等职业教育重点区域事业(HiVE)项目,其愿景是创建与城市(社区)相生的高等职业院校,其目标是打造区域紧密型高等职业教育体系,目前该项目已经形成了四维战略举措、四大实施成效以及五大改进方向。探讨其在推动高等职业教育与区域经济协同发展方面的政策实践,特别是在促进城校共生、产教融合、终身教育方面的经验,可以为我国建设产教融合型城市提供宝贵借鉴。 展开更多
关键词 城校共生 产教融合 高等职业教育 hive 政策研究 韩国
在线阅读 下载PDF
基于Hive数据分析技术在塑料加工中的应用研究
2
作者 王丽佳 张萌 《塑料工业》 北大核心 2025年第8期194-194,共1页
塑料加工行业里,生产过程会产生海量多源异构数据,对这些数据的有效分析是提升生产效率与产品质量的关键,而数据仓库工具(Hive)数据分析技术凭借处理大规模数据的能力在塑料加工中逐渐受到关注,不过它的应用既面临数据整合和机理建模难... 塑料加工行业里,生产过程会产生海量多源异构数据,对这些数据的有效分析是提升生产效率与产品质量的关键,而数据仓库工具(Hive)数据分析技术凭借处理大规模数据的能力在塑料加工中逐渐受到关注,不过它的应用既面临数据整合和机理建模难点,也有重要的实践价值。 展开更多
关键词 hive数据分析技术 塑料加工 海量多源异构数据 生产过程
在线阅读 下载PDF
基于HIVE数据仓库的新入网用户卖卡行为识别方法
3
作者 陈乔 《数字通信世界》 2025年第11期102-104,共3页
部分新入网的用户采用隐蔽的方式实施卖卡活动,增加了识别和打击这类行为的难度。为了有效识别新入网用户的异常行为,本文开展基于HIV E数据仓库的新入网用户卖卡行为识别方法研究。首先,根据Hive数据仓库架构,逐级进行用户行为数据处... 部分新入网的用户采用隐蔽的方式实施卖卡活动,增加了识别和打击这类行为的难度。为了有效识别新入网用户的异常行为,本文开展基于HIV E数据仓库的新入网用户卖卡行为识别方法研究。首先,根据Hive数据仓库架构,逐级进行用户行为数据处理。然后,利用处理过的用户行为数据,进行新入网用户特征行为画像。最后,从用户特征行为画像中提取多项与卖卡行为高度相关的行为规则,设计基于行为规则判别模型的用户卖卡行为识别方法。实验结果表明,此方法不仅可以实现对新入网用户异常行为数据类别的精准划分,还能准确识别新入网用户卖卡行为风险。 展开更多
关键词 hive数据仓库 行为规则判别模型 特征行为画像 识别方法 卖卡行为
在线阅读 下载PDF
基于Hadoop/Hive的web日志分析系统的设计 被引量：24
4
作者 刘永增 张晓景 李先毅 《广西大学学报（自然科学版）》 CAS CSCD 北大核心 2011年第A01期314-317,共4页
互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现,为这类问题的解决提供了一种思路。云计算将数据通过网络分布到集群的... 互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大。如何存储、处理大规模数据就成了新的挑战。云计算技术的出现,为这类问题的解决提供了一种思路。云计算将数据通过网络分布到集群的各个计算节点上,从而完成大规模数据的存储和运算。Hadoop是一个用于构建云计算平台的流行的开源框架,广泛应用于海量数据的处理。但利用Hadoop处理数据,用户必须自己开发Map/Reduce程序。这种程序处于比较低的层次,用户不容易掌握,而且难于维护。Hive是一个基于Hadoop的开源数据仓库工具,它能够将文件映射成数据表,并提供类SQL语句,简化了用户的开发。利用Hadoop、Hive设计了一个用于处理web日志分析的系统,既充分利用了Hadoop的海量数据处理的能力,又降低了开发的难度。通过与单机实验的对比,证明系统是有效的和有价值的。 展开更多
关键词 WEB日志 云计算 HADOOP hive
在线阅读 下载PDF
基于Hive的电力设备状态信息数据仓库 被引量：41
5
作者 王德文 肖凯 肖磊 《电力系统保护与控制》 EI CSCD 北大核心 2013年第9期125-130,共6页
随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于Hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对... 随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于Hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对状态监测系统与生产管理系统(PMS)的分析,将电力设备静态信息与状态监测信息存储到Hive数据仓库中。设计了基于Hive的电力设备状态信息数据仓库的系统架构和海量状态数据存储结构,采用Hadoop分布式文件系统(HDFS)对数据进行分布式存储管理,Map Reduce作为海量数据查询分析的计算模式,HiveQL查询语言作为数据仓库的控制工具,并给出了数据仓库的工作过程。建立一个基于Hive的电力设备状态信息数据仓库实验平台,分别利用5个节点和10个节点的Hadoop集群进行测试,结果表明上述方法具有较好的扩展性,能满足大规模多维电力设备状态数据存储查询的需要。 展开更多
关键词 智能变电站 电力设备状态信息 数据仓库 hive HDFS
在线阅读 下载PDF
基于Hadoop/Hive的乳制品溯源数据计算及性能优化 被引量：4
6
作者 朱淑鑫 李悦 +3 位作者 袁培森 徐焕良 王康 谢忠红 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2018年第4期99-108,共10页
为了提升传统乳制品溯源系统应对大规模企业生产数据的性能,本文分析了乳制品相关企业供应链业务流程、关键溯源单元和溯源信息,结合Hadoop/Hive大数据技术和分布式数据库技术,设计并构建了基于Hadoop/Hive的乳制品溯源框架.搭建模拟大... 为了提升传统乳制品溯源系统应对大规模企业生产数据的性能,本文分析了乳制品相关企业供应链业务流程、关键溯源单元和溯源信息,结合Hadoop/Hive大数据技术和分布式数据库技术,设计并构建了基于Hadoop/Hive的乳制品溯源框架.搭建模拟大数据环境并使用实际生产数据对系统性能进行测试,实验结果表明,引入Hadoop/Hive技术后,系统的平均数据存储速度、平均数据访问速度、平均数据交互速度分别提升了87.43%、27.10%、58.16%.改进后的乳制品溯源系统存储和处理大规模数据的能力明显优于传统的乳制品溯源系统. 展开更多
关键词 Hadoop/hive 乳制品溯源 数据计算 性能优化
在线阅读 下载PDF
QAR数据仓库在Hive中的构建 被引量：7
7
作者 冯兴杰 吴稀钰 +2 位作者 赵杰 贺阳 房戍 《计算机工程与应用》 CSCD 北大核心 2017年第11期90-94,共5页
分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有... 分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有数据仓库的不足,提出基于Hive的QAR数据仓库。通过对Hive特点及QAR数据结构分析,设计了基于Hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库,实现了对已有数据仓库的兼容。实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长。 展开更多
关键词 hive 快速存取记录器(QAR) 数据仓库 数据处理 HADOOP
在线阅读 下载PDF
基于HBase和Hive的航班延误平台的存储方法 被引量：6
8
作者 吴仁彪 刘超 屈景怡 《计算机应用》 CSCD 北大核心 2018年第5期1339-1345,共7页
针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具Leaf Let为可视化载体,在地图界面实时显示航班轨... 针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具Leaf Let为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法(MD5)重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于Solr Cloud的关联查询算法,利用Solr Cloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于Hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。 展开更多
关键词 大数据平台 航班延误 HBASE hive SolrCloud LEAFLET
在线阅读 下载PDF
基于Hive的高可用双引擎数据仓库 被引量：10
9
作者 李翀 张彤彤 +1 位作者 杜伟静 刘学敏 《计算机系统应用》 2019年第9期65-71,共7页
打破信息孤岛,整合异构数据,汇聚共享交换,深度分析挖掘,提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引,设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓... 打破信息孤岛,整合异构数据,汇聚共享交换,深度分析挖掘,提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引,设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓库,支持多种方式OLAP分析,进行了可用性、负载均衡、资源管理的优化设计,为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑.实验表明,系统灵活高效,高可用可扩展,资源调度科学,负载均衡效果明显. 展开更多
关键词 数据仓库 hive 高可用 OLAP HADOOP
在线阅读 下载PDF
基于Hive的智慧城市数据处理技术研究与实现 被引量：9
10
作者 艾丽蓉 刘云峰 《计算机技术与发展》 2018年第2期9-13,共5页
对智慧城市系统中产生的大量数据进行有效的采集、合理的存储、高效精准的分析,进而对决策的做出提供合理的支持是在智慧城市建设过程中必须要解决的问题。对此,在充分理解智慧园区数据分析系统功能需求、性能需求的基础上,结合当前比... 对智慧城市系统中产生的大量数据进行有效的采集、合理的存储、高效精准的分析,进而对决策的做出提供合理的支持是在智慧城市建设过程中必须要解决的问题。对此,在充分理解智慧园区数据分析系统功能需求、性能需求的基础上,结合当前比较主流的数据分析方面的技术,提出了Kettle+Hive+Tableau的智慧园区数据分析解决方案。该系统具有较高的可用性、稳定性、效率以及非常高的扩展性、可移植性,不仅适合于对智慧园区的数据分析,还普遍适用于对智能化信息系统数据进行分析,具有较高的普适性、通用性。该系统通过ETL工具、数据可视化工具的应用,尽量减少在数据分析系统开发过程中代码的编写,能够适用于绝大部分有数据分析需求并且数据量较大的信息化系统。 展开更多
关键词 智慧城市 hive 数据采集 数据可视化分析
在线阅读 下载PDF
基于Hive数据仓库的物流大数据平台的研究与设计 被引量：9
11
作者 张锐 《电子设计工程》 2017年第9期31-35,共5页
针对物流企业数据仓库扩展性不好、运行自动化程度不高、处理大规模数据效果较差等问题。本文通过对Hive技术的物流数据仓库进行分析,提出物流数据仓库的具体实现方案,该数据仓库结合云平台虚拟化技术,部署了Hadoop和Hive环境,搭建了基... 针对物流企业数据仓库扩展性不好、运行自动化程度不高、处理大规模数据效果较差等问题。本文通过对Hive技术的物流数据仓库进行分析,提出物流数据仓库的具体实现方案,该数据仓库结合云平台虚拟化技术,部署了Hadoop和Hive环境,搭建了基于虚拟化技术的大数据处理平台。同时从数据ETL和数据查询分析处理两方面对数据仓库的可扩展性Hive数据存储分析、Hive数据前置处理等进行研究设计。通过Hive数据仓库运行效果进行分析,表明该系统能够很好地支持企业管理层决策。 展开更多
关键词 智慧物流大数据平台 hive数据仓库 ETL 查询分析
在线阅读 下载PDF
基于移动通信数据的流动人口统计中的Hive优化 被引量：3
12
作者 周天绮 《软件工程师》 2015年第7期57-59,56,共4页
针对电信大数据在流动人口统计中的处理需求,采用Intel?Hadoop发行版,设计Hive数据仓库并进行优化,重点对性能影响较大的join连接和数据倾斜问题进行了优化。实验表明,对于TB级数据,简单统计如count、sum等可在10分钟以内完成,聚合统计... 针对电信大数据在流动人口统计中的处理需求,采用Intel?Hadoop发行版,设计Hive数据仓库并进行优化,重点对性能影响较大的join连接和数据倾斜问题进行了优化。实验表明,对于TB级数据,简单统计如count、sum等可在10分钟以内完成,聚合统计如join、group by等可在30分钟左右完成,能有效支撑大数据环境下的流动人口统计和监测。 展开更多
关键词 hive 优化 JOIN 数据倾斜
在线阅读 下载PDF
基于Zeppelin+Hive的数据分析与可视化 被引量：1
13
作者 张玉叶 孙延坤 《现代计算机》 2023年第14期70-73,共4页
随着大数据时代的到来及大数据产业的迅速发展,快速有效地对海量数据进行分析处理及可视化,成为大数据产业从业人员的必备技能。通过对一组房屋销售数据的分析处理,介绍了如何利用Zeppelin和Hive来快速对海量数据进行分析及可视化,并给... 随着大数据时代的到来及大数据产业的迅速发展,快速有效地对海量数据进行分析处理及可视化,成为大数据产业从业人员的必备技能。通过对一组房屋销售数据的分析处理,介绍了如何利用Zeppelin和Hive来快速对海量数据进行分析及可视化,并给出了具体实现方法和代码。 展开更多
关键词 Zeppelin hive 数据分析 数据可视化
在线阅读 下载PDF
基于Hive架构的物流供应链运力异构数据整合研究
14
作者 廖雪花 任春华 唐思娩 《物流技术》 2017年第3期168-171,共4页
设计了一种基于Hive架构的异构数据整合框架,该框架以多个应用系统数据库为主要研究对象,选取某物流企业供应链过程中的车辆调度系统和运力调度系统的车源数据作为实验对象,通过分析、整合异构数据,搭建异构数据整合框架,进行异构数据... 设计了一种基于Hive架构的异构数据整合框架,该框架以多个应用系统数据库为主要研究对象,选取某物流企业供应链过程中的车辆调度系统和运力调度系统的车源数据作为实验对象,通过分析、整合异构数据,搭建异构数据整合框架,进行异构数据整合研究。结果表明:该架构实现了异构数据资源共享,同时有助于实现物流行业的信息资源整合,而且可以为企业提供更加稳定可靠的决策支持。 展开更多
关键词 hive 物流供应链 异构数据 ETL
在线阅读 下载PDF
基于Hadoop和Hive的电信行业数据仓库研究 被引量：4
15
作者 王苏卫 《电子技术与软件工程》 2013年第11期89-89,共1页
分析处理海量数据成为各电信运营商急需解决的问题。本文描述的基于Hadoop和Hive的数据仓库能很好的解决这个问题,Hadoop依靠普通的PC集群提供可靠的并行计算服务和存储平台,Hive基于M/R框架,提供类SQL功能的HQL语言,为用户提供了一个... 分析处理海量数据成为各电信运营商急需解决的问题。本文描述的基于Hadoop和Hive的数据仓库能很好的解决这个问题,Hadoop依靠普通的PC集群提供可靠的并行计算服务和存储平台,Hive基于M/R框架,提供类SQL功能的HQL语言,为用户提供了一个高效、海量和便捷的数据仓库平台。通过对电信行业海量话单的分析证明,此数据仓库解决方案在处理海量数据上,具有关系型数据仓库不能比拟的性能。摘要分析处理海量数据成为各电信运营商急需解决的问题。本文描述的基于Hadoop和Hive的数据仓库能很好的解决这个问题,Hadoop依靠普通的PC集群提供可靠的并行计算服务和存储平台,Hive基于M/R框架,提供类SQL功能的HQL语言,为用户提供了一个高效、海量和便捷的数据仓库平台。通过对电信行业海量话单的分析证明,此数据仓库解决方案在处理海量数据上,具有关系型数据仓库不能比拟的性能。 展开更多
关键词 HADOOP hive 数据仓库 海量数据
在线阅读 下载PDF
Hadoop架构下原生Hbase、Hive、Lealone、Phoenix等各操作组件的比较 被引量：1
16
作者 马晓亮 田丰 《广东通信技术》 2017年第3期71-74,共4页
通过对比性研究测试,获得在Hadoop架构下,基于HBASE的各操作组件Hive,Lealone,Phoenix等在处理百万级设备接入、数亿条数据时的功能、性能参数以及稳定性情况,从而让中小企业使用者在物联网时代,针对不同应用场景和需要处理的数据量,以... 通过对比性研究测试,获得在Hadoop架构下,基于HBASE的各操作组件Hive,Lealone,Phoenix等在处理百万级设备接入、数亿条数据时的功能、性能参数以及稳定性情况,从而让中小企业使用者在物联网时代,针对不同应用场景和需要处理的数据量,以及所关心的性能指标来选择相应的技术。 展开更多
关键词 大数据 HADOOP HBASE hive Lealone PHOENIX RMCS
在线阅读 下载PDF
基于Hive的邮件日志分析 被引量：1
17
作者 宋梦馨 《信息系统工程》 2016年第4期115-115,117,共2页
企业邮件系统中每天都要产生大量的日志,通过对日志的分析能够获取用户、设备甚至是潜在安全风险等信息,由于日志量大,采用传统的日志分析方法已难以满足企业需求。随着Hadoop平台技术的成熟,通过大数据技术能够实现对大数据量日志的分... 企业邮件系统中每天都要产生大量的日志,通过对日志的分析能够获取用户、设备甚至是潜在安全风险等信息,由于日志量大,采用传统的日志分析方法已难以满足企业需求。随着Hadoop平台技术的成熟,通过大数据技术能够实现对大数据量日志的分析。本文以邮件系统中用户访问日志为例,通过Hadoop平台的构建,使用Hive实现了对该日志的分析,有助于发现邮件系统中潜在的安全风险,保障系统的稳定运行。 展开更多
关键词 HADOOP hive 日志分析
在线阅读 下载PDF
一种基于业务特征优化HIVE中两个大表不等值关联的方法 被引量：1
18
作者 陈喜洲 《广东通信技术》 2017年第11期52-55,共4页
HIVE使用类SQL语言大大简化了HDFS上数据管理操作,但是由于其计算引擎基于MapReduce,因此在部分数据操作上存在限制,其中不支持关联操作中的不等值链接条件就是其中一个例子。本文通过对HIVE关联过程的分析,针对HIVE现有计算框架无法直... HIVE使用类SQL语言大大简化了HDFS上数据管理操作,但是由于其计算引擎基于MapReduce,因此在部分数据操作上存在限制,其中不支持关联操作中的不等值链接条件就是其中一个例子。本文通过对HIVE关联过程的分析,针对HIVE现有计算框架无法直接实现不等值关联,需要通过先关联再筛选的关联方式导致计算量较大的情况,提出结合业务场景和业务目标进行针对性优化,并且结合案例进行分析与性能优化。 展开更多
关键词 大数据 hive 关联 优化
在线阅读 下载PDF
Hive日志分析的大数据存储优化探讨 被引量：1
19
作者 王悦 《信息通信》 2015年第10期130-131,共2页
由于近些年我国信息化水平的提升,数据为我们工作与生活带来了不可估量的机制,怎样快速地转化大数据为可用信息,可以说是现阶段研究的重要课题。该研究基于Hive磁盘利用率与数据仓库查询性能的优化方式,有助于在专用场景中对Hive日志查... 由于近些年我国信息化水平的提升,数据为我们工作与生活带来了不可估量的机制,怎样快速地转化大数据为可用信息,可以说是现阶段研究的重要课题。该研究基于Hive磁盘利用率与数据仓库查询性能的优化方式,有助于在专用场景中对Hive日志查询速率进行全面提升。该研究首先对Hadoop和大数据研究现状进行分析,其次探讨Hive日志分析的优化大数据存储策略,以期能够对大数据存储提供有效借鉴。 展开更多
关键词 hive日志 大数据 存储优化
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 13 下一页 到第 页
使用帮助 返回顶部