期刊文献+
共找到7篇文章
< 1 >
每页显示 20 50 100
基于HBase的海量地理空间数据的空间索引模型构建与优化 被引量:3
1
作者 朱静 刘振华 乔栋 《地质科技情报》 CSCD 北大核心 2019年第5期253-260,共8页
传统关系型数据库在海量地理空间数据的存储与管理上面临着高并发访问规模限制、数据库扩展能力不足等困难。非关系数据库如HBase等以其强大的扩展能力与计算能力为该问题提供了新的思路与方法。空间索引模型和分布式存储模式设计是影... 传统关系型数据库在海量地理空间数据的存储与管理上面临着高并发访问规模限制、数据库扩展能力不足等困难。非关系数据库如HBase等以其强大的扩展能力与计算能力为该问题提供了新的思路与方法。空间索引模型和分布式存储模式设计是影响基于非关系数据库的海量地理空间数据的存储与查询效率的关键因素。对当前主要基于HBase的索引模型和空间数据存储设计进行了研究,设计了基于行政区划编码与矢量要素编码结合的RowKey(行键),使空间数据在HBase存储中得到很好的聚类效果,并针对要素重叠与边界划分等问题提出了一种基于四叉树-R树的改进的空间索引模型。该模型基于四叉树结构将空间数据划分为多个子网格,为每一个子网格构建R树索引,利用Hilbert(希尔伯特)曲线对子网格进行编码,并设计了基于MapReduce的并行化索引构建算法和相应的空间查询算法。经实验测试,该存储设计和空间索引模型具有较好的查询效率。 展开更多
关键词 海量地理空间数据 分布式存储 rowkey 四叉树-R树空间索引模型 空间查询
在线阅读 下载PDF
基于Phoenix实现HBase二级索引的方法
2
作者 文峰 杨彦青 《科技创新导报》 2018年第25期174-175,共2页
在信息技术呈爆炸式发展的今天,互联网上的数据量呈几何式的增长,HBase是一个分布式的、可扩展的大数据存储系统,非常适合海量数据的存储,目前已经被很多企业广泛使用。然而随着HBase的不断应用,单一的通过rowkey检索数据的方式已经不... 在信息技术呈爆炸式发展的今天,互联网上的数据量呈几何式的增长,HBase是一个分布式的、可扩展的大数据存储系统,非常适合海量数据的存储,目前已经被很多企业广泛使用。然而随着HBase的不断应用,单一的通过rowkey检索数据的方式已经不再满足日常需求。在实际应用中,经常需要根据指定的字段或者几个字段进行组合检索。针对上述问题,本文提出了一种基于Phoenix构建HBase二级索引的方法,使其在实际应用中大幅提升数据检索的性能。 展开更多
关键词 大数据 HBASE 二级索引 rowkey PHOENIX
在线阅读 下载PDF
基于HBase的海量GIS数据分布式处理实践 被引量:4
3
作者 李雪梅 邢俊峰 +2 位作者 刘大伟 王海洋 刘玮 《大数据》 2016年第3期73-82,共10页
设计了一种基于分布式数据库HBase的GIS数据管理系统。系统优化了栅格数据的生成和存储过程,将海量栅格数据直接写入HBase存储、索引。同时,针对矢量空间数据的存储、索引与检索,提出了一种新的rowkey设计,既考虑经纬度,又考虑空间数据... 设计了一种基于分布式数据库HBase的GIS数据管理系统。系统优化了栅格数据的生成和存储过程,将海量栅格数据直接写入HBase存储、索引。同时,针对矢量空间数据的存储、索引与检索,提出了一种新的rowkey设计,既考虑经纬度,又考虑空间数据类型和属性,使得在按空间位置检索矢量地理信息时,能通过HBase的rowkey迅速定位需要返回的数据。在HBase的集群环境上用真实GIS数据对上述方法进行了验证,结果表明,提出的系统具有较高的海量数据存储和检索性能,实现了海量地理信息数据的高效存储和实时高速检索。 展开更多
关键词 大数据 HBASE 栅格数据 矢量数据 rowkey
在线阅读 下载PDF
基于Redis实现HBase二级索引的方法 被引量:6
4
作者 崔丹 史金鑫 《软件》 2016年第11期64-67,共4页
随着大数据时代的到来,海量数据对传统数据库技术提出了存储和检索性能的挑战。HBase是开源No SQL数据库,适合于各种非结构化和半结构化的松散数据的存储和管理,目前已经被很多大型企业用于处理海量数据。它基于rowkey的有序存储,对row... 随着大数据时代的到来,海量数据对传统数据库技术提出了存储和检索性能的挑战。HBase是开源No SQL数据库,适合于各种非结构化和半结构化的松散数据的存储和管理,目前已经被很多大型企业用于处理海量数据。它基于rowkey的有序存储,对rowkey支持毫秒级的快速检索。然而,随着HBase应用的不断深入,单一的通过rowkey检索数据的方式不再满足需求,在实际应用中,经常需要根据指定字段,或者几个字段进行组合检索。针对该问题,本文提出了一种基于Redis创建HBase二级索引的方法,使得在实际应用中,支持多条件查询,提升查询的效率和性能。 展开更多
关键词 大数据 HBASE 二级索引 rowkey REDIS
在线阅读 下载PDF
高效分布式数据稽核系统实现方案 被引量:2
5
作者 陈心咏 《信息通信》 2016年第9期79-80,共2页
电信信息化系统间数据交互频繁,各个边界系统间经常需要进行大量的数据正确性稽核。文章从数据建模和系统架构方面介绍了一种基于分布式处理框架、分布式缓存和分布式数据存储组件的高性能通用数据稽核系统建设方案。该方案采用了移动... 电信信息化系统间数据交互频繁,各个边界系统间经常需要进行大量的数据正确性稽核。文章从数据建模和系统架构方面介绍了一种基于分布式处理框架、分布式缓存和分布式数据存储组件的高性能通用数据稽核系统建设方案。该方案采用了移动互联网时代的最流行的开源技术框架,期望通过新模式的引入使得传统电信信息化系统在移动互联网时代转型过程中焕发巨大能量和活力。 展开更多
关键词 分布式计算框架 STORM 分布式缓存 分布式列式数据库 HBASE rowkey
在线阅读 下载PDF
浅谈HBASE数据结构设计
6
作者 叶小飞 《信息通信》 2016年第11期104-105,共2页
文章主要对HBase的数据结构进行研究分析。首先对HBase流程及模型进行分析,并结合HBase的特性与适用场景,全面介绍了HBase数据模型中RowKey设计的要点,以及应用HBase的注意事项等。
关键词 HBASE HDFS rowkey 列族 数据模型 存储模型
在线阅读 下载PDF
大数据软件中的广电数据统计分析性能评估
7
作者 王洋 《广播电视信息》 2019年第3期101-103,共3页
多种类型海量数据快速增长给关系型数据库造成了瓶颈,因此尝试利用Hadoop大数据平台中的Hbase数据库软件做替代性尝试。HBase具有高并发性的特点,可以大幅提升数据量较大的情况下统计分析的效率,本文利用关系型数据库Oracle和HBase对同... 多种类型海量数据快速增长给关系型数据库造成了瓶颈,因此尝试利用Hadoop大数据平台中的Hbase数据库软件做替代性尝试。HBase具有高并发性的特点,可以大幅提升数据量较大的情况下统计分析的效率,本文利用关系型数据库Oracle和HBase对同样的数据集进行计算和查询操作,将运行时间进行对比,分析特定广电业务场景下的性能差异,总结出HBase的特点。 展开更多
关键词 HBASE 协处理器 rowkey
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部