-
题名基于协处理器的HBase区域级第二索引研究与实现
被引量：16
- 1
-
-
作者
丁飞
陈长松
张涛
杨涛
张岩峰
-
机构
公安部第三研究所网络安全研发中心
-
出处
《计算机应用》
CSCD
北大核心
2014年第A01期181-185,共5页
-
基金
上海市科委项目(13511504100)
-
文摘
针对HBase全表扫描查询效率问题,对HBase第二索引功能进行研究,实现一种基于HBase协处理器的服务端区域级第二索引扩展功能。通过将索引维护与查询放到服务端完成,极大地减少了网络通信开销。索引文件使用HFile格式组织。利用HFile成熟的编程接口以及高效的读写性能,使得索引维护变得简单易行,也保证了索引读写的效率,提供了高效的查询性能。实践表明,该索引扩展机制能有效地满足集群应用中对大数据集的第二索引查询功能需求。
-
关键词
HBase数据库
区域级
第二索引
协处理器
hfile格式
-
Keywords
HBase database
region-level
secondary index
coprocessor
hfile
-
分类号
TP311.133.1
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于HBase的RDF数据存储方案研究与设计
被引量：5
- 2
-
-
作者
王媛媛
吕晓丹
胡琪
吴鸿川
-
机构
贵州大学计算机科学与技术学院
贵州大学大数据与信息工程学院
-
出处
《信息网络安全》
2016年第3期59-63,共5页
-
基金
黔科合JZ字[2014]2001
-
文摘
针对RDF数据的存储问题,文章提出一种利用分布式数据库HBase以及设计数据库的Rowkey进行有效存储的方案,主要利用HBase与RDF数据的特点,使用经典的BKDRHash算法对谓词进行散列计算,将散列值与谓词作为主键,实现数据的存储。有效设置HBase的Rowkey不仅避免出现节点堆积现象,BKDRHash算法的使用也保证了数据的完整性。为证明该存储模式的有效性,文章实验选择利用Map Reduce将数据生成HBase内部存储格式HFile文件进行并行加载。实验证明,针对这样的存储模式,当数据量很大时数据加载性能较好。使用LUBM测试集进行仿真实验,证明该方案是有效的。
-
关键词
语义网
RDF数据
HBASE
MAPREDUCE
hfile文件
-
Keywords
semantic Web
RDF data
HBase
MapReduce
hfile file
-
分类号
TP333
[自动化与计算机技术—计算机系统结构]
TP311.13
[自动化与计算机技术—计算机软件与理论]
-
