时空流的高效管理要求顾及数据的时空相关性,支持时空流的高速插入、实时索引和低延迟时空范围查询,而现有的基于HBase等的存储方案,因索引更新开销过大,无法满足高效管理要求。针对时空流的应用特性,提出了一种面向时间分片的时空流分...时空流的高效管理要求顾及数据的时空相关性,支持时空流的高速插入、实时索引和低延迟时空范围查询,而现有的基于HBase等的存储方案,因索引更新开销过大,无法满足高效管理要求。针对时空流的应用特性,提出了一种面向时间分片的时空流分布式调度和存储方法。利用时空流的紧耦合性进行数据划分与调度,以减少查询时数据复制的开销。将采用预分区方式构建的基于日志结构合并树的八叉树(octree based on the log-structured merge-tree,LSM-OCTree)索引作为存储结构,保证时空流的索引更新,实现索引的高效批量合并计算,提高查询性能。实验结果表明,时空动态调度策略优于通用的调度方法,LSM-OCTree索引的合并与更新性能优于常规索引结构。与HBase方案相比,基于LSM-OCTree的时空流分布式调度和存储方案的查询效率提升了20%以上。展开更多
文摘时空流的高效管理要求顾及数据的时空相关性,支持时空流的高速插入、实时索引和低延迟时空范围查询,而现有的基于HBase等的存储方案,因索引更新开销过大,无法满足高效管理要求。针对时空流的应用特性,提出了一种面向时间分片的时空流分布式调度和存储方法。利用时空流的紧耦合性进行数据划分与调度,以减少查询时数据复制的开销。将采用预分区方式构建的基于日志结构合并树的八叉树(octree based on the log-structured merge-tree,LSM-OCTree)索引作为存储结构,保证时空流的索引更新,实现索引的高效批量合并计算,提高查询性能。实验结果表明,时空动态调度策略优于通用的调度方法,LSM-OCTree索引的合并与更新性能优于常规索引结构。与HBase方案相比,基于LSM-OCTree的时空流分布式调度和存储方案的查询效率提升了20%以上。
