基于散列技术的并行流水线Join算法的设计与评价 被引量：1

1

作者 杨利 李霖 周兴铭 《电子学报》 EI CAS CSCD 北大核心 1996年第2期41-45,共5页

本文研究了一种新型的混合式通用并行结构上基于散列技术的并行连接算法的实现技术，并建立了一种性能分析模型。这种模型特别刻划了系统中三种主要资源ＣＰＵ、磁盘、互联网之间的操作重叠。我们以这一模型为基础深入分析了并行Ｈｙｂ... 本文研究了一种新型的混合式通用并行结构上基于散列技术的并行连接算法的实现技术，并建立了一种性能分析模型。这种模型特别刻划了系统中三种主要资源ＣＰＵ、磁盘、互联网之间的操作重叠。我们以这一模型为基础深入分析了并行Ｈｙｂｒｉｄ散列连接算法（称为ＰＨＨＪ）和它的一种基于小关系复制技术的变形算法（称为ＰＨＨＪＲ）的性能及与系统结构之间的关系。我们还结合传统的位向量过滤技术提出一种用对称位向最和内外关系角色转换的技术，进一步提高并行连接算法的性能。 展开更多

关键词 并行连接 并行结构 对称位向量 性能评价

在线阅读 下载PDF 职称材料

NUMA-conscious外键连接优化技术

2

作者 韩瑞琛 张延松 +3 位作者 刘专 张宇 焦敏 王珊 《软件学报》 北大核心 2025年第12期5821-5850,共30页

NUMA(non-uniform memory access)是现代多核、多路处理器平台上主流的内存访问架构,NUMA访问延迟对数据库的查询性能有较大影响,因此如何降低查询处理中跨NUMA节点的访问延迟是现代内存数据库查询优化的热点问题之一.不同的处理器在NUM... NUMA(non-uniform memory access)是现代多核、多路处理器平台上主流的内存访问架构,NUMA访问延迟对数据库的查询性能有较大影响,因此如何降低查询处理中跨NUMA节点的访问延迟是现代内存数据库查询优化的热点问题之一.不同的处理器在NUMA架构、NUMA延迟等方面差异较大,因此NUMA优化技术需要与硬件特性相结合.基于内存数据库执行代价最高和对数据局部性依赖最强的内存外键连接算法,面向代表性的ARM、Intel CLX、Intel ICX、AMD Zen2和AMD Zen3这5个处理器NUMA架构和延迟特征,探索了不同NUMA优化方法,包括NUMA-conscious和NUMA-oblivious实现技术.在数据存储、数据分片、连接中间结果缓存等方面采用不同的优化方案,比较了不同处理器架构上的算法性能,实验结果表明,NUMA-conscious优化策略需软、硬件相结合,其中Radix Join对NUMA延迟敏感度为中性,在5个不同的处理器平台上,NUMA优化性能收益稳定在30%左右,NPO算法对NUMA延迟敏感度较高,在不同平台NUMA优化性能收益在38%–57%,Vector Join算法对NUMA延迟敏感但影响幅度较小,NUMA优化性能收益在1%–25%之间,且在算法性能特征上,Vector Join受cache效率影响比NUMA延迟影响更大;NUMA-conscious优化技术在ARM平台差异较大,在x86平台差异极小,NUMA-oblivious算法复杂度更低,具有较好的通用性.从处理器硬件发展趋势来看,降低NUMA访问延迟可以有效地降低不同NUMA-conscious优化算法的性能差异,简化连接算法的复杂度,提高连接操作性能. 展开更多

关键词 NUMA架构 NUMA感知优化 非NUMA感知实现 向量连接 连接基准

在线阅读 下载PDF 职称材料

一种基于向量索引的内存OLAP星型连接加速新技术 被引量：10

3

作者 张延松 张宇 王珊 《计算机学报》 EI CSCD 北大核心 2019年第8期1686-1703,共18页

星型连接是OLAP中重要的操作,事实表与维表基于星型连接执行多维分析处理.星型连接的性能取决于连接性能.当前研究主要集中在如何在不同的处理器平台上优化哈希连接性能,然而如何获得最优的哈希连接参数或实现是一个复杂的问题.哈希连... 星型连接是OLAP中重要的操作,事实表与维表基于星型连接执行多维分析处理.星型连接的性能取决于连接性能.当前研究主要集中在如何在不同的处理器平台上优化哈希连接性能,然而如何获得最优的哈希连接参数或实现是一个复杂的问题.哈希连接不依赖于模式的语义信息,然而却可以在事实表与维表之间通过维映射特征进一步优化连接性能.该文提出了一种新颖的面向OLAP负载的向量索引以提高事实表与维表之间的连接性能.从模式的角度来看,维表可以映射为向量索引,每一个事实表记录可以直接映射到向量索引上的相应位置,无须执行基于值匹配的哈希连接操作.从实现技术的角度看,向量索引是一种位图索引、字典表压缩、主外键参照完整性约束和连接索引相结合的技术.系统化的设计使向量索引可以扮演多种角色:(1)向量索引与位图索引类似起到过滤作用;(2)向量索引相对于只存储0或1的位图索引使用更多的位来表示更多的信息;(3)映射或创建自动增长的主键作为向量索引地址并且更新相应的外键,将主外键参照完整性约束转换为向量参照约束;(4)外键连接操作简化为通过外键值引用向量单元.基于向量索引,OLAP中代价大的星形连接可以抽象为向量索引计算,OLAP查询可以简化为基于向量索引的单表扫描处理.向量索引简化的设计不仅可以提升性能,而且降低了在GPU平台实现的复杂度.本文首先讨论了向量索引机制和如何在数据库中应用向量索引;然后设计向量索引更新机制,以保证在更新时向量参照约束;最后提出基于向量索引的OLAP框架来提高内存数据库OLAP性能.基于向量索引的星型连接可以用作GPU上的OLAP加速器,使CPU可以将计算密集型负载转移到高性能GPU平台来加速OLAP处理.实验结果表明向量索引更新代价较低,而向量引用性能收益较大.更重要的是,向量索引支持OLAP中的星形连接操作在内存数据库引擎之外进行加速,降低了内存数据库的CPU负载,或者将星形连接负载通过硬件级加速器,如GPU进行加速.基于向量索引的星型连接可以显著提升CPU和GPU平台上的星型连接性能,相对于内存数据库Vector,在SSB Q4.1查询可以获得最大3倍的性能提升,平均性能提升了1.2倍. 展开更多

关键词 内存OLAP 外键连接 向量索引 向量引用 星型连接加速

在线阅读 下载PDF 职称材料

基于向量引用Platform-Oblivious内存连接优化技术 被引量：2

4

作者 张延松 张宇 王珊 《软件学报》 EI CSCD 北大核心 2018年第3期883-895,共13页

以MapD为代表的图分析数据库系统通过GPU、Phi等新型众核处理器来支持高性能分析处理,在面向复杂数据模式时,连接操作仍然是重要的性能瓶颈.近年来,异构处理器逐渐成为高性能计算的主流平台,内存连接性能的研究从多核CPU平台扩展到新兴... 以MapD为代表的图分析数据库系统通过GPU、Phi等新型众核处理器来支持高性能分析处理,在面向复杂数据模式时,连接操作仍然是重要的性能瓶颈.近年来,异构处理器逐渐成为高性能计算的主流平台,内存连接性能的研究从多核CPU平台扩展到新兴的众核处理器,但众多的研究成果并未系统地揭示连接算法性能、连接数据集大小、硬件架构之间的内在联系,难以为未来异构处理器平台的数据库提供连接平台优化选择策略.以面向多核CPU、Xeon Phi、GPU处理器平台的内存连接优化技术为目标,通过优化内存哈希表设计,实现以向量映射替代哈希映射操作,消除哈希代价对内存连接算法的影响,从而更加准确地测量内存连接算法在多核CPU的cache大小、Xeon Phi的cache大小、Xeon Phi的并发多线程、GPU的SIMT(单指令多线程)机制等硬件相关因素影响下的性能特征.实验结果表明,缓存与并发多线程机制是提高内存连接算法性能的重要影响因素.缓存机制对于满足cache大小的连接操作具有性能优势,而GPU的并发多线程机制则在较大表的连接操作中具有较高的性能,Xeon Phi则在满足其L2 cache大小的连接操作中具有最高性能.实验结果揭示了内存连接操作性能与异构处理器硬件特性的联系,为未来异构处理器平台内存数据库查询优化器提供了优化策略. 展开更多

关键词 内存连接操作 哈希连接 向量映射 异构处理器平台

在线阅读 下载PDF 职称材料

海量高维向量的并行Top-k连接查询 被引量：10

5

作者 马友忠 慈祥 孟小峰 《计算机学报》 EI CSCD 北大核心 2015年第1期86-98,共13页

在很多应用领域中,向量的Top-k连接查询是一种很重要的操作,给定两个向量集合R和S,Top-k连接查询要求从R和S中返回距离最小的前k个向量对.由于数据的海量性和高维特性,传统的集中式算法已经无法在可接受的时间内完成连接查询任务.MapRed... 在很多应用领域中,向量的Top-k连接查询是一种很重要的操作,给定两个向量集合R和S,Top-k连接查询要求从R和S中返回距离最小的前k个向量对.由于数据的海量性和高维特性,传统的集中式算法已经无法在可接受的时间内完成连接查询任务.MapReduce作为一个并行处理框架,能够有效地处理大规模数据.由于其高可扩展性、高可用性等特点,MapReduce已经成为海量数据处理的首选实现方案,在很多领域都得到了广泛的应用.文中基于分段累积近似法对高维向量进行降维,然后利用符号累积近似法对高维向量进行分组;在此基础上,结合MapReduce框架,提出了基于SAX的并行Top-k连接查询算法.实验表明,文中所提方案具有良好的性能和扩展性. 展开更多

关键词 高维向量 MAPREDUCE框架 Top-k连接查询 大数据

在线阅读 下载PDF 职称材料

并发内存OLAP查询优化技术研究 被引量：4

6

作者 张延松 焦敏 +1 位作者 张宇 王珊 《计算机研究与发展》 EI CSCD 北大核心 2016年第12期2836-2846,共11页

基于多核处理器硬件技术和高并发查询负载需求,近年来的研究不仅关注于一次一查询模式的查询优化技术,而且也关注于一次一组模式的查询优化技术.通过将并发查询转换为共享负载,一些低访问延迟的操作,如磁盘I?O、cache访问,可以被多个并... 基于多核处理器硬件技术和高并发查询负载需求,近年来的研究不仅关注于一次一查询模式的查询优化技术,而且也关注于一次一组模式的查询优化技术.通过将并发查询转换为共享负载,一些低访问延迟的操作,如磁盘I?O、cache访问,可以被多个并发的查询所共享.当前的研究通常基于共享查询操作符,如扫描、连接、谓词处理等,通过生成全局执行计划优化并发查询.对于复杂的分析型负载,如何创建优化的执行计划是一个具有挑战性的问题.在广泛使用的星形模型的基础上提出一种模板OLAP查询执行计划来简化查询执行计划,以达到最大化查询操作符利用率的目标.1)提出了基于代理键的连接索引技术,将传统的基于值探测的连接操作转化为内存数组索引引用(AIR),使连接操作的CPU效率更高并且支持聚集计算的后物化;2)并发查询的谓词处理简化为cache line敏感的谓词向量,在单次cache line访问中最大化并发查询谓词计算性能;3)通过多核并行实现技术在SSB基准上进行测试.实验结果表明:共享扫描和共享谓词处理能够将并发OLAP查询处理性能提升1倍. 展开更多

关键词 并发O L A P 查询处理 数组索引引用 模板O L A P查询处理 连接索引 过滤向量

在线阅读 下载PDF 职称材料

面向MIC协处理器的OLAP外键连接算法 被引量：2

7

作者 张宇 张延松 +1 位作者 陈红 王珊 《软件学报》 EI CSCD 北大核心 2017年第3期490-501,共12页

众核架构协处理器Xeon Phi成为新兴的主流高性能计算平台.对于数据库应用而言,内存分析处理是一种计算密集型负载,其性能主要取决于大事实表与维表之间的内存外键连接性能.关注于一种相对于缓存相关的分区哈希连接算法和缓存不相关的无... 众核架构协处理器Xeon Phi成为新兴的主流高性能计算平台.对于数据库应用而言,内存分析处理是一种计算密集型负载,其性能主要取决于大事实表与维表之间的内存外键连接性能.关注于一种相对于缓存相关的分区哈希连接算法和缓存不相关的无分区哈希连接算法的缓存友好型外键连接算法,以适应Xeon Phi协处理器较小的LLC和高并发线程的特点.通过挖掘OLAP模式中的代理键特征,基于键值匹配的哈希探测操作,可以进一步简化为事实表与维表之间基于主-外键参照完整性约束的代理键参照访问,因此,复杂的哈希表和CPU代价较高的哈希探测操作可以简化为通过映射外键值为代理键向量内存偏移地址的方法对代理向量直接访问.基于代理向量参照访问的外键连接算法,能够简单并高效地应用于Xeon Phi协处理器平台,通过更多的核心和高并发线程来掩盖内存访问延迟.实验中,对传统的哈希连接算法(无分区哈希连接算法和基数分区哈希连接算法)和基于代理向量参照技术的外键连接算法在Xeon E5-2650 v3 10核处理器平台和Xeon Phi 5110P 60核协处理器平台进行性能测试和比较,实验结果给出了主流的内存外键连接算法在不同数据集和不同平台上全面的性能特征. 展开更多

关键词 内存OLAP 外键连接 代理键 代理键参照

在线阅读 下载PDF 职称材料

基于相似性连接的时间序列Shapelets提取 被引量：3

8

作者 张振国 王超 +1 位作者 温延龙 袁晓洁 《计算机研究与发展》 EI CSCD 北大核心 2019年第3期594-610,共17页

在时间序列分类问题中,以Shapelets特征为基础的分类算法具有很高的分类准确率和良好的可解释性,因此,高辨别能力Shapelets的提取已成为时间序列研究领域重要的研究热点之一.对于Shapelets提取的研究已取得了很多优秀的成果,但仍存在一... 在时间序列分类问题中,以Shapelets特征为基础的分类算法具有很高的分类准确率和良好的可解释性,因此,高辨别能力Shapelets的提取已成为时间序列研究领域重要的研究热点之一.对于Shapelets提取的研究已取得了很多优秀的成果,但仍存在一些问题,主要是由于通过遍历所有子序列来获取Shapelets的方式非常耗时.尽管可以采取剪枝策略优化该过程,但往往会损失分类准确率.为此,提出一种基于相似性连接的Shapelets提取方法,该方法舍弃逐一判断子序列分类能力的策略,而是以子序列为单位,通过相似性连接的思想构建时序数据间的相似性向量.对于不同类别的时序数据,计算每一对时序数据间的差异向量,进而得到表示时序数据集中不同类别间差异的候选矩阵,然后根据候选矩阵的数值差异,快速筛选出具有高分类能力的Shapelets集合.在真实数据集上的大量实验表明:相比于现有的Shapelets提取方法,这种相似性连接方法所得到的Shapelets在分类任务中不仅具有很好的时间效率,而且能保证高分类准确率. 展开更多

关键词 时间序列 Shapelets 相似性连接 差异向量 候选矩阵

在线阅读 下载PDF 职称材料

利用数据点定位的矢量地理数据数字水印算法 被引量：12

9

作者 王奇胜 朱长青 符浩军 《测绘学报》 EI CSCD 北大核心 2013年第2期310-316,共7页

在矢量地理数据遭受数据拼接或数据更新攻击时,由于不含水印数据点过多,目前的稳健水印算法检测非常困难。针对这一问题,利用脆弱水印技术,提出一种基于数据点定位的矢量地理数据数字水印算法。在稳健水印嵌入的同时,利用矢量地理数据... 在矢量地理数据遭受数据拼接或数据更新攻击时,由于不含水印数据点过多,目前的稳健水印算法检测非常困难。针对这一问题,利用脆弱水印技术,提出一种基于数据点定位的矢量地理数据数字水印算法。在稳健水印嵌入的同时,利用矢量地理数据坐标点的特征映射生成脆弱水印信息,并根据精度要求采用量化思想进行水印嵌入,实现对每个数据点的篡改定位,从而排除不含水印数据点的干扰,实现对矢量地理数据版权信息的可靠检测。试验结果表明,提出的算法能够有效抵抗数据拼接和数据更新攻击,减少了不含水印数据对水印检测的干扰,提高了水印检测结果的正确性。 展开更多

关键词 矢量地理数据 脆弱水印 数据点定位 数据拼接 数据更新

在线阅读 下载PDF 职称材料

面向多核CPU和GPU平台的数据库星形连接优化 被引量：5

10

作者 刘专 韩瑞琛 +2 位作者 张延松 陈跃国 张宇 《计算机应用》 CSCD 北大核心 2021年第3期611-617,共7页

针对联机分析处理(OLAP)中事实表与多个维表之间的星形连接执行代价较高的问题,提出了一种在先进的多核中央处理器(CPU)和图形处理器(GPU)上的星形连接优化方法。首先,对于多核CPU和GPU平台的星形连接中的物化代价问题,提出了基于向量... 针对联机分析处理(OLAP)中事实表与多个维表之间的星形连接执行代价较高的问题,提出了一种在先进的多核中央处理器(CPU)和图形处理器(GPU)上的星形连接优化方法。首先,对于多核CPU和GPU平台的星形连接中的物化代价问题,提出了基于向量索引的CPU和GPU平台上的向量化星形连接算法;然后,通过面向CPU cache和GPU shared memory大小的向量划分来提出基于向量粒度的星形连接操作,从而优化星形连接中向量索引的物化代价;最后,提出了基于压缩向量的星形连接算法,将定长向量索引压缩为变长的二元向量索引,从而在低选择率时提高cache内向量索引的存储访问效率。实验结果表明,在CPU平台上向量化星形连接算法相对于常规的行式或列式连接性能提升了40%以上,在GPU平台上向量化星形连接算法相对于常规星形连接算法性能提升超过了15%;与当前主流的内存数据库和GPU数据库相比,优化的星形连接算法性能相对于最优内存数据库Hyper性能提升了130%,相对于最优的GPU数据库OmniSci性能提升了80%。可见基于向量索引的向量化星形连接优化技术有效地提高了多表连接性能,与传统优化技术相比,基于向量索引的向量化处理提高了较小cache上的数据存储访问效率,压缩向量进一步提升了向量索引在cache内的访问效率。 展开更多

关键词 联机分析处理 星形连接 向量化查询处理 向量压缩技术 异构计算

在线阅读 下载PDF 职称材料

基于ArcGIS的矢量数据单元提取栅格值的方法实现

11

作者 陈明明 何方 杨媛 《安徽农学通报》 2015年第3期125-126,共2页

矢量和栅格是地理信息系统中2种基本的数据结构形式,在处理过程中2种形式之间可以相互转换。该文基于Arc GIS软件,提出了以特定的矢量数据单元来提取栅格数据值的方法实现,间接达到栅格数据向矢量数据转换的目的。该方法为耕地地力评价... 矢量和栅格是地理信息系统中2种基本的数据结构形式,在处理过程中2种形式之间可以相互转换。该文基于Arc GIS软件,提出了以特定的矢量数据单元来提取栅格数据值的方法实现,间接达到栅格数据向矢量数据转换的目的。该方法为耕地地力评价工作中利用采样点空间插值得到的栅格数据向耕地资源管理单元图赋养分值提供了有价值的参考。 展开更多

关键词 栅格 矢量 分区统计 空间连接

在线阅读 下载PDF 职称材料

通过节点调整和约束优化近似拼接两B样条曲线 被引量：1

12

作者 陈希瑞 《重庆工商大学学报（自然科学版）》 2005年第1期97-100,共4页

研究了两相邻B样条曲线近似拼接成 1条B样条曲线的问题,基本出发点是寻找精确拼接两曲线的条件,然后通过约束优化目标,重新调整曲线的控制点以满足此条件;为了获得这样的曲线而不用多余的节点,提出了一种调整某 1条k次曲线的后k个节点,... 研究了两相邻B样条曲线近似拼接成 1条B样条曲线的问题,基本出发点是寻找精确拼接两曲线的条件,然后通过约束优化目标,重新调整曲线的控制点以满足此条件;为了获得这样的曲线而不用多余的节点,提出了一种调整某 1条k次曲线的后k个节点,且不改变其形状的新算法;同时讨论了更一般的曲线拼接问题,即让拼接曲线通过某些目标点。 展开更多

关键词 B样条曲线 约束优化 近似 拼接 节点 新算法 两相 一般 条件 形状

在线阅读 下载PDF 职称材料

大幅面拼接型高精度扫描仪中的高速/高品质矢量化实现

13

作者 郝霞 刘霖 +6 位作者 刘娟秀 叶玉堂 贾宏宇 徐文涛 骆才华 王平 别俊峰 《光电子．激光》 EI CAS CSCD 北大核心 2012年第8期1468-1471,共4页

提出了整体复合阈值方法,成功实现了高精度图像高速/高品质矢量化转换,制作了首台基于多线阵CCD的大幅面拼接型高精度一次性成像扫描仪。实验及测试结果表明:制作的大幅面扫描仪最大幅面为A0,分辨率高达1200dpi,扫描速度达到2.54cm/s,... 提出了整体复合阈值方法,成功实现了高精度图像高速/高品质矢量化转换,制作了首台基于多线阵CCD的大幅面拼接型高精度一次性成像扫描仪。实验及测试结果表明:制作的大幅面扫描仪最大幅面为A0,分辨率高达1200dpi,扫描速度达到2.54cm/s,扫描后拼接精度能达到±3pixel,单张高分辨率图像最大容量达到5Gbit左右,并在此大容量图像条件下,高速/高品质矢量化转换得以有效实现,1.4Gbit容量时,时长控制在了0.4s以内。大容量高速高品质矢量化转换在大幅面扫描装备的成功实施,解决了在基于多线阵CCD的大幅面拼接性高精度一次性成像扫描仪的诸多难题,填补了该领域的应用空白。 展开更多

关键词 大幅面扫描仪 线阵CCD 矢量化 大容量图像 实时拼接

原文传递