面向大规模空间数据流的分布式连接查询方法

1

作者 李柞霖 向隆刚 +2 位作者 余列冰 吴华意 关雪峰 《武汉大学学报(信息科学版)》 北大核心 2025年第5期1017-1028,共12页

空间连接查询是处理和分析空间数据的基础操作之一。随着空间数据的爆发式增长,针对海量空间数据的连接查询技术备受瞩目。面向大规模历史数据的空间连接查询已被广泛研究,而受限于数据流的高速接入率与连接的实时性需求,目前面向数据... 空间连接查询是处理和分析空间数据的基础操作之一。随着空间数据的爆发式增长,针对海量空间数据的连接查询技术备受瞩目。面向大规模历史数据的空间连接查询已被广泛研究,而受限于数据流的高速接入率与连接的实时性需求,目前面向数据流的分布式空间连接查询仍充满挑战。为此,面向大规模空间数据流设计了一种分布式连接查询处理框架。首先形式化定义了针对空间数据流连接查询处理问题,按照参与连接的数据形态细分为“流-表”和“流-流”两类连接,然后分析了分布式连接场景的共性问题,设计了全局网格分区-局部空间索引的两层处理框架,以支持空间流的分布式连接。在此基础上,针对不同连接场景分别设计了适应的连接策略:对于“流-表”连接,提出了基于两级R-tree拓扑关系判断优化算法;对于“流-流”连接,设计了一种顾及分区边界的数据冗余路由算法,以保证分区边界数据的正确连接。此外,针对间隔时间语义的缓存需求,提出了兼顾状态管理与检索效率的BinR-tree结构。大量实验结果表明,所提出的空间数据连接方法具有良好的线性加速比,且相对于基线方法,连接查询效率得到了显著提升。 展开更多

关键词 空间数据流 空间连接 流连接 分布式 空间索引

原文传递

MESHJOIN*:实时数据仓库环境下的数据流更新算法 被引量：5

2

作者 林子雨 林琛 +1 位作者 冯少荣 张东站 《计算机科学与探索》 CSCD 2010年第10期927-939,共13页

提出了一种新的实时数据仓库环境下的数据流更新算法——MESHJOIN*算法。算法的特性有:(1)关系R采用了分块和散列的组织形式,尽可能避免对当前连接无效元组的读取,减少连接操作所涉及元组的数量,从而提高连接算法的效率;(2)采用了多线... 提出了一种新的实时数据仓库环境下的数据流更新算法——MESHJOIN*算法。算法的特性有:(1)关系R采用了分块和散列的组织形式,尽可能避免对当前连接无效元组的读取,减少连接操作所涉及元组的数量,从而提高连接算法的效率;(2)采用了多线程并发连接技术,并根据工程学原理,实现了连接操作和关系R读取操作的最佳调度,保证了连接算法效率的最大化;(3)根据当前系统的服务率和数据流元组的到达率之间的关系,合理调度实时元组和准实时元组的执行,保证了系统对实时元组的处理要求。实验结果表明,MESHJOIN*算法可以取得比MESHJOIN算法更好的性能。 展开更多

关键词 数据仓库 数据流更新 连接

在线阅读 下载PDF 职称材料

可扩展的流数据Join处理框架

3

作者 赛影辉 黄浩 《计算机应用与软件》 北大核心 2018年第4期33-43,共11页

在流数据查询过程中,join操作非常重要。单个输入流对上常有多流查询,导致了并发的数据join任务。这造成了更久的join有效时间(join window)和更大的数据流输入率,使得join操作的工作量增加。我们迫切需要一个通用(用途无关)且能高效处... 在流数据查询过程中,join操作非常重要。单个输入流对上常有多流查询,导致了并发的数据join任务。这造成了更久的join有效时间(join window)和更大的数据流输入率,使得join操作的工作量增加。我们迫切需要一个通用(用途无关)且能高效处理多并发join任务的流数据处理机制。为此提出一个可扩展的流数据join处理框架S2J,此框架采用了数据流导向的处理模型,并将整个join操作分解为适当个数的串联的join处理单元,同时采用基于元组块的信息传输协议减少信息传输中的过载现象。该框架能有效处理θ-join,并保证join操作的实时性和结果完整性。大量实验证明了该框架的高效性和有效性。 展开更多

关键词 连接操作 流数据 查询 分布式环境 优化

在线阅读 下载PDF 职称材料

基于Fermi架构的Join算法 被引量：1

4

作者 李观钊 陈思桐 +1 位作者 甄真 陈虎 《计算机科学》 CSCD 北大核心 2013年第3期62-67,共6页

在列数据库中,连接操作依然是最核心和最耗时的操作,GPU强大的计算能力可为此提供新的优化手段。基于Fermi架构,提出了新的Hash Join算法和Sort-merge Join算法,其基本思想是充分利用该架构新增的缓存结构来减少连接操作的cache缺失率。... 在列数据库中,连接操作依然是最核心和最耗时的操作,GPU强大的计算能力可为此提供新的优化手段。基于Fermi架构,提出了新的Hash Join算法和Sort-merge Join算法,其基本思想是充分利用该架构新增的缓存结构来减少连接操作的cache缺失率。与CUDA stream技术相结合,新算法在输出结果较多时可以有效地隐藏主存与显存间数据传输带来的延迟,进一步提升其执行效率。实验结果证实了基于Fermi架构的Hash Join算法处理偏斜数据的高效性及Sort-merge Join算法的稳定性,并且通过比较表明,这两种算法的性能全面优于基于多核CPU充分优化的Join算法,最大加速2.4倍,在外键分布高偏斜时新的Hash Join算法的执行速度甚至达到每秒217M元组。 展开更多

关键词 join算法 Fermi架构 缓存 CUDA stream

在线阅读 下载PDF 职称材料

QJoin:质量驱动的乱序数据流连接处理技术 被引量：1

5

作者 魏星贝 李陶深 +2 位作者 许嘉 吕品 杨宁 《广西科学》 CAS 2020年第3期266-275,共10页

数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确... 数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。 展开更多

关键词 质量驱动 连接处理 乱序数据流 存储开销 流元组 缓存

在线阅读 下载PDF 职称材料

基于滑动窗口的数据流连续J-A查询的处理方法 被引量：19

6

作者 王伟平 李建中 +1 位作者 张冬冬 郭龙江 《软件学报》 EI CSCD 北大核心 2006年第4期740-749,共10页

数据流滑动窗口连接聚集连续查询(简记J-A查询)是经常使用的一类查询.这类查询的直观处理方法是创建查询操作树,以流水线的方式计算查询结果.这种方法需要在主存中保存滑动窗口连接的结果,查询处理的主存空间开销为Ο(α×β),其中... 数据流滑动窗口连接聚集连续查询(简记J-A查询)是经常使用的一类查询.这类查询的直观处理方法是创建查询操作树,以流水线的方式计算查询结果.这种方法需要在主存中保存滑动窗口连接的结果,查询处理的主存空间开销为Ο(α×β),其中α,β为参加连接两个滑动窗口的大小.在数据流的查询处理中,内存是最重要的计算资源.提出了两种滑动窗口J-A连续查询处理算法——IC算法和TC算法,使得查询处理的空间开销降为Ο(α+β).理论分析和实验结果表明,所提出的算法具有更高的效率. 展开更多

关键词 数据流 滑动窗口 连接聚集 连续查询

在线阅读 下载PDF 职称材料

基于数据流的k-近邻连接算法 被引量：3

7

作者 王飞 秦小麟 +1 位作者 刘亮 沈尧 《计算机科学》 CSCD 北大核心 2015年第5期204-210,共7页

k-近邻连接查询是空间数据库中一种常用的操作,该查询处理过程涉及连接和最近邻查询两个复杂操作。传统的集中式k-近邻连接查询算法已不能适应当前呈爆炸式增长的数据规模,设计分布式k-近邻连接查询算法成为了目前亟需解决的问题。现有... k-近邻连接查询是空间数据库中一种常用的操作,该查询处理过程涉及连接和最近邻查询两个复杂操作。传统的集中式k-近邻连接查询算法已不能适应当前呈爆炸式增长的数据规模,设计分布式k-近邻连接查询算法成为了目前亟需解决的问题。现有的分布式k-近邻连接查询算法都包括了多轮串行的MapReduce任务,而每个MapReduce任务均需要读写分布式文件系统,导致MapReduce不能有效表达多个任务之间的依赖关系,因此算法效率低下。首先提出了一种基于数据流的计算框架,该框架建立在MapReduce之上,将数据处理过程按照数据流图建模。在该框架基础上,提出了一种高效的k-近邻连接算法,它利用空间填充曲线将多维数据映射为一维数据,从而将k-近邻连接查询转化为一维范围查询。实验结果表明,该算法的可扩展性较高,且效率比现有算法更优。 展开更多

关键词 k-近邻连接 数据流 MAPREDUCE 计算框架

在线阅读 下载PDF 职称材料

数据流滑动窗口连接的自适应降载策略 被引量：3

8

作者 林锦贤 林钦仙 《福州大学学报（自然科学版）》 CAS CSCD 北大核心 2007年第3期381-386,共6页

连接操作是一种应用广泛的查询类型,在对DSMS进行降载时,必须考虑连接查询的降载问题.针对滑动窗口连接查询,构建一种基于不同等级基本窗口的滑动窗口内部结构.采用部分连接的方式实现CPU过载情况下的降载,采用基于基本窗口重要性的语... 连接操作是一种应用广泛的查询类型,在对DSMS进行降载时,必须考虑连接查询的降载问题.针对滑动窗口连接查询,构建一种基于不同等级基本窗口的滑动窗口内部结构.采用部分连接的方式实现CPU过载情况下的降载,采用基于基本窗口重要性的语义丢弃方式实现内存不足情况下的降载.实验结果表明所采用的算法有效. 展开更多

关键词 数据流 部分连接 降载 滑动窗口

原文传递

数据流与磁盘存贮表的连接计算算法 被引量：1

9

作者 杜威 邹先霞 《控制工程》 CSCD 北大核心 2014年第6期904-908,912,共6页

数据流与存贮表的连接查询经常出现在主动式数据仓库的维护中,与传统的关系数据库的连接计算不同,数据流快速处理的要求不允许将数据流先存入磁盘再计算,而计算机内存无法存储无界增长的数据流,因此数据流查询采用先处理再存储结果的计... 数据流与存贮表的连接查询经常出现在主动式数据仓库的维护中,与传统的关系数据库的连接计算不同,数据流快速处理的要求不允许将数据流先存入磁盘再计算,而计算机内存无法存储无界增长的数据流,因此数据流查询采用先处理再存储结果的计算方式。数据流与存贮表的连接计算算法重点要解决内存开销和处理速率二个问题。MESHJOIN算法最早提出将存贮表划分为若干个数据块,将数据块交替放入内存与数据流窗口完成连接计算。在MESHJOIN算法思想的基础上将存贮表的内存数据块也划分为若干逻辑分区,每次连接计算仅替换其中的一个逻辑分区,有效地降低了数据流滑动窗口所需的I/O代价,从而提高滑动窗口的计算速率。最后通过实验对二种算法在内存开销和计算速率进行了比较。 展开更多

关键词 数据流 连接计算 磁盘存储表 逻辑分区 速率

原文传递

多数据流上共享窗口连接查询的降载策略 被引量：4

10

作者 闫莺 金澈清 +2 位作者 曹锋 汪恒杰 周傲英 《计算机研究与发展》 EI CSCD 北大核心 2004年第10期1836-1841,共6页

数据流模型作为一种新型的模型 ,在许多应用中扮演着重要的角色 基于数据流模型的查询处理技术也得到了广泛的研究 为了提高查询系统的性能 ,现有的研究成果主要可以划分为两类 :调度优化和降低负载方法 调度优化方法通过改变元组执行... 数据流模型作为一种新型的模型 ,在许多应用中扮演着重要的角色 基于数据流模型的查询处理技术也得到了广泛的研究 为了提高查询系统的性能 ,现有的研究成果主要可以划分为两类 :调度优化和降低负载方法 调度优化方法通过改变元组执行次序来提高查询性能 降低负载方法在负载超出系统处理能力时 ,通过减少输入流量来提高吞吐率 然而 ,同时运用这两种方法来提高查询性能的研究工作还很少 结合共享滑动窗口查询操作的调度优化方法和降低负载方法 ,提出了两种在burst环境下提高查询吞吐率的策略 :均匀降载策略和小窗口准确降载策略 展开更多

关键词 数据流 降载 调度 共享滑动窗口连接

在线阅读 下载PDF 职称材料

基于EMD距离的数据流分布式相似性连接技术 被引量：4

11

作者 许嘉 宋超 +1 位作者 吕品 李陶深 《计算机学报》 EI CSCD 北大核心 2019年第8期1779-1796,共18页

随着数据获取设备的不断进步和数据获取技术的快速发展,如何分析和挖掘应用中快速产生的数据流成为亟待解决的问题.数据流的相似性连接返回两个数据流上相似的数据对,是分析和挖掘数据流的重要操作.相比于Lp范式距离,例如曼哈顿距离和... 随着数据获取设备的不断进步和数据获取技术的快速发展,如何分析和挖掘应用中快速产生的数据流成为亟待解决的问题.数据流的相似性连接返回两个数据流上相似的数据对,是分析和挖掘数据流的重要操作.相比于Lp范式距离,例如曼哈顿距离和欧氏距离,EMD距离(Earth Mover’s Distance)因其可以更准确地量化直方图元组之间的相似性而受到广泛关注,被广泛应用于解决基于内容的图像检索、冗余图像识别以及视频对象跟踪等重要应用问题.然而EMD距离的计算复杂度却高达三次方,阻碍了EMD距离在数据流相似性连接问题中的应用.该文基于开源的Apache Storm数据流分布式并行处理框架,设计并实现了基于EMD距离的数据流分布式相似性连接技术,命名为EMD-DDSJ技术.该技术在数据分发时维护了连接计算节点上的数据局部性,并基于该数据局部性增强了连接算法对不相似直方图元组对间EMD计算的过滤性能,提高了各个连接计算节点的执行效率.同时基于连接计算节点的代价模型,提出了基于反馈的负载均衡策略,有效提升EMD-DDSJ技术的整体执行性能.在真实数据集上的实验结果展示了该文提出的EMD-DDSJ技术的高效性和可扩展性,比相关最好的技术在处理吞吐率上最高提升了1.4倍,在元组平均处理延迟上最多降低了44%,并且随着相似性阈值或滑动窗口大小的增大该提升比率还会进一步增大. 展开更多

关键词 EMD距离 相似性连接 数据流 APACHE Storm框架 数据局部性

在线阅读 下载PDF 职称材料

共享连接结果的连续查询处理 被引量：1

12

作者 钱江波 徐宏炳 +3 位作者 董逸生 刘学军 王永利 杨雪梅 《东南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2007年第1期5-8,共4页

深入研究了适合数据流连续查询处理的Shared PushDown,PullUp和Filtered PullUp三种可共享连接结果的策略.通过理论分析和实验证明,在数据流的连续查询处理中,PullUp策略性能较低,而Filtered PullUp和Shared PushDown策略各占优势.Filte... 深入研究了适合数据流连续查询处理的Shared PushDown,PullUp和Filtered PullUp三种可共享连接结果的策略.通过理论分析和实验证明,在数据流的连续查询处理中,PullUp策略性能较低,而Filtered PullUp和Shared PushDown策略各占优势.Filtered PullUp处理简单,消耗内存相对较少.而Shared PushDown增加内存使用,但在注册查询的选择因子覆盖较少时有一定优势.考虑到处理的方便,一般情况下Filtered PullUp是适合数据流连续查询处理的最佳方案. 展开更多

关键词 数据流 连续查询 窗口连接 选择操作

在线阅读 下载PDF 职称材料

数据流滑动窗口连接的卸载策略研究 被引量：1

13

作者 韩东红 公丕臻 +1 位作者 肖川 周锐 《计算机研究与发展》 EI CSCD 北大核心 2011年第1期103-109,共7页

随着数据流应用系统的快速发展,数据流管理系统对数据库技术提出了巨大挑战.针对数据流上的滑动窗口连接操作,提出一些新的卸载技术,使得系统在过载的情况下卸载连接结果少的元组,从而最大化输出结果.双窗口模型和辅助窗口统计信息的建... 随着数据流应用系统的快速发展,数据流管理系统对数据库技术提出了巨大挑战.针对数据流上的滑动窗口连接操作,提出一些新的卸载技术,使得系统在过载的情况下卸载连接结果少的元组,从而最大化输出结果.双窗口模型和辅助窗口统计信息的建立保证了预估连接结果的可靠性,同时应用线段树使卸载的判断更加高效.当流速过快、系统处理能力无法与之同步时,通过前端卸载和后端卸载的配合使用达到理想的语义卸载,得到最大子集的连接结果.实验验证该卸载策略的性能好于现有其他方法. 展开更多

关键词 数据流 滑动窗口连接 卸载技术 语义卸载 线段树

在线阅读 下载PDF 职称材料

数据流上加权共享滑动窗口的连接查询处理算法 被引量：2

14

作者 潘立强 李建中 王伟平 《计算机工程与应用》 CSCD 北大核心 2005年第27期160-163,共4页

在数据流应用中,系统经常需要处理大量的滑动窗口连续查询,采用共享滑动窗口技术可以有效节省存储空间,提高系统整体的查询处理能力。但是共享滑动窗口技术会增大单个查询的响应延迟,降低单个查询的服务质量。针对这个问题,论文提出了... 在数据流应用中,系统经常需要处理大量的滑动窗口连续查询,采用共享滑动窗口技术可以有效节省存储空间,提高系统整体的查询处理能力。但是共享滑动窗口技术会增大单个查询的响应延迟,降低单个查询的服务质量。针对这个问题,论文提出了加权共享滑动窗口的概念,并提出了三种优化的连接执行算法,优先响应重要的滑动窗口查询,从而提高了系统整体的服务质量。理论分析和实验结果表明论文提出的方法是行之有效的。 展开更多

关键词 数据流 加权滑动窗口 连接

在线阅读 下载PDF 职称材料

支持复杂语义的数据流滑动窗口连接建模和查询优化 被引量：1

15

作者 谷峪 李晓静 +1 位作者 许嘉 于戈 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2008年第11期1552-1555,共4页

数据流连接操作的执行方式直接影响到查询执行的效率和结果的正确性.在STREAM项目流化方法的基础上,对复杂应用下的数据流滑动窗口连接的准确语义进行了分析和建模,以时间窗口连接的增量维护为例提出了两种改进的基本维护策略,给出了针... 数据流连接操作的执行方式直接影响到查询执行的效率和结果的正确性.在STREAM项目流化方法的基础上,对复杂应用下的数据流滑动窗口连接的准确语义进行了分析和建模,以时间窗口连接的增量维护为例提出了两种改进的基本维护策略,给出了针对元组窗和分组窗的维护方法,讨论了根据参数和环境的不同进行适应性的维护.实验证明了在不同的窗口、流速和选择度下,适应性地选择不同的优化算法会达到最优的处理性能. 展开更多

关键词 数据流 复杂语义 滑动窗口 连接 查询优化

在线阅读 下载PDF 职称材料

应对倾斜数据流在线连接方法 被引量：2

16

作者 王春凯 孟小峰 《软件学报》 EI CSCD 北大核心 2018年第3期869-882,共14页

并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销.相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源.基于完全二部图的连接模型可支持分布式数据流的连接操作.因为... 并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销.相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源.基于完全二部图的连接模型可支持分布式数据流的连接操作.因为连接操作的每个关系仅存放于二部图模型的一侧处理单元,无需复制数据,且处理单元相互独立,因此该模型具有内存高效、易伸缩和可扩展等特性.然而,由于数据流速的不稳定性和属性值分布的不均衡性,导致倾斜数据流的连接操作易出现集群负载不均衡的现象.针对倾斜数据流的连接操作,模型无法动态分配查询节点,并需要人工干预数据分组的参数设置.尤其是应对全部历史数据的连接查询,模型效率更低.基于上述问题,提出了管理倾斜数据流连接的框架,使用基于键值和元组混合的划分样式,有效应对二部图模型的各侧倾斜数据.设计了重新动态分配查询节点的策略和状态迁移算法,以支持全历史数据的连接查询和自适应的资源管理.针对合成数据和真实数据的实验结果表明,该方案可有效应对倾斜数据的连接操作,并进一步提升分布式数据流管理系统的吞吐率,特别是降低云环境中的计算成本. 展开更多

关键词 分布式数据流管理系统 在线连接 数据倾斜 状态迁移 二部图连接模型

在线阅读 下载PDF 职称材料

多源流视角下我国民企“参军”的困境及其规避 被引量：5

17

作者 李永生 《国防科技》 2015年第1期90-94,共5页

民企"参军"对推动军品市场发展、实现强军富民目标具有重要意义。然而,受长期经济体制束缚、民企发展不平衡、政策扶持力度不够等方面的影响,民企"参军"还存在诸多问题。以政策学家金登的多源流理论分析我国民企&qu... 民企"参军"对推动军品市场发展、实现强军富民目标具有重要意义。然而,受长期经济体制束缚、民企发展不平衡、政策扶持力度不够等方面的影响,民企"参军"还存在诸多问题。以政策学家金登的多源流理论分析我国民企"参军"的问题困境、政策选择和政治趋向,以期实现问题解决、政策到位、政治保障的目标,促进我国民企"参军"的快速发展。 展开更多

关键词 多源流 民企“参军” 军民融合

在线阅读 下载PDF 职称材料

不确定数据流自适应并行连接算法及应用

18

作者 钱江波 王志杰 +1 位作者 陈华辉 王海斌 《电信科学》 北大核心 2012年第2期86-94,共9页

不确定数据流对处理过程有独特的需求,如存储空间有限、响应时间很短、需要连续处理、数据无限等,这对数据流的处理算法,特别是耗时、耗内存较多的连接操作提出了挑战。针对大规模不确定数据流并行连接所存在的速度较慢和内存消耗大的问... 不确定数据流对处理过程有独特的需求,如存储空间有限、响应时间很短、需要连续处理、数据无限等,这对数据流的处理算法,特别是耗时、耗内存较多的连接操作提出了挑战。针对大规模不确定数据流并行连接所存在的速度较慢和内存消耗大的问题,提出了多核处理器上不确定数据流并行连接和内存溢出时自适应处理的一系列算法,能够高速在线处理并发不确定数据流。在此基础上,针对道路各个卡口监控到的不确定数据流,提出一种实时发现套牌车的方法。实验采用真实数据、均匀数据、高斯数据进行评估,证明算法具有良好的性能,其处理速度比内存数据库Timesten速度提高2~8倍,能够满足实时交通套牌车监控的需求。 展开更多

关键词 不确定数据流 窗口连接 内存溢出 并行计算

在线阅读 下载PDF 职称材料

数据流滑动窗口连接查询降载策略研究

19

作者 张龙波 李战怀 +2 位作者 朱立平 刘江涛 赵以强 《西北工业大学学报》 EI CAS CSCD 北大核心 2006年第5期595-599,共5页

主要研究了在有限内存条件下数据流滑动窗口的近似连接查询,即数据流滑动窗口连接查询的降载问题。通过对连接属性域的划分,根据数据元组的连接属性值在属性域中的数据分布来决定每个数据元组进入参加连接运算的滑动窗口的概率,给出了... 主要研究了在有限内存条件下数据流滑动窗口的近似连接查询,即数据流滑动窗口连接查询的降载问题。通过对连接属性域的划分,根据数据元组的连接属性值在属性域中的数据分布来决定每个数据元组进入参加连接运算的滑动窗口的概率,给出了一种面向数据流滑动窗口连接查询的语义降载策略。与已有的语义降载策略相比,文中给出的降载策略所需的数据统计信息较少,连接运算的结果数据元组便于进一步进行其它查询处理,并且对于各种倾斜(skew)参数的数据分布和不同程度的系统超载都有较好的适应性。理论分析和实验结果表明,该降载策略对数据流滑动窗口连接查询的降载处理具有较高的有效性和实用性。 展开更多

关键词 数据流 滑动窗口 连接查询 降载

在线阅读 下载PDF 职称材料

一种分布式数据流连接查询算法

20

作者 郭庆平 欧阳琳 《武汉理工大学学报》 CAS CSCD 北大核心 2009年第3期29-32,共4页

分布式处理是数据流管理系统发展的必然趋势。研究了分布式数据流系统中的基于滑动窗口的连接操作,提出了DMS-Join算法。通过将多连接操作中的子操作分解置于不同的网络节点上,以减少数据的传输。分析与实验结果表明,DMS-Join算法具有... 分布式处理是数据流管理系统发展的必然趋势。研究了分布式数据流系统中的基于滑动窗口的连接操作,提出了DMS-Join算法。通过将多连接操作中的子操作分解置于不同的网络节点上,以减少数据的传输。分析与实验结果表明,DMS-Join算法具有较高的查询性能。 展开更多

关键词 数据流 分布式 连接查询

原文传递