基于循环BloomFilter的数据流上不同值个数的估计

1

作者 任美睿 郭龙江 玄萍 《计算机工程与应用》 CSCD 北大核心 2006年第19期151-154,共4页

数据流是连续的、实时的无限数据,到目前为止还没有有效的方法将数据流存储起来,因此数据流上的不同值个数的估计也就成为一个比较难的研究课题。文章在对BloomFilter进行分析研究的基础上,结合数据流无限、连续、实时等特点,提出了基... 数据流是连续的、实时的无限数据,到目前为止还没有有效的方法将数据流存储起来,因此数据流上的不同值个数的估计也就成为一个比较难的研究课题。文章在对BloomFilter进行分析研究的基础上,结合数据流无限、连续、实时等特点,提出了基于循环BloomFilter的数据流上不同值个数的估计策略。将数据流中的不同值存储在循环BloomFilter中,有效地解决了在内存有限情况下,无法保存数据流中的不同值的问题。通过与现有的估计算法的比较,实验结果表明基于循环BloomFilter的估计策略是可行和有效的。 展开更多

关键词 bloomfilter 数据流 不同值个数

在线阅读 下载PDF 职称材料

一种基于BloomFilter的改进型加密文本模糊搜索机制研究 被引量：11

2

作者 吴曦 俞能海 张卫明 《控制与决策》 EI CSCD 北大核心 2019年第1期97-104,共8页

随着云计算的日益普及,为实现共享计算资源、节约经济成本等目的,越来越多的重要数据被从本地外包迁移至云端.出于对保护云端数据安全和用户隐私等方面的考虑,数据所用者一般倾向对敏感数据进行加密处理,在此基础上,如何能够对数据开展... 随着云计算的日益普及,为实现共享计算资源、节约经济成本等目的,越来越多的重要数据被从本地外包迁移至云端.出于对保护云端数据安全和用户隐私等方面的考虑,数据所用者一般倾向对敏感数据进行加密处理,在此基础上,如何能够对数据开展有效检索处理成为关注的重点.为此,提出一种改进的密文数据多关键字检索机制,一方面,基于BloomFilter数据结构设计一种新的关键字转换方法,能够在保持模糊搜索功能及识别率的同时,有效降低数据索引规模;另一方面,基于动态混淆参数调节的思路改进相似度评估算法,以提高数据的加密强度,并且能很好地反映用户的检索偏好.实验结果验证了所提机制是可行和高效的. 展开更多

关键词 云计算 隐私保护 可搜索加密 模糊检索 bloomfilter

原文传递

针对动态集的矩阵型Bloom filter表示与查找 被引量：4

3

作者 肖明忠 王佳聪 闵博楠 《计算机应用研究》 CSCD 北大核心 2008年第7期2001-2003,2022,共4页

提出一种针对动态集合的矩阵型Bloom filter表示与查找法(matrix Bloom filter,MBF),它使用一个s×m位矩阵对数据集合进行哈希表示与查找,较同类算法SBF和DBF,能继承Bloom filter算法常数查找开销的基本精髓。

关键词 BLOOM过滤器 动态集 拆分型bloomfilter 动态性bloomfilter 矩阵型bloomfilter

在线阅读 下载PDF 职称材料

云计算环境下密文搜索算法的研究 被引量：15

4

作者 项菲 刘川意 +2 位作者 方滨兴 王春露 钟睿明 《通信学报》 EI CSCD 北大核心 2013年第7期143-153,共11页

为确保数据私密性,用户选择将数据加密后再上传到云端,但云无法为密文数据提供管理和搜索等服务。密文搜索技术可以把保护用户数据私密性和有效利用云服务结合起来。在分析云环境下密文搜索算法的基础上,提出基于云环境的密文搜索体系结... 为确保数据私密性,用户选择将数据加密后再上传到云端,但云无法为密文数据提供管理和搜索等服务。密文搜索技术可以把保护用户数据私密性和有效利用云服务结合起来。在分析云环境下密文搜索算法的基础上,提出基于云环境的密文搜索体系结构,研究其中的关键技术,指出云环境应用密文搜索技术存在的问题和改进的方向。 展开更多

关键词 云存储 密文搜索 倒排索引 bloomfilter

在线阅读 下载PDF 职称材料

有效预处理P2P网络中的子空间skyline查询 被引量：5

5

作者 黄震华 王智慧 +2 位作者 郭建魁 汪卫 施伯乐 《软件学报》 EI CSCD 北大核心 2009年第7期1825-1838,共14页

多维空间的skyline查询处理是近年来数据库领域的一个研究重点和热点.Vlachou等人首次考虑如何在P2P网络中有效进行子空间上的skyline查询,并提出"扩展skyline集合"的概念来减少预处理时的网络传输量.然而实验评估表明,扩展sk... 多维空间的skyline查询处理是近年来数据库领域的一个研究重点和热点.Vlachou等人首次考虑如何在P2P网络中有效进行子空间上的skyline查询,并提出"扩展skyline集合"的概念来减少预处理时的网络传输量.然而实验评估表明,扩展skyline集合只能有限地减少子空间skyline查询预处理的数据传输量.基于此,提出一种缩减预处理时数据传输量的有效方法TPAOSS(three-phase algorithm for optimizing skyline scalar).TPAOSS算法根据全空间skyline集合与子空间skyline集合间的语义关系分3个阶段来传输必要的数据,其中第1阶段发送全空间skyline对象;第2阶段接收种子skyline对象;而第3阶段基于Bloomfilter技术发送种子skyline对象在子空间上的重复对象.为了降低第2阶段的数据传输量,给出两种接收种子skyline对象的有效策略.理论分析和实验评估结果表明,所给出的算法具有有效性和实用性. 展开更多

关键词 子空间skyline查询 bloomfilter super-peer体系结构 查询优化

在线阅读 下载PDF 职称材料

基于副本复制和Bloom Filter的P2P概率路由算法 被引量：6

6

作者 朱桂明 郭得科 金士尧 《软件学报》 EI CSCD 北大核心 2011年第4期773-781,共9页

非结构化P2P网络资源定位过程中的查询延迟、查准率和查询成本难以同时被优化,为此,提出一种基于副本复制和Bloom Filter技术的P2P概率路由算法DCBF(data copying and Bloom Filter).DCBF基于有向随机网络,对资源对象进行少量的复制,并... 非结构化P2P网络资源定位过程中的查询延迟、查准率和查询成本难以同时被优化,为此,提出一种基于副本复制和Bloom Filter技术的P2P概率路由算法DCBF(data copying and Bloom Filter).DCBF基于有向随机网络,对资源对象进行少量的复制,并将各个副本随机路由给网络中的节点;接收副本的节点,以分布式衰减Bloom Filter向邻近节点传递副本的成员资格信息.理论分析和实验结果均表明,DCBF仅需复制少量的副本,通过以分布式衰减Bloom Filter传递副本的成员资格信息,使得网络中的绝大多数节点能够感知到副本的成员资格信息,从而使得各个节点能够以极低的查询代价,在较低的路由延迟范围内,高概率地将查询路由到目标节点. 展开更多

关键词 对等计算 有向随机网络 副本复制 衰减bloomfilter 概率路由

在线阅读 下载PDF 职称材料

一种基于Hurst参数的SYN Flooding攻击实时检测方法 被引量：3

7

作者 严芬 王佳佳 +1 位作者 殷新春 黄皓 《计算机科学》 CSCD 北大核心 2008年第12期109-113,162,共6页

提出了一种轻量级的源端DDoS攻击检测的有效方法。基于Bloom Filter技术提取网络数据包中新的可疑源IP地址出现的次数,然后使用实时在线VTP方法进行异常检测,不仅能够实时检测出DDoS攻击的存在,而且能够避免因为网络数据流量的正常突变... 提出了一种轻量级的源端DDoS攻击检测的有效方法。基于Bloom Filter技术提取网络数据包中新的可疑源IP地址出现的次数,然后使用实时在线VTP方法进行异常检测,不仅能够实时检测出DDoS攻击的存在,而且能够避免因为网络数据流量的正常突变引起的误报。从实验结果可以看出,该方法还能够发现大流量背景下,攻击流量没有引起整个网络流量显著变化的DDoS攻击。 展开更多

关键词 DDOS 源端检测 bloomfilter 实时检测 HURST参数

在线阅读 下载PDF 职称材料

云计算环境中支持模糊检索的加密算法 被引量：3

8

作者 黄汝维 李志坤 +1 位作者 江恩玮 陈宁江 《广西大学学报（自然科学版）》 CAS 北大核心 2017年第3期1121-1130,共10页

随着云计算的深入发展,隐私安全成为了云安全的一个关键问题。传统的加密方法是常用的保护敏感数据的方法,但是它们不支持对密文的直接操作。为了提供云计算环境中的隐私保护,提出了基于双哈希和带权重的Bloom Filter(DWBF),并构建了基... 随着云计算的深入发展,隐私安全成为了云安全的一个关键问题。传统的加密方法是常用的保护敏感数据的方法,但是它们不支持对密文的直接操作。为了提供云计算环境中的隐私保护,提出了基于双哈希和带权重的Bloom Filter(DWBF),并构建了基于DWBF的支持模糊检索的加密算法KEDWBF。安全分析和性能评估证明KEDWBF是IND-CPA安全的,并能高效地实现对加密数据的模糊检索。 展开更多

关键词 云计算 隐私安全 模糊检索 加密算法 bloomfilter

在线阅读 下载PDF 职称材料

动态的分布式环境下Top-k查询计算 被引量：1

9

作者 王斌 杨晓春 +1 位作者 王国仁 王波涛 《计算机研究与发展》 EI CSCD 北大核心 2007年第z3期89-94,共6页

分布式Top-k查询计算在多媒体近似匹配、网络监控、文档检索和Web数据搜索等技术中具有重要意义.分析分布式Top-k查询计算算法性能的重要标准是网络延迟和带宽消耗.早期的算法主要研究在集中式的环境中,提供有效地处理分布式Top-k查询计... 分布式Top-k查询计算在多媒体近似匹配、网络监控、文档检索和Web数据搜索等技术中具有重要意义.分析分布式Top-k查询计算算法性能的重要标准是网络延迟和带宽消耗.早期的算法主要研究在集中式的环境中,提供有效地处理分布式Top-k查询计算.然而,在动态的、分布式环境中,这些方法还显得不够成熟.因此,提出了一种在网络查询过程中建立的树形拓扑结构,利用直方图统计信息和Bloomfilter数据压缩技术,有效地执行局部优化,及在中间节点(peer)进行部分结果的合并,最终得到全局处理的Top-k查询计算方法(称做TTC算法).这种算法不仅降低了网络延迟,有效地支持动态变化的分布式环境,而且减少网络带宽的消耗.实验结果表明,TTC算法在全局带宽的消耗和网络的响应时间上效果非常显著. 展开更多

关键词 TOP-K 直方图 bloomfilter 分布式环境

在线阅读 下载PDF 职称材料

网络流量抽样测量技术综述 被引量：3

10

作者 李雪梅 王洪源 《科技信息》 2011年第9期I0061-I0061,I0117,共2页

随着高速网络技术的发展,使得实时在线的流测量非常困难,基于抽样的流量测量方法作为一种可扩展的技术已经成为人们经常采用的一种有效的流测量技术。本文简要介绍了抽样测量的基本理论,对当前抽样测量技术的研究现状进行了综述,并对该... 随着高速网络技术的发展,使得实时在线的流测量非常困难,基于抽样的流量测量方法作为一种可扩展的技术已经成为人们经常采用的一种有效的流测量技术。本文简要介绍了抽样测量的基本理论,对当前抽样测量技术的研究现状进行了综述,并对该技术的可能发展趋势做了简要的探讨。 展开更多

关键词 网络流量 流测量 抽样技术 bloomfilter

在线阅读 下载PDF 职称材料

基于统计特征的SYN Flood检测方法 被引量：1

11

作者 刘云 何翼 《软件工程》 2017年第4期4-8,共5页

SYN Flood是当前最流行的拒绝服务(DoS)与分布式拒绝服务(DDoS)攻击方式。从构造一个SYN攻击报文的角度分析,SYN Flood攻击会引起网络中基于IP地址、标志位、端口号、序列号的统计特征异常,因此提出一种基于统计特征的SYN Flood攻击检... SYN Flood是当前最流行的拒绝服务(DoS)与分布式拒绝服务(DDoS)攻击方式。从构造一个SYN攻击报文的角度分析,SYN Flood攻击会引起网络中基于IP地址、标志位、端口号、序列号的统计特征异常,因此提出一种基于统计特征的SYN Flood攻击检测的方法。该方法首先从半连接队列中获取半连接信息,从全连接队列中获取IP地址存入BloomFilter中,再分别提取其统计特征,最后使用LMBP神经网络得到检测结果。实验结果表明该算法与其他算法相比具有更好的检测效果。 展开更多

关键词 SYNFlood检测 统计特征 bloomfilter LMBP神经网络

在线阅读 下载PDF 职称材料

基于Bloom Filter的海量数据分布式快速匹配算法研究

12

作者 罗理 刘响光 +3 位作者 胡振 周姣 张刚伟 李启平 《计算机与数字工程》 2011年第3期44-47,共4页

海量数据的快速匹配已经成为当前应用系统一个严峻问题,针对此问题展开深入讨论,将分布式技术与Bloom Filter技术有效结合,给出一种基于Bloom Filter的分布式快速匹配算法。与传统算法相比,此方法大大降低了程序对服务器内存的要求,同... 海量数据的快速匹配已经成为当前应用系统一个严峻问题,针对此问题展开深入讨论,将分布式技术与Bloom Filter技术有效结合,给出一种基于Bloom Filter的分布式快速匹配算法。与传统算法相比,此方法大大降低了程序对服务器内存的要求,同时提高了匹配效率,解决了制约应用程序运行效率的瓶颈问题。 展开更多

关键词 bloomfilter 海量数据 分布式 快速匹配算法

在线阅读 下载PDF 职称材料

基于OpenFlow的报文分类算法研究与实现 被引量：2

13

作者 吕昭 李韬 《计算机工程与科学》 CSCD 北大核心 2014年第5期860-865,共6页

随着软件定义网络、OpenFlow等技术的兴起,传统的基于5元组的报文分类技术已不能满足OpenFlow基于多元组的细粒度流量控制需求。因此,以分析已有的报文分类算法为基础,采用分而治之的思想,针对OpenFlow报文分类的精确匹配需求,设计实现... 随着软件定义网络、OpenFlow等技术的兴起,传统的基于5元组的报文分类技术已不能满足OpenFlow基于多元组的细粒度流量控制需求。因此,以分析已有的报文分类算法为基础,采用分而治之的思想,针对OpenFlow报文分类的精确匹配需求,设计实现了一种基于Hash的计数型链表Bloom Filter算法——OF_CBF算法。针对OpenFlow报文分类的通配匹配需求,借鉴正则表达式匹配算法思想,设计实现了基于有限自动机的报文匹配算法——OF_FSMP算法。对两种算法进行分析验证,并初步对两种算法进行了性能分析。 展开更多

关键词 网络处理器 报文分类 OpenFlow bloomfilter 有限自动机

在线阅读 下载PDF 职称材料

一种基于SimHash的海量视频检索方法 被引量：1

14

作者 楚敏南 罗新高 白煜华 《科技与创新》 2015年第18期9-11,共3页

针对海量视频检索,提出了一种基于SimHash的视频相似性检索方法。该方法的视频特征提取部分首先采用视觉词袋模型将视频关键帧表示为词袋模型向量,然后对高维词袋模型向量建立鲁棒的压缩二值SimHash签名;视频相似帧查找部分首先置换SimH... 针对海量视频检索,提出了一种基于SimHash的视频相似性检索方法。该方法的视频特征提取部分首先采用视觉词袋模型将视频关键帧表示为词袋模型向量,然后对高维词袋模型向量建立鲁棒的压缩二值SimHash签名;视频相似帧查找部分首先置换SimHash签名库,并排序得到多张签名表,然后在多张签名表中按照数据量合理利用BloomFilter算法精确匹配签名表的置换部分,进而根据精确匹配的结果高效查找汉明距离小于阈值的签名,最后利用查找到的签名对相关视频进行相似度计算,排序得到相似视频的查询结果。针对CC_WEB_VIDEO公开数据集的实验表明,该方法对大规模视频的快速检索是非常有效的。 展开更多

关键词 视频检索 视觉词袋 SimHash bloomfilter

在线阅读 下载PDF 职称材料

电信行业计费系统分布式排重的研究 被引量：1

15

作者 任仲涛 牛军 +1 位作者 张亚威 赵长真 《电信技术》 2019年第11期25-28,共4页

针对电信行业计费系统的海量话单数据,实现分布式下高性能排重。采用Redis缓存排重历史,使用BloomFilter算法节省内存,结合Hbase实现交叉排重和排重历史落地存储,通过以上技术实现高性能、可扩展,结合排重规则实现全业务排重,提高了排... 针对电信行业计费系统的海量话单数据,实现分布式下高性能排重。采用Redis缓存排重历史,使用BloomFilter算法节省内存,结合Hbase实现交叉排重和排重历史落地存储,通过以上技术实现高性能、可扩展,结合排重规则实现全业务排重,提高了排重速度和话单处理效率。 展开更多

关键词 分布式排重 bloomfilter 海量数据

在线阅读 下载PDF 职称材料