基于垂直压缩格式的高效FP-STREAM算法的研究

1

作者 唐耀红 魏慧琴 《计算机科学》 CSCD 北大核心 2012年第10期160-163,共4页

近年来由于信息的爆炸式增长,数据流频繁模式挖掘逐渐成为研究的热点。FP-Stream作为经典的数据流频繁模式的挖掘算法,实现了多时间粒度的挖掘,但是该算法并未对数据本身进行压缩,使其在一定时间内处理的数据量受到限制,存在有限内存和... 近年来由于信息的爆炸式增长,数据流频繁模式挖掘逐渐成为研究的热点。FP-Stream作为经典的数据流频繁模式的挖掘算法,实现了多时间粒度的挖掘,但是该算法并未对数据本身进行压缩,使其在一定时间内处理的数据量受到限制,存在有限内存和高速海量数据的矛盾。通过对数据流进行垂直和Dif-bits压缩变换来改进FP-Stream算法,大大降低了内存需求,提高了数据处理能力。经过实验证明,改进算法是有效的。 展开更多

关键词 数据流 频繁模式 fp-stream 垂直格式 Dif-bits数据压缩

在线阅读 下载PDF 职称材料

挖掘数据流中的频繁模式 被引量：25

2

作者 刘学军 徐宏炳 +2 位作者 董逸生 王永利 钱江波 《计算机研究与发展》 EI CSCD 北大核心 2005年第12期2192-2198,共7页

发现数据流中的频繁项是数据流挖掘中最基本的问题之一·数据流的无限性和流动性使得传统的频繁模式挖掘算法难以适用·针对数据流的特点,在借鉴FP-growth算法的基础上,提出了一种数据流频繁模式挖掘的新方法:FP-DS算法·... 发现数据流中的频繁项是数据流挖掘中最基本的问题之一·数据流的无限性和流动性使得传统的频繁模式挖掘算法难以适用·针对数据流的特点,在借鉴FP-growth算法的基础上,提出了一种数据流频繁模式挖掘的新方法:FP-DS算法·算法采用数据分段的思想,逐段挖掘频繁项集,用户可以连续在线获得当前的频繁项集,可以有效地挖掘所有的频繁项集,算法尤其适合长频繁项集的挖掘·通过引入误差ε,裁减了大量的非频繁项集,减少了数据的存储量,也能保证整个数据集中项目集支持度误差不超过ε·分析和实验表明算法有较好的性能· 展开更多

关键词 数据流 频繁模式 FP—DS算法 流数据挖掘

在线阅读 下载PDF 职称材料

一种单遍扫描频繁模式树结构 被引量：4

3

作者 谭军 卜英勇 杨勃 《计算机工程》 CAS CSCD 北大核心 2010年第14期32-33,共2页

针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构-SP-tree,只需单遍扫描便能容纳全部数据库信息。为使SP-tree具有与FP-tree一样良好的压缩性能,给出一种有效的动态重构树的方法,称为宽度... 针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构-SP-tree,只需单遍扫描便能容纳全部数据库信息。为使SP-tree具有与FP-tree一样良好的压缩性能,给出一种有效的动态重构树的方法,称为宽度排序方法,该方法能够在挖掘过程中动态地逐条分支地重构树,最终产生一棵频繁递减的前缀树。实验结果表明,SP-tree的压缩性能优于其他单遍扫描的前缀树结构。 展开更多

关键词 数据流 频繁模式增长算法 单遍扫描模式树 宽度排序方法

在线阅读 下载PDF 职称材料

基于Web使用挖掘的用户行为分析 被引量：27

4

作者 张波 巫莉莉 周敏 《计算机科学》 CSCD 北大核心 2006年第8期213-214,239,共3页

Web服务产生了大量的日志数据,这些数据记录了用户的行为信息。如何从海量的日志数据中自动、智能地抽取隐藏于其中的知识,这是本文要研究的问题。基于Web使用挖掘,对点击流数据源进行收集、预处理,并基于FP-tree的关联规则挖掘算法对... Web服务产生了大量的日志数据,这些数据记录了用户的行为信息。如何从海量的日志数据中自动、智能地抽取隐藏于其中的知识,这是本文要研究的问题。基于Web使用挖掘,对点击流数据源进行收集、预处理,并基于FP-tree的关联规则挖掘算法对用户行为进行分析,发现新模式,为优化网站建设提供有价值数据。 展开更多

关键词 WEB使用挖掘 点击流 WEB服务器日志 FP-TREE 关联规则

在线阅读 下载PDF 职称材料

一种高效的离线数据流频繁模式挖掘算法 被引量：2

5

作者 侯伟 吴晨生 +1 位作者 杨炳儒 方炜炜 《计算机科学》 CSCD 北大核心 2009年第7期247-251,291,共6页

数据流频繁模式挖掘是当前数据挖掘领域中的研究热点之一,数据流连续性、无序性、无界性及实时性的特点为挖掘算法在时间及空间性能方面提出了更高的要求。数据流中模式频度的震荡现象,迫使现有算法对概要数据结构频繁维护,致使其时间... 数据流频繁模式挖掘是当前数据挖掘领域中的研究热点之一,数据流连续性、无序性、无界性及实时性的特点为挖掘算法在时间及空间性能方面提出了更高的要求。数据流中模式频度的震荡现象,迫使现有算法对概要数据结构频繁维护,致使其时间、空间效率均受到较大影响。构造了具备较高空间性能的概要数据结构SP-tree,同时定义了震荡性因子χ以量化震荡信息,提出了一种高效的离线数据流频繁模式挖掘算法SPDS,有效降低了数据震荡对算法性能的影响;在处理新到数据集时,算法采取分而治之的分离映射策略,进一步提升了时间效率;同时在查询结果方面提高了部分模式的计数精度。 展开更多

关键词 数据挖掘 数据流 频繁模式 震荡性因子

在线阅读 下载PDF 职称材料

数据流上一种单遍扫描频繁模式树结构 被引量：1

6

作者 谭军 卜英勇 陈爱斌 《计算机工程与应用》 CSCD 2013年第2期152-154,共3页

针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——&... 针对频繁模式增长算法无法适应数据流的无限性和流动性的特点,提出一种新颖的FP-tree的变形结构——FPS-tree,只需单遍扫描便能获取当前窗口的全部数据库信息。为了在滑动窗口时有效地删除过期窗格和插入新窗格,提出一个新颖的概念——"尾结点",FPS-tree中每条路径上的窗格信息只保持在尾结点里。实验结果表明FPS-tree的压缩性能要优于其他单遍扫描的前缀树结构。 展开更多

关键词 数据流 频繁模式增长算法 单遍扫描模式树 尾结点

在线阅读 下载PDF 职称材料

面向数据流的频繁项集挖掘 被引量：1

7

作者 陈凤娟 《洛阳师范学院学报》 2015年第2期82-85,共4页

随着计算机网络、气象监测和传感器网络等技术的不断发展,如何从数据流中挖掘出有用的信息成为了一个重要的研究内容.本文主要介绍了数据流和其中的频繁项集的概念,分析了数据流中的频繁项集挖掘算法.

关键词 数据流 频繁项集 倾斜时间窗口 频繁模式树

在线阅读 下载PDF 职称材料

基于有序复合策略的数据流最大频繁项集挖掘

8

作者 琚春华 许翀寰 《情报学报》 CSSCI 北大核心 2010年第5期864-871,共8页

挖掘最大频繁项集的优势在于得到的项目数量较少。相比频繁项集和频繁闭合项集挖掘算法,此类算法具有较高的时间和空间效率。根据数据流的特点,结合滑动窗口,提出一种基于有序复合策略的数据流最大频繁项集挖掘算法（E-FPMFI）。当数据... 挖掘最大频繁项集的优势在于得到的项目数量较少。相比频繁项集和频繁闭合项集挖掘算法,此类算法具有较高的时间和空间效率。根据数据流的特点,结合滑动窗口,提出一种基于有序复合策略的数据流最大频繁项集挖掘算法（E-FPMFI）。当数据流流过时,以基本窗口为单位,更新获取数据流片段信息,单遍扫描片段信息得到频繁项目并存储于频繁项目列表内。算法的核心思想：构建有序FP-tree,采用混合子集剪枝技术削减搜索空间,合并同一分支中支持数相等的邻接结点,压缩生成有序复合FP-tree,挖掘最大频繁项集时避免超集检验。经实验验证,E-FPMFI算法具有较好的时空效率和良好的可扩展性。 展开更多

关键词 数据流 最大频繁项集 滑动窗口 有序复合FP-tree

在线阅读 下载PDF 职称材料

转换时间数据流的加权FP-Tree挖掘算法 被引量：4

9

作者 宋军 陈潇君 《江苏大学学报（自然科学版）》 EI CAS CSCD 北大核心 2017年第3期330-335,共6页

数据流中的数据分布随着时间动态变化.为了解决传统基于事务的挖掘算法较难建立时间特征和关系特征的相关性,事务和时间作为不同维度的基本单元耗费较高数据存储量的问题,基于事务的FP-Tree挖掘算法,提出了时间间断度的概念.引入了FP-T... 数据流中的数据分布随着时间动态变化.为了解决传统基于事务的挖掘算法较难建立时间特征和关系特征的相关性,事务和时间作为不同维度的基本单元耗费较高数据存储量的问题,基于事务的FP-Tree挖掘算法,提出了时间间断度的概念.引入了FP-Tree结点权重的概念,将时间数据进行动态转换,设计了基于加权FP-Tree的挖掘算法,对时间数据流关联规则挖掘.在实际数据集上完成了挖掘试验.结果表明,该算法相对传统FP-Growth算法能在计算效率降低约20%的情况下,提高10%以上的平均查全率和5%以上的平均查准率. 展开更多

关键词 时间数据流 数据挖掘 加权FP-Tree 加权FP-Growth 关联规则

在线阅读 下载PDF 职称材料

基于界标窗口的数据流频繁项集挖掘算法的改进 被引量：1

10

作者 吴媚 高玲 《山东师范大学学报（自然科学版）》 CAS 2014年第3期21-25,29,共6页

挖掘数据流中频繁项集的技术是当前研究的热点之一．笔者借鉴数据模型FP-tree的结构，提出改进的适应挖掘数据流完全频繁项集的方法：FP-NEW．算法预处理阶段保存生成的潜在频繁项并作为构造NFP-tree中的记录输入，用户可以通过设置时... 挖掘数据流中频繁项集的技术是当前研究的热点之一．笔者借鉴数据模型FP-tree的结构，提出改进的适应挖掘数据流完全频繁项集的方法：FP-NEW．算法预处理阶段保存生成的潜在频繁项并作为构造NFP-tree中的记录输入，用户可以通过设置时间权重等策略对存储结果进行剪枝处理，最终经过迭代挖掘界标窗口中的完全频繁项集．实验证明算法能够适应数据流频繁项集的挖掘，并且在时空效率以及挖掘准确性上有一定优势． 展开更多

关键词 数据挖掘 数据流 界标窗口 FP—tree 时间权重

在线阅读 下载PDF 职称材料

结合反向矩阵和频繁模式树方法的CP-nets结构学习

11

作者 王卫星 刘兆伟 《太原理工大学学报》 CAS 北大核心 2021年第2期282-291,共10页

提出一种基于反向矩阵结构在数据流上挖掘条件偏好和学习CP-nets的方法。利用反向矩阵的事务布局,减少了扫描数据库的次数,并且通过随机访问,在不到一次完整扫描的情况下得到频繁的偏好项。此外,通过建立频繁模式树FP-Tree,减少了候选... 提出一种基于反向矩阵结构在数据流上挖掘条件偏好和学习CP-nets的方法。利用反向矩阵的事务布局,减少了扫描数据库的次数,并且通过随机访问,在不到一次完整扫描的情况下得到频繁的偏好项。此外,通过建立频繁模式树FP-Tree,减少了候选项的生成。实验结果表明,与其他学习CP-nets结构的方法相比,该方法可以较快获得准确的CP-nets,在大型事务数据库方面表现出良好的性能,减少了内存需求。 展开更多

关键词 CP-NETS 反向矩阵 数据流 频繁项集 FP-TREE

在线阅读 下载PDF 职称材料

基于CCA的云游戏平台系统设计

12

作者 金安 《软件导刊》 2023年第2期115-120,共6页

通过对云游戏业务活动各个阶段和业务延时的分析,设计了一种基于WebRTC协议的云游戏平台系统。该系统在建立体验评估模型的基础上,为降低延时,对帧率拥塞控制算法(CCA)进行了深入研究,并采用代码实现了帧率发送的动态策略调整。实验数... 通过对云游戏业务活动各个阶段和业务延时的分析,设计了一种基于WebRTC协议的云游戏平台系统。该系统在建立体验评估模型的基础上,为降低延时,对帧率拥塞控制算法(CCA)进行了深入研究,并采用代码实现了帧率发送的动态策略调整。实验数据表明,该算法能够解决帧率拥塞引起的业务延时、卡顿等问题,使平台的端到端延时与卡顿比分别降低为100ms和4.13%左右,能够给用户带来低网络延时与高流媒体质量的云游戏服务。 展开更多

关键词 云游戏 WebRTC 低延迟流化 每秒显示帧数 卡顿比

在线阅读 下载PDF 职称材料