高效的WEB-Log Mining算法

1

作者 马涛 刘昱琨 王希雷 《微机发展》 2003年第4期71-72,75,共3页

通过对WEB服务器日志文件进行分析,可以发现相似的客户群体、相关WEB页面以及频繁访问路径。这里提出了一种新颖的WEB日志挖掘算法,该算法是以服务器日志文件中的不同会话为聚类对象,通过对不同会话实施空间距离聚类和层次结构比较聚类... 通过对WEB服务器日志文件进行分析,可以发现相似的客户群体、相关WEB页面以及频繁访问路径。这里提出了一种新颖的WEB日志挖掘算法,该算法是以服务器日志文件中的不同会话为聚类对象,通过对不同会话实施空间距离聚类和层次结构比较聚类,最终得到了满意的聚类结果。最后,给出了一个应用实例,实例表明,该方法是有效可行的。 展开更多

关键词 web-log Mining算法 数据库 数据挖掘 会话 客户群体聚类 频繁访问路径

在线阅读 下载PDF 职称材料

Web日志的高效多能挖掘算法 被引量：115

2

作者 宋擒豹 沈钧毅 《计算机研究与发展》 EI CSCD 北大核心 2001年第3期328-333,共6页

通过对 Web服务器日志文件和客户交易数据进行分析 ,可以发现相似客户群体、相关 Web页面和频繁访问路径 .提出了一种新颖的 Web日志挖掘算法 .在该算法中 ,首先以 Web站点 URL 为行、以 User ID为列建立URL- User ID关联矩阵 ,元素值... 通过对 Web服务器日志文件和客户交易数据进行分析 ,可以发现相似客户群体、相关 Web页面和频繁访问路径 .提出了一种新颖的 Web日志挖掘算法 .在该算法中 ,首先以 Web站点 URL 为行、以 User ID为列建立URL- User ID关联矩阵 ,元素值为用户的访问次数 ,然后 ,对列向量进行相似性分析得到相似客户群体 ,对行向量进行相似性度量获得相关 Web页面 ,对后者再进一步处理还可以发现频繁访问路径 . 展开更多

关键词 电子商务 web 日志挖掘 INTERNET 数据挖掘 算法

在线阅读 下载PDF 职称材料

基于群体智慧的Web访问日志会话主题识别研究 被引量：5

3

作者 方奇 刘奕群 +2 位作者 张敏 茹立云 马少平 《中文信息学报》 CSCD 北大核心 2011年第1期35-40,共6页

Web访问日志中的会话(session)是指特定用户在一定时间范围内的访问行为的连续序列。会话主题(topic)是指会话中具有相同用户意图的部分。从会话中进一步识别出能体现用户意图的处理单元(topic)是进行用户访问行为分析的重要基础。目前... Web访问日志中的会话(session)是指特定用户在一定时间范围内的访问行为的连续序列。会话主题(topic)是指会话中具有相同用户意图的部分。从会话中进一步识别出能体现用户意图的处理单元(topic)是进行用户访问行为分析的重要基础。目前相关工作主要集中在边界识别上,无法处理用户意图交叉情况。为了解决该问题,该文重新形式化定义了session和topic的相关概念,提出最大划分的求解任务,并设计出了基于用户群体智慧的会话主题识别算法。在使用大规模真实Web访问日志的实验中,我们的算法取得了不错的效果。 展开更多

关键词 会话主题识别 web访问日志

在线阅读 下载PDF 职称材料

基于Web日志的用户访问模式挖掘 被引量：15

4

作者 王新 马万青 潘文林 《计算机工程与应用》 CSCD 北大核心 2006年第21期156-158,共3页

Web日志挖掘是数据挖掘技术在Web日志数据存储中的应用。论文介绍了Web日志挖掘,在分析发现用户访问模式方法——类Apriori算法的基础上,给出一种基于粗糙集的用户访问模式聚类方法。

关键词 web日志挖掘 访问模式 粗糙集 聚类

在线阅读 下载PDF 职称材料

一种从Web日志中挖掘访问模式的新算法 被引量：7

5

作者 肖国强 肖轶 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2004年第5期70-72,共3页

提出了一种用于从Web日志中高效挖掘Web访问模式的新算法 .设计了一个新的数据结构WAS树(WebAccessSequence树 )来记录Web访问序列和它的计数 ,避免冗长的支持度计算 ;开发出一个高效的递归算法 ,从WAS树中枚举出所有的访问模式 ,最后... 提出了一种用于从Web日志中高效挖掘Web访问模式的新算法 .设计了一个新的数据结构WAS树(WebAccessSequence树 )来记录Web访问序列和它的计数 ,避免冗长的支持度计算 ;开发出一个高效的递归算法 ,从WAS树中枚举出所有的访问模式 ,最后对算法的性能进行了分析并给出试验数据加以佐证 .这个算法的特点是不需要产生候选模式而直接挖掘出所有的访问模式 . 展开更多

关键词 web访问模式 web日志 WSA树

在线阅读 下载PDF 职称材料

一种基于有向树挖掘Web日志中最大频繁访问模式的方法 被引量：9

6

作者 詹宇斌 殷建平 +2 位作者 张玲 龙军 程杰仁 《计算机应用》 CSCD 北大核心 2006年第7期1662-1665,共4页

提出了一种基于Apriori思想的挖掘最大频繁访问模式的s-Tree算法。该算法使用有向树表示用户会话,能挖掘出最大前向引用事务和用户的浏览偏爱路径;使用一种基于内容页面优先的支持度计算方法,能挖掘出传统算法不能发现的特定的用户访问... 提出了一种基于Apriori思想的挖掘最大频繁访问模式的s-Tree算法。该算法使用有向树表示用户会话,能挖掘出最大前向引用事务和用户的浏览偏爱路径;使用一种基于内容页面优先的支持度计算方法,能挖掘出传统算法不能发现的特定的用户访问模式;使用频繁模式树连接分层的频繁弧克服了图结构数据挖掘算法中直接连接两个频繁模式树要判断连接条件的缺点,同时采用预剪枝策略,降低了算法的开销。实验表明,s-Tree算法具有可扩展性,运行效率比直接采用图结构数据挖掘算法要高。 展开更多

关键词 web使用挖掘 最大频繁访问模式 有向树 web日志

在线阅读 下载PDF 职称材料

一种分布式Web使用模式挖掘模型及算法 被引量：2

7

作者 张克君 杨炳儒 +2 位作者 赵耿 曲文龙 李欣 《北京科技大学学报》 EI CAS CSCD 北大核心 2006年第9期896-901,共6页

给出了一种分布式Web日志挖掘模型DWLMS.根据对挖掘过程及算法进行分析,提出了一种基于DWLMS的局部频繁路径的更新算法LFP和全局频繁路径的更新算法GFP,较好地解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分... 给出了一种分布式Web日志挖掘模型DWLMS.根据对挖掘过程及算法进行分析,提出了一种基于DWLMS的局部频繁路径的更新算法LFP和全局频繁路径的更新算法GFP,较好地解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.在实验室对该方法进行了简单实现和实际日志数据的测试,结果表明了算法的有效性. 展开更多

关键词 分布式数据挖掘 web使用模式挖掘 web日志挖掘 频繁路径

在线阅读 下载PDF 职称材料

基于过滤器的Web访问模式挖掘 被引量：2

8

作者 佟强 周园春 +1 位作者 吴开超 阎保平 《计算机工程》 CAS CSCD 北大核心 2007年第6期59-61,共3页

针对传统Web访问模式挖掘系统中用户识别和会话识别的复杂性和不准确性,该文提出了基于过滤器的Web访问模式挖掘系统。它能够准确地识别用户和会话,为挖掘算法提供优质的数据。给出了日志过滤器的实现和部署,提出了Web访问模式的挖掘算... 针对传统Web访问模式挖掘系统中用户识别和会话识别的复杂性和不准确性,该文提出了基于过滤器的Web访问模式挖掘系统。它能够准确地识别用户和会话,为挖掘算法提供优质的数据。给出了日志过滤器的实现和部署,提出了Web访问模式的挖掘算法。目前该方法已经广泛地应用于科学数据库系统中。 展开更多

关键词 数据挖掘 web日志 访问模式 频集

在线阅读 下载PDF 职称材料

Web访问序列模式挖掘算法的研究 被引量：2

9

作者 李陶深 王伟娜 陈庆峰 《计算机科学》 CSCD 北大核心 2013年第12期41-44,共4页

针对现有Web访问序列模式挖掘算法和PrefixSpan算法存在的问题,提出一种基于投影位置的Web访问序列模式挖掘算法(PWSPM)。该算法通过序列模式分析,发现用户的行为模式,预测用户对网页的访问模式,进而改进站点的性能和组织结构,提高用户... 针对现有Web访问序列模式挖掘算法和PrefixSpan算法存在的问题,提出一种基于投影位置的Web访问序列模式挖掘算法(PWSPM)。该算法通过序列模式分析,发现用户的行为模式,预测用户对网页的访问模式,进而改进站点的性能和组织结构,提高用户查找信息的质量和效率,以及对用户开展个性化的信息服务。实验和应用结果表明,提出的算法具有更好的执行效率,适用于Web日志挖掘,可用于构建智能化Web站点和解决个性化的信息服务问题。 展开更多

关键词 web访问 序列模式 数据挖掘 PREFIXSPAN算法 web日志挖掘

在线阅读 下载PDF 职称材料

Web日志挖掘中数据预处理技术的研究 被引量：19

10

作者 马瑞民 李向云 《计算机工程与设计》 CSCD 北大核心 2007年第10期2358-2360,共3页

在Web日志挖掘中数据预处理是整个挖掘过程的基础,由于客户端缓存的存在,在已往的预处理过程中都是通过路径补充技术得到用户完整的访问路径之后,才能进行事务识别。提出了一种只需根据网站的拓扑结构,不需要使用路径补充技术,由用户访... 在Web日志挖掘中数据预处理是整个挖掘过程的基础,由于客户端缓存的存在,在已往的预处理过程中都是通过路径补充技术得到用户完整的访问路径之后,才能进行事务识别。提出了一种只需根据网站的拓扑结构,不需要使用路径补充技术,由用户访问序列直接生成事务的算法。 展开更多

关键词 web日志挖掘 数据预处理 路径补充 访问序列 访问事务

在线阅读 下载PDF 职称材料

改进的基于Web的频繁访问路径挖掘算法 被引量：1

11

作者 庞敏 赵乙国 周海英 《测试技术学报》 2009年第3期244-247,共4页

对于连续频繁访问路径的挖掘如果采用常见的序列模式挖掘算法,挖掘效率是比较低的,而且只能得到频繁访问路径.本文在研究访问路径性质的基础上给出了一种能从普通Web日志中挖掘出连续频繁访问路径的算法.设计了一种新颖的数据结构压缩... 对于连续频繁访问路径的挖掘如果采用常见的序列模式挖掘算法,挖掘效率是比较低的,而且只能得到频繁访问路径.本文在研究访问路径性质的基础上给出了一种能从普通Web日志中挖掘出连续频繁访问路径的算法.设计了一种新颖的数据结构压缩存储空间及存储所需挖掘信息.同时采用分区搜索的方式,为每个频繁节点构造一棵后缀树,通过遍历该后缀树挖掘出连续频繁访问路径.采用这种方法进行挖掘,无需生成候选集,而且一次就可以挖掘出所有以根节点为后缀的连续频繁访问路径. 展开更多

关键词 连续频繁访问路径 网络服务器日志 分区搜索 后缀树 频繁节点

在线阅读 下载PDF 职称材料

Web用户聚类研究 被引量：3

12

作者 王华 王治和 王平 《甘肃联合大学学报（自然科学版）》 2010年第1期79-82,共4页

Web日志数据的海量增长,要求聚类算法能高效的从海量数据中得到满意的用户聚类.本文提出了一种新的聚类算法,在聚类前,利用用户兴趣度对海量数据集进行约简、减小数据计算规模,然后再对Web用户进行聚类.实验证明这种方法能减小数据规模... Web日志数据的海量增长,要求聚类算法能高效的从海量数据中得到满意的用户聚类.本文提出了一种新的聚类算法,在聚类前,利用用户兴趣度对海量数据集进行约简、减小数据计算规模,然后再对Web用户进行聚类.实验证明这种方法能减小数据规模、提高聚类效率,并得到满意的用户聚类. 展开更多

关键词 web日志 访问路径 路径相似度 用户聚类

在线阅读 下载PDF 职称材料

Web日志挖掘探析 被引量：2

13

作者 习慧丹 李泽平 《计算机与数字工程》 2009年第7期17-19,42,共4页

Web日志挖掘是数据挖掘领域中一个重要研究方向。文章对Web日志挖掘相关问题进行了探讨,分析了Web日志挖掘模式发现及其相关算法的不足,阐述了Web日志挖掘模式发现阶段增量更新的重要性。

关键词 web挖掘 web日志挖掘 模式发现 用户访问模式 增量挖掘

在线阅读 下载PDF 职称材料

面向Web活跃用户的树型访问模式挖掘算法

14

作者 贝毅君 陈刚 董金祥 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2009年第6期1005-1013,1140,共10页

传统Web挖掘技术面向所有Web用户,而访问网站时活跃用户与非活跃用户表现特征不同.基于此,提出一种面向活跃用户的访问模式挖掘方法,包括活跃用户会话提取算法(AUSM)和树型访问模式挖掘算法(WAP-BUM).AUSM扫描一遍日志数据即可挖掘Web... 传统Web挖掘技术面向所有Web用户,而访问网站时活跃用户与非活跃用户表现特征不同.基于此,提出一种面向活跃用户的访问模式挖掘方法,包括活跃用户会话提取算法(AUSM)和树型访问模式挖掘算法(WAP-BUM).AUSM扫描一遍日志数据即可挖掘Web活跃用户并提取会话信息,在提取的用户会话信息基础上,利用网站拓扑结构给出了一种基于树结构的频繁访问模式挖掘算法(WAPBUM).WAPBUM针对Web日志挖掘特点,通过对子树构造等价类,自下而上产生频繁子树.人工数据集和真实数据集上的实验都证明AUSM算法的运行时间与Web日志数据量成线性关系,且运行过程中内存保持稳定;WAPBUM在处理带根子树挖掘时明显快于FREQT算法,所挖掘结果可有效应用于网站结构分析. 展开更多

关键词 web使用挖掘 web访问模式 web日志 活跃用户 频繁子树

在线阅读 下载PDF 职称材料

Web日志挖掘研究 被引量：1

15

作者 叶苗群 《宁波工程学院学报》 2005年第2期4-7,共4页

通过对Web服务器日志文件进行分析,可以发现相似客户群体、相关Web页面和频繁访问路径。在本文算法中,首先以Web站点的URL为行、以UserID为列建立URL-UserID关联矩阵,其元素值为用户的访问次数。然后,采用模糊聚类算法和K-平均算法两种... 通过对Web服务器日志文件进行分析,可以发现相似客户群体、相关Web页面和频繁访问路径。在本文算法中,首先以Web站点的URL为行、以UserID为列建立URL-UserID关联矩阵,其元素值为用户的访问次数。然后,采用模糊聚类算法和K-平均算法两种方法分别对列向量进行分析得到相似客户群体,对行向量进行分析可获得相关页面,对后者再进一步处理还可以发现频繁访问路径。实验结果表明了算法的有效性。 展开更多

关键词 web日志挖掘 web服务器 K-平均算法 模糊聚类算法 访问路径 web页面 web站点 日志文件 关联矩阵 访问次数 URL 列向量 行向量 群体 客户 相似 相关

在线阅读 下载PDF 职称材料

基于最长前缀频繁子路径树的Web日志挖掘算法 被引量：2

16

作者 翁伟 林开标 +1 位作者 朱顺痣 王震岳 《成都大学学报（自然科学版）》 2013年第3期285-288,共4页

现有的Web日志频繁访问路径挖掘算法往往不能在追求时间效率的同时准确挖掘出符合用户浏览顺序的频繁路径.提出了有效挖掘Web日志中频繁访问路径的算法,将事务数据库转换为Web访问路径树,根据支持度进行剪枝构造最长前缀频繁子路径树,... 现有的Web日志频繁访问路径挖掘算法往往不能在追求时间效率的同时准确挖掘出符合用户浏览顺序的频繁路径.提出了有效挖掘Web日志中频繁访问路径的算法,将事务数据库转换为Web访问路径树,根据支持度进行剪枝构造最长前缀频繁子路径树,然后进行频繁路径挖掘,实验证实了此方法的有效性,并分析了支持度设置对频繁路径生成的影响. 展开更多

关键词 web日志挖掘 频繁访问路径 访问路径树

在线阅读 下载PDF 职称材料

基于Web日志的企业应用系统审计 被引量：3

17

作者 高静 薛峰 《信息安全与技术》 2015年第6期68-70,共3页

通过Web系统的访问日志数据分析,构建一个基于Web日志数据的用户访问分析系统。该系统通过对网站的功能访问频次、响应时长、http返回的字节数和访问时间等统计指标,为用户提供可视化的用户访问信息统计及趋势预测,并结合应用系统及数... 通过Web系统的访问日志数据分析,构建一个基于Web日志数据的用户访问分析系统。该系统通过对网站的功能访问频次、响应时长、http返回的字节数和访问时间等统计指标,为用户提供可视化的用户访问信息统计及趋势预测,并结合应用系统及数据库的资源使用情况,为系统优化的改进建议、评估系统功能的使用情况。 展开更多

关键词 web日志 用户访问行为

在线阅读 下载PDF 职称材料

基于兴趣度的Web用户访问模式分析 被引量：8

18

作者 吕佳 《计算机工程与设计》 CSCD 北大核心 2007年第10期2403-2404,2407,共3页

Web日志隐含了用户访问Web行为的动因和规律,如何有效地从中挖掘出用户访问模式是Web日志挖掘的重要研究内容。构造了User_ID-URL矩阵,矩阵元素为用户访问页面的兴趣度。应用经典的模糊C-均值聚类算法进行用户访问模式分析,通过在真实... Web日志隐含了用户访问Web行为的动因和规律,如何有效地从中挖掘出用户访问模式是Web日志挖掘的重要研究内容。构造了User_ID-URL矩阵,矩阵元素为用户访问页面的兴趣度。应用经典的模糊C-均值聚类算法进行用户访问模式分析,通过在真实数据集上的实验,结果表明引入了用户兴趣度的日志挖掘算法是行之有效的。 展开更多

关键词 web日志 用户兴趣度 用户访问模式 模糊C-均值 聚类分析

在线阅读 下载PDF 职称材料

基于Web日志挖掘的信息无障碍网站设计研究 被引量：3

19

作者 汤恒耀 占晓燕 《电脑知识与技术（过刊）》 2011年第5X期3261-3262,共2页

针对当前一些实现信息无障碍网站存在的问题,该文设计了一个网站设计架构,利用Web日志挖掘技术提取用户兴趣和访问优先序列,采取网站页面信息动态填充至网站主页通用框架模块中,实现智能化、个性化无障碍访问。

关键词 web日志挖掘 信息无障碍 网站设计

在线阅读 下载PDF 职称材料

由Web日志确定页面访问时间的方法研究 被引量：2

20

作者 霍晓钢 《计算机工程与设计》 CSCD 北大核心 2010年第10期2416-2418,F0003,共4页

为了获取用户访问页面的行为全过程以及准确时间,在网站中建立自动记录离开访问页面机制,准确的记录了用户访问页面的行为的全过程,确保访问日志的完整性和准确性。在此基础上,提出了服务器访问日志数据清理算法,确保准确提取出页面访... 为了获取用户访问页面的行为全过程以及准确时间,在网站中建立自动记录离开访问页面机制,准确的记录了用户访问页面的行为的全过程,确保访问日志的完整性和准确性。在此基础上,提出了服务器访问日志数据清理算法,确保准确提取出页面访问时间,从而解决了常见的页面访问时间算法不能准确确定每个页面被访问的确切时间的问题。 展开更多

关键词 web挖掘 访问时间 访问行为 数据清理 访问日志

在线阅读 下载PDF 职称材料