Web日志挖掘中的数据预处理技术 被引量：22

1

作者 李燕 冯博琴 鲁晓锋 《计算机工程》 CAS CSCD 北大核心 2009年第22期44-46,49,共4页

数据预处理是Web日志挖掘中的重要步骤,一般分为数据清理、用户识别、会话识别和路径补充。为消除代理服务器、防火墙和本地缓存对Web日志带来的影响,采用基于引用的分析方法完成用户会话识别和路径补充。实验结果表明,在Web访问日志中... 数据预处理是Web日志挖掘中的重要步骤,一般分为数据清理、用户识别、会话识别和路径补充。为消除代理服务器、防火墙和本地缓存对Web日志带来的影响,采用基于引用的分析方法完成用户会话识别和路径补充。实验结果表明,在Web访问日志中的记录引用信息较完整的情况下,该方法可以高效地获得用户的访问路径。 展开更多

关键词 web日志挖掘 数据预处理 用户会话识别 路径补充

在线阅读 下载PDF 职称材料

Web日志挖掘预处理中的用户识别技术 被引量：21

2

作者 吴强 梁继民 杨万海 《计算机科学》 CSCD 北大核心 2002年第4期64-66,共3页

1引言 互联网技术和应用的迅速发展使得可以从因特网获取的信息量日益剧增,因此迫切需要一种新的技术从这些信息中快速、及时地发现有用的知识,提高信息的利用率.作为数据挖掘技术[1]研究的一个重要领域,Web日志挖掘(Web L0gMining)是... 1引言 互联网技术和应用的迅速发展使得可以从因特网获取的信息量日益剧增,因此迫切需要一种新的技术从这些信息中快速、及时地发现有用的知识,提高信息的利用率.作为数据挖掘技术[1]研究的一个重要领域,Web日志挖掘(Web L0gMining)是从服务器日志文件内大量的用户访问记录中抽取有用信息的过程.通过对Web日志的分析,可以构造出用户的行为模式,对于分析改进网络性能、优化网站的设计和拓扑结构以及改善企业的市场营销决策等会有极大的帮助[2,3]. 展开更多

关键词 因特网 服务器 web 日志挖掘预处理 用户识别

在线阅读 下载PDF 职称材料

Web日志挖掘数据预处理研究 被引量：6

3

作者 何波 涂飞 程勇军 《微电子学与计算机》 CSCD 北大核心 2011年第4期111-114,共4页

数据预处理在Web日志挖掘过程中起着至关重要的作用.论文分析了Web日志挖掘数据预处理的主要步骤,设计了用户识别、访问操作识别和路径完善三个步骤的关键算法.实验结果表明,设计的关键算法是有效的.

关键词 数据预处理 web日志挖掘 路径完善 用户识别

在线阅读 下载PDF 职称材料

基于用户访问树的Web日志挖掘数据预处理 被引量：8

4

作者 刘加伶 范军 《计算机科学》 CSCD 北大核心 2009年第9期154-156,210,共4页

在Web日志挖掘中数据预处理是整个挖掘过程的基础,直接影响日志挖掘的质量和结果。提出了一种基于用户访问树的Web日志挖掘数据预处理方法,该方法在处理过程中根据Web日志建立用户访问树,并利用用户访问树进行用户和事务识别,从而可以... 在Web日志挖掘中数据预处理是整个挖掘过程的基础,直接影响日志挖掘的质量和结果。提出了一种基于用户访问树的Web日志挖掘数据预处理方法,该方法在处理过程中根据Web日志建立用户访问树,并利用用户访问树进行用户和事务识别,从而可以在缺乏网站拓扑结构的情况下准确地对Web日志进行预处理。 展开更多

关键词 web日志挖掘 数据预处理 用户识别 事务识别

在线阅读 下载PDF 职称材料

改进的Web日志数据预处理技术 被引量：3

5

作者 方元康 胡学钢 +1 位作者 夏启寿 朱勇 《计算机工程》 CAS CSCD 北大核心 2009年第10期73-74,77,共3页

介绍Web日志挖掘预处理过程中一些特殊情况的处理方法,在会话识别阶段给出一种基于过滤框架网页与会话重组相结合的会话识别方法,在会话识别之前进行框架网页的过滤,根据传统的会话识别方法构造初始会话集,使用会话重组算法对初始会话... 介绍Web日志挖掘预处理过程中一些特殊情况的处理方法,在会话识别阶段给出一种基于过滤框架网页与会话重组相结合的会话识别方法,在会话识别之前进行框架网页的过滤,根据传统的会话识别方法构造初始会话集,使用会话重组算法对初始会话集进行优化。实验结果显示,该方法提高了会话识别的质量。 展开更多

关键词 web日志挖掘 数据预处理 frame页面 会话识别

在线阅读 下载PDF 职称材料

Web访问挖掘的预处理技术的研究 被引量：19

6

作者 熊忠阳 周亚峰 《计算机技术与发展》 2007年第8期11-14,18,共5页

Web日志挖掘就是运用数据挖掘技术从Web日志中发现和抽取信息的过程。数据预处理是Web日志挖掘的一个关键环节。对数据预处理的各个环节进行研究,并介绍各个环节中的一些特殊处理方法,根据对Web服务期日志数据格式的分析,对会话概念进... Web日志挖掘就是运用数据挖掘技术从Web日志中发现和抽取信息的过程。数据预处理是Web日志挖掘的一个关键环节。对数据预处理的各个环节进行研究,并介绍各个环节中的一些特殊处理方法,根据对Web服务期日志数据格式的分析,对会话概念进行了形式化描述,然后在分析目前会话构造算法的基础上,提出了基于时间和引用的启发式方法来构造会话。 展开更多

关键词 web挖掘 web日志挖掘 数据预处理 用户会话 会话识别

在线阅读 下载PDF 职称材料

Web日志挖掘中数据预处理技术的研究 被引量：9

7

作者 于飞 丁华福 姜伦 《计算机技术与发展》 2010年第5期47-50,共4页

数据预处理在Web日志挖掘过程中起着至关重要的作用,直接影响日志挖掘的质量和结果。详细分析了数据预处理的过程,提出一种改进的数据清洗方法,以提高日志挖掘中数据预处理的效率,并针对Web日志数据预处理中会话识别这一重要环节,提出... 数据预处理在Web日志挖掘过程中起着至关重要的作用,直接影响日志挖掘的质量和结果。详细分析了数据预处理的过程,提出一种改进的数据清洗方法,以提高日志挖掘中数据预处理的效率,并针对Web日志数据预处理中会话识别这一重要环节,提出一种改进的会话识别方法。在用户识别后,根据页面内容、站点结构确定页面重要程度,对阈值进行调整。然后,根据用户对页面内容的兴趣度来删除会话中的链接页面和不感兴趣的页面。实验结果表明,提出的方法能更准确地确定页面访问时间阈值,得到更为合理有效的会话集合。 展开更多

关键词 web日志挖掘 数据预处理 会话识别 数据清洗

在线阅读 下载PDF 职称材料

Web日志挖掘中的会话识别方法研究 被引量：4

8

作者 顾兆军 李晓红 +1 位作者 王伟 黄杰培 《计算机技术与发展》 2012年第4期45-49,共5页

数据预处理是Web日志挖掘的首要环节,而会话识别是数据预处理中的关键步骤之一。为了更好地实现会话识别、提高会话识别的真实度,从而为后续的模式挖掘工作提供精确的挖掘数据,文中在分析了现有常用的会话识别方法后,提出了优化初始会... 数据预处理是Web日志挖掘的首要环节,而会话识别是数据预处理中的关键步骤之一。为了更好地实现会话识别、提高会话识别的真实度,从而为后续的模式挖掘工作提供精确的挖掘数据,文中在分析了现有常用的会话识别方法后,提出了优化初始会话集的方法。在该方法中,首先初始会话集的产生采用传统的基于访问时间的方法,然后对初始会话集进行合并和断开操作,生成优化的会话集。最后,采用实验实现了该方法。实验结果表明会话质量得到了提高。 展开更多

关键词 web日志挖掘 数据预处理 会话识别 会话重组 访问时间

在线阅读 下载PDF 职称材料

Web日志数据挖掘中数据预处理模型的研究与建立 被引量：9

9

作者 赵莹莹 韩元杰 《现代电子技术》 2007年第4期103-105,共3页

数据的质量直的好坏接关系到数据挖掘的结果,因此数据预处理是Web日志数据挖掘首要的步骤,基于前期提出的几种数据预处理方法,提出了通用的Web日志挖掘的数据预处理模型,将Web日志数据的预处理分为5个步骤:数据清理、用户标识、会话标... 数据的质量直的好坏接关系到数据挖掘的结果,因此数据预处理是Web日志数据挖掘首要的步骤,基于前期提出的几种数据预处理方法,提出了通用的Web日志挖掘的数据预处理模型,将Web日志数据的预处理分为5个步骤:数据清理、用户标识、会话标识、路径补充和格式化,并结合旅游网站进行了实例验证。证明该数据预处理模型是完全可行,并且具有良好的通用性和可扩展性。 展开更多

关键词 web日志挖掘 数据挖掘 数据预处理 用户标识 会话标识

在线阅读 下载PDF 职称材料

Web日志挖掘数据预处理过程技术研究 被引量：17

10

作者 姚洪波 杨炳儒 《微计算机信息》 北大核心 2006年第06X期234-236,共3页

在Web数据挖掘研究领域中,Web日志挖掘是Web数据挖掘研究领域中一个最重要的应用方面。本文介绍了面向Web日志的数据挖掘预处理的一般过程并给出了用户识别的算法实现。

关键词 web日志挖掘 数据预处理 用户识别

在线阅读 下载PDF 职称材料

Web日志挖掘中数据预处理方法研究 被引量：3

11

作者 陈红丽 李春生 张明 《科学技术与工程》 北大核心 2012年第8期1928-1930,1935,共4页

数据预处理在Web日志挖掘过程中起着至关重要的作用,直接影响日志挖掘的质量和结果。分析了数据预处理的主要过程,并用站点首页结合动态时间阈值的方法对会话识别进行了改进。实验结果表明,改进后的会话识别方法能更有效地识别出用户的... 数据预处理在Web日志挖掘过程中起着至关重要的作用,直接影响日志挖掘的质量和结果。分析了数据预处理的主要过程,并用站点首页结合动态时间阈值的方法对会话识别进行了改进。实验结果表明,改进后的会话识别方法能更有效地识别出用户的真实会话。 展开更多

关键词 数据预处理 会话识别 web日志挖掘

在线阅读 下载PDF 职称材料

Web日志挖掘的数据预处理研究 被引量：12

12

作者 方成效 袁可风 《计算机与现代化》 2006年第4期79-81,84,共4页

分析了Web日志挖掘的数据预处理过程,提出了基于日志引用页的用户识别算法,并对其性能进行分析,最后给出了应用实例。

关键词 web日志挖掘 数据预处理 用户识别算法

在线阅读 下载PDF 职称材料

Web日志挖掘的预处理过程及算法 被引量：5

13

作者 靳风荣 郑雪峰 《微型电脑应用》 2004年第6期44-45,55,共3页

随着WWW的广泛应用和Web技术的发展,数据挖掘进入一个崭新阶段。本文详细介绍了Web日志挖掘的预处理过程,通过实例分析了预处理方法,并给出了预处理过程中用户识别的算法实现。

关键词 web日志挖掘 预处理 算法 数据挖掘 数据格式 数据库

在线阅读 下载PDF 职称材料

Web日志挖掘预处理中复杂问题的解决方法 被引量：2

14

作者 徐志玮 《现代情报》 北大核心 2008年第6期79-81,共3页

随着网络的日益普及和信息技术的进步,Web日志挖掘的数据收集和原始数据处理工作变得越来越复杂,使得预处理技术也要进行相应的提高。本文通过对预处理中出现的复杂问题,进行了详细的分析,并列出了目前比较成熟的算法。

关键词 web日志挖掘 预处理 数据收集 数据清洗 用户/会话识别 最佳事务识别

在线阅读 下载PDF 职称材料

Web使用挖掘中的数据预处理算法研究 被引量：2

15

作者 张慧颖 梁伟 《微型电脑应用》 2007年第8期45-48,6,共4页

数据预处理是Web使用挖掘的一个关键环节,数据预处理的结果直接影响到后续步骤,如事务识别、路径分析、关联规则挖掘和序列模式挖掘的效果。提出了一种精确识别用户和会话的数据预处理算法(USIA),并且用实验证明它是高效的。

关键词 web使用挖掘 数据预处理 用户识别 会话识别

在线阅读 下载PDF 职称材料

基于URL语义分析的Web用户会话识别方法 被引量：1

16

作者 朱志国 《大连理工大学学报》 EI CAS CSCD 北大核心 2011年第3期440-446,共7页

由于现有基于时间和引用的经典会话识别方法在复杂Web使用模式挖掘中存在局限性,提出了一个基于URL语义分析的用户会话识别新方法.这个方法借助Web目录服务,将Web日志中的每一条URL记录赋予一定的语义信息,并给出一些测度指标对URL之间... 由于现有基于时间和引用的经典会话识别方法在复杂Web使用模式挖掘中存在局限性,提出了一个基于URL语义分析的用户会话识别新方法.这个方法借助Web目录服务,将Web日志中的每一条URL记录赋予一定的语义信息,并给出一些测度指标对URL之间的语义相似度进行评价.对静态和流动两类Web日志情况进行分析,分别给出了语义奇异值鉴别方法SOAs和SOAd对用户会话进行切分识别.最后对提出的方法与现有经典方法进行了比较实验与分析,结果表明会话识别的精确率和召回率有所提高. 展开更多

关键词 数据挖掘 web使用挖掘 数据预处理 用户会话识别

在线阅读 下载PDF 职称材料

Web日志挖掘的用户识别算法研究 被引量：5

17

作者 吴荣 《微型电脑应用》 2007年第9期61-62,73,共2页

Web日志挖掘是将数据挖掘技术应用到Web服务器的日志中,发现Web用户的行为模式,以便进一步改善网站结构或为用户提供个性化的服务。文中探讨了Web日志挖掘中的用户识别算法,提出了一种多重约束条件的用户识别算法。

关键词 web日志挖掘 数据预处理 用户识别

在线阅读 下载PDF 职称材料

Web日志挖掘数据预处理过程研究 被引量：3

18

作者 韩法旺 《南京工业职业技术学院学报》 2012年第2期53-56,共4页

针对Web页面的访问日志对研究用户行为模式的重要性及Web服务器上保存的大量访问日志的不完整性,研究了Web日志的数据预处理过程,得出了一个数据预处理一般过程的模型。

关键词 web日志 数据预处理 用户识别 会话识别 路径补充

在线阅读 下载PDF 职称材料

Web日志挖掘中数据预处理技术的研究 被引量：2

19

作者 秦文胜 《广东轻工职业技术学院学报》 2008年第3期9-12,共4页

Web日志挖掘是利用数据挖掘技术挖掘和分析网络日志,并获取网站使用过程中的有价值的信息和模式的过程。预处理是Web日志挖掘的第一步,也是非常关键的一步,预处理的结果决定了挖掘的效率和质量。本文主要阐述了预处理的一般过程,并针对... Web日志挖掘是利用数据挖掘技术挖掘和分析网络日志,并获取网站使用过程中的有价值的信息和模式的过程。预处理是Web日志挖掘的第一步,也是非常关键的一步,预处理的结果决定了挖掘的效率和质量。本文主要阐述了预处理的一般过程,并针对目前国内外常用的一些预处理技术进行了探讨和分析。 展开更多

关键词 web日志挖掘 数据预处理 用户识别 会话识别

在线阅读 下载PDF 职称材料

Web使用挖掘日志预处理算法设计 被引量：1

20

作者 孙金华 谢彦麒 《现代计算机》 2009年第8期7-10,共4页

数据预处理是整个Web使用挖掘过程的基础和实施有效挖掘算法的前提,在Web使用挖掘中起着重要的作用。论述数据预处理在Web使用挖掘中的重要性,详细分析Web使用挖掘数据预处理过程,在数据预处理的每个阶段给出一些规则并针对这些规则设... 数据预处理是整个Web使用挖掘过程的基础和实施有效挖掘算法的前提,在Web使用挖掘中起着重要的作用。论述数据预处理在Web使用挖掘中的重要性,详细分析Web使用挖掘数据预处理过程,在数据预处理的每个阶段给出一些规则并针对这些规则设计相应的预处理算法。 展开更多

关键词 web日志 web使用挖掘 数据预处理 用户识别

在线阅读 下载PDF 职称材料