摘要
主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构,分析了Heritrix的工作流程,在Heritrix框架的基础上进行扩展和优化。通过一个实例,实现了对京东网图书信息的抓取,为建立面向图书信息的垂直搜索引擎提供了网页信息资源。
This paper introduce the essential concepts of topic search engine and Web crawler, as well as the architecture of Heritrix, analyze the working process of Heritrix, and successfully grabbing the information of some books info by expan- ding Heritrix, which provides the information source for creating topic search engine oriented to books information.
出处
《软件导刊》
2013年第5期123-125,共3页
Software Guide
基金
北京市教委科技发展计划项目(KM201310009001)
国家科技支撑项目(2012BAH04F03)
