期刊文献+
共找到2,935篇文章
< 1 2 147 >
每页显示 20 50 100
Teaching Reform and Practice of the“Data Collection and Web Crawler”Course Based on the Blended Teaching Mode
1
作者 Simin Wu 《Journal of Contemporary Educational Research》 2025年第7期116-122,共7页
The data collection and web crawling course has a lot of theoretical knowledge and strong practicality.Traditional teaching methods are no longer sufficient to meet teaching needs.Based on the characteristics of the c... The data collection and web crawling course has a lot of theoretical knowledge and strong practicality.Traditional teaching methods are no longer sufficient to meet teaching needs.Based on the characteristics of the course,this article constructs a mixed teaching environment based on“Learning Pass+Hongya Platform+Offline Course,”integrates teaching resource libraries and ideological and political cases,and develops a suitable evaluation system to cultivate students’innovative and critical thinking abilities,stimulate their learning initiative,improve their teamwork ability,and enhance their professional level and data literacy. 展开更多
关键词 Blended learning mode crawler Course teaching reform
在线阅读 下载PDF
人才型住房政策与数字创新创业活跃度
2
作者 李言 毛丰付 《经济与管理》 北大核心 2026年第1期19-28,共10页
伴随数字经济快速发展,如何提高数字创新创业活跃度成为相关研究关注的重点,但现有研究尚未从人才供给角度思考该问题。从数字人才集聚水平渠道切入,构建人才型住房政策影响数字创新创业活跃度的作用机制,基于中国2011—2019年城市层面... 伴随数字经济快速发展,如何提高数字创新创业活跃度成为相关研究关注的重点,但现有研究尚未从人才供给角度思考该问题。从数字人才集聚水平渠道切入,构建人才型住房政策影响数字创新创业活跃度的作用机制,基于中国2011—2019年城市层面数据,利用网络爬虫法构建人才型住房政策数据库,并根据政策文本内容构建人才型住房政策强度指标,采用面板双向固定效应模型识别人才型住房政策对数字创新创业活跃度的影响效应和作用机制。研究发现:人才型住房政策强度增加能够显著提高数字创新创业活跃度,上述结论通过了稳健性检验。异质性分析结果表明,在沿海地区、南方地区、数字创新创业活跃度较低的城市,人才型住房政策对数字创新创业活跃度的推动作用更好。机制分析结果表明,人才型住房政策主要通过提升数字人才集聚水平提高数字创新创业活跃度。进一步分析发现,周边城市人才型住房政策强度增加会对本地数字创新创业活跃度产生不利影响。 展开更多
关键词 人才型住房政策 数字创新创业活跃度 数字人才集聚水平 网络爬虫法
在线阅读 下载PDF
分布式Web Crawler的研究:结构、算法和策略 被引量:23
3
作者 叶允明 于水 +2 位作者 马范援 宋晖 张岭 《电子学报》 EI CAS CSCD 北大核心 2002年第12A期2008-2011,共4页
本文介绍了一个大型分布式Web Crawler系统——Igloo 1.2版。它采用分布式的系统结构,通过我们设计的二级哈希映射算法使系统可以进行高效的任务分割,并且系统的规模动态可扩展.爬行网页的质量是评价Crawler的一个重要指标,Igloo以PageR... 本文介绍了一个大型分布式Web Crawler系统——Igloo 1.2版。它采用分布式的系统结构,通过我们设计的二级哈希映射算法使系统可以进行高效的任务分割,并且系统的规模动态可扩展.爬行网页的质量是评价Crawler的一个重要指标,Igloo以PageRank值作为网页质量评价的标准,从而提高了爬行质量.加快爬行速度的关键是如何解除Crawler系统中的性能瓶颈,本文对此也作了详细的讨论,并提出了一种基于“滞后合并”策略的UBL数据库存取方法.实验表明,Igloo在保持高性能的同时能快速爬行到高质量的网页. 展开更多
关键词 WEB爬虫 爬行策略 分布式系统 计算机网络 网页
在线阅读 下载PDF
基于神经网络的增量式crawler重访频率研究 被引量:1
4
作者 周英飚 王军 《华中科技大学学报(自然科学版)》 EI CAS CSCD 北大核心 2004年第12期32-33,45,共3页
crawler是搜索引擎必备的核心组件 ,以何种频率对变化的Web页面进行重访是增量式crawler要解决的主要问题 .结合人工神经网络建立页面变化模型 ,由模型确定增量式crawler重访时间 ,同时分析模型在实践中的应用 ,提出一种应用方案 ,具有... crawler是搜索引擎必备的核心组件 ,以何种频率对变化的Web页面进行重访是增量式crawler要解决的主要问题 .结合人工神经网络建立页面变化模型 ,由模型确定增量式crawler重访时间 ,同时分析模型在实践中的应用 ,提出一种应用方案 ,具有较好的自适应性 . 展开更多
关键词 搜索引擎 crawler 增量式crawler 神经网络
在线阅读 下载PDF
一种并行Crawler系统中的URL分配算法设计 被引量:1
5
作者 万源 万方 王大震 《计算机工程与应用》 CSCD 北大核心 2006年第A01期117-119,共3页
研究了分布式体系结构下的并行Crawler采集模型,分析了各组件的功能及各Cmwler在并行搜索时,为保证系统的负载均衡而应遵循的基本规则,并提出了一种基于散列(hash)的URL的调度算法。
关键词 分布式crawler 散列算法 URL分配
在线阅读 下载PDF
面向动态网页爬行的Crawler架构 被引量:7
6
作者 严亚兰 《图书情报知识》 CSSCI 北大核心 2003年第4期51-53,共3页
 本文分析了Crawler动态网页爬行功能,提出了面向动态网页爬行的Crawler架构,并对相应模块进行了探讨。
关键词 crawler架构 爬行 动态网页
在线阅读 下载PDF
一个P2P IPTV多协议爬行器——TVCrawler 被引量:5
7
作者 姜志宏 王晖 +1 位作者 樊鹏翼 袁雪美 《计算机应用》 CSCD 北大核心 2010年第3期715-718,728,共5页
P2PIPTV网络测量是研究P2PIPTV行为和特征的重要手段,不仅有利于设计出更符合真实网络环境的系统或协议,也是实现P2PIPTV监测、引导和控制等方面的重要依据和基础。爬行器是P2PIPTV网络的一种主动测量技术,也是目前P2PIPTV测量的主要方... P2PIPTV网络测量是研究P2PIPTV行为和特征的重要手段,不仅有利于设计出更符合真实网络环境的系统或协议,也是实现P2PIPTV监测、引导和控制等方面的重要依据和基础。爬行器是P2PIPTV网络的一种主动测量技术,也是目前P2PIPTV测量的主要方式之一。提出了一个P2PIPTV多协议爬行器——TVCrawler,能够对PPLive、PPStream和UUSee三个系统的直播频道进行测量。TVCrawler主要具有三个特点:1)采用基于反馈的引导节点集构造机制;2)采用主从结构,并行爬行获取拓扑数据;3)采用基于拓扑增长系数的自适应爬行时长控制。实验表明,TVCrawler的爬行测量速度达到20~100节点/秒和130~500边/秒。 展开更多
关键词 网络测量 对等网络 网络电视 爬行器 覆盖网络
在线阅读 下载PDF
智能专题化信息搜集Crawler 被引量:4
8
作者 钱榕 徐新华 +1 位作者 郑莹 杨炳儒 《计算机工程》 CAS CSCD 北大核心 2006年第3期57-59,共3页
介绍了基于Web内容和结构挖掘的专题化智能Web爬行Crawler系统,并重点介绍其中CA(C&S)算法,该算法充分利用神经网络可以方便地模拟网络的拓扑结构和并行计算的特点,采用加强学习判断网页与主题的相关度,在进行相关度计算时,不考虑... 介绍了基于Web内容和结构挖掘的专题化智能Web爬行Crawler系统,并重点介绍其中CA(C&S)算法,该算法充分利用神经网络可以方便地模拟网络的拓扑结构和并行计算的特点,采用加强学习判断网页与主题的相关度,在进行相关度计算时,不考虑网页的全部内容,而通过提取网页的HTML描述中的重要标记,对Web网页进行内容和结构分析,从而判断爬行到的网页与主题的相关性,以提高信息搜集的效率和精确性。 展开更多
关键词 专题化爬行 WEB挖掘 神经网络 加强学习
在线阅读 下载PDF
基于网络评论的酱香型白酒消费体验描述词研究
9
作者 杨玉波 牛俊桀 +12 位作者 汪厚银 曹念 钟葵 熊小淋 杨帆 云振宇 徐阳 涂华彬 赵镭 张瑶 秦臻 向平 史波林 《中国酿造》 北大核心 2026年第1期328-333,共6页
酱香型白酒具有丰富的风味属性、极高的感官体验和品鉴价值,其感官描述形成于全国五届评酒会,主要为专业品酒师所用,而专业品酒师的感知水平与品评技能通常高于消费者,且品酒方式与消费者日常饮酒存在较大差异,从分析型角度描述白酒呈... 酱香型白酒具有丰富的风味属性、极高的感官体验和品鉴价值,其感官描述形成于全国五届评酒会,主要为专业品酒师所用,而专业品酒师的感知水平与品评技能通常高于消费者,且品酒方式与消费者日常饮酒存在较大差异,从分析型角度描述白酒呈现出的感知特征与消费型角度传递饮酒的体验与感受亦存在较大差别。该文通过Python爬虫程序,从网络平台抓取酱香型白酒的评论,通过文本预处理与文本挖掘手段,将网络评论中感官描述词进行划分。结果表明,共抓取了6 435条关于酱香型白酒的评论,将其划分为感受类描述词和感知类描述词。感受类描述词表现出“视整体、较宽泛、喜对比、重体验”的特点,感知类描述词在数量与范畴上的减少表明消费者与品酒师对酱香型白酒感官品质的关注、感知与表述存在差异。该结果验证了构建酱香型白酒消费体验描述词的合理性与基于网络评论分析消费者感知侧重的可行性。 展开更多
关键词 网络评论 酱香型白酒 消费体验描述词 Python爬虫 感官描述
在线阅读 下载PDF
增量更新Crawler进行Web收集方法研究 被引量:2
10
作者 程菲 汪建海 罗键 《计算机工程与科学》 CSCD 2006年第12期28-30,98,共4页
本文针对目前Web信息挖掘中存在的各种问题,对网络爬虫系统进行研究,提出了一种基于HTTP协议原理、旨在减少网络爬虫系统运行时网络流量的Web页面收集方法———增量更新Crawler方法。该方法通过Web预取技术对现有的Web链接数据库进行... 本文针对目前Web信息挖掘中存在的各种问题,对网络爬虫系统进行研究,提出了一种基于HTTP协议原理、旨在减少网络爬虫系统运行时网络流量的Web页面收集方法———增量更新Crawler方法。该方法通过Web预取技术对现有的Web链接数据库进行演化更新,可以在减少网络流量的同时获得接近现有网络爬虫系统的效果。 展开更多
关键词 信息检索 网络爬虫 增量更新
在线阅读 下载PDF
面向主题Crawler的设计与实现 被引量:1
11
作者 苗长芬 冯伟华 《平原大学学报》 2005年第3期110-112,共3页
针对目前通用搜索引擎所搜索到的结果过多,与主题相关性不强的情况,提出了面向主题的搜索引擎,文章以主题相关度为核心研究和设计了主题crawler,为进行主题搜索引擎的研究奠定了良好的基础.
关键词 crawler 主题搜索引擎 相关度
在线阅读 下载PDF
基于Crawler技术的超链接测试系统
12
作者 吉向东 《信息技术》 2009年第9期106-108,共3页
设计和实现了一个基于搜索引擎Crawler技术的超链接测试系统。通过将Crawler的爬行范围限制在一个网站之内,系统可以自动对待测网站进行扫描,有效地找出烂链和孤页。测试表明,相对于其它超链接测试产品而言,系统的测试自动化程度较高,... 设计和实现了一个基于搜索引擎Crawler技术的超链接测试系统。通过将Crawler的爬行范围限制在一个网站之内,系统可以自动对待测网站进行扫描,有效地找出烂链和孤页。测试表明,相对于其它超链接测试产品而言,系统的测试自动化程度较高,为测试人员提供了较为丰富的控制手段。 展开更多
关键词 crawler 超链接 测试 烂链 孤页
在线阅读 下载PDF
分布式Crawler系统研究与设计
13
作者 万方 王大震 《软件导刊》 2007年第5期45-46,共2页
分布式Crawler系统是在传统集中式信息采集系统基础上,结合分布式并行技术的产物,是搜索引擎的一个重要组成部分。研究了分布式Crawler系统中并行调度和URL处理的主要实现技术,并设计了一个分布式Crawler系统,对其中的任务划分机制和UR... 分布式Crawler系统是在传统集中式信息采集系统基础上,结合分布式并行技术的产物,是搜索引擎的一个重要组成部分。研究了分布式Crawler系统中并行调度和URL处理的主要实现技术,并设计了一个分布式Crawler系统,对其中的任务划分机制和URL检索算法作了详细描述。 展开更多
关键词 分布式crawler 并行调度 URL检索
在线阅读 下载PDF
履带起重机支重轮设计及排布分析
14
作者 董文侯 《建筑机械》 2026年第1期250-251,259,共3页
为减少履带起重机行走装置各轮系和履带板的磨损,优化履带架及整机受力状态,延长“四轮一带”使用寿命,降低制造成本及后期使用维修维护等运营成本,文章论述了履带起重机支重轮的设计和材料选用及排布间距的方法,为履带起重机及履带行... 为减少履带起重机行走装置各轮系和履带板的磨损,优化履带架及整机受力状态,延长“四轮一带”使用寿命,降低制造成本及后期使用维修维护等运营成本,文章论述了履带起重机支重轮的设计和材料选用及排布间距的方法,为履带起重机及履带行走类产品的行走装置设计提供参考。 展开更多
关键词 履带起重机 支重轮设计 支重轮排布 履带行走装置
在线阅读 下载PDF
煤矿履带式定向钻机双向直线移动路径视觉规划
15
作者 朱明鎏 杜昭 侯树宏 《煤矿机械》 2026年第1期201-207,共7页
枣泉煤矿130207综采工作面履带式定向钻机在钻场间转场与孔口精准定位过程中面临着长距离、双向直线推进难题,传统路径规划方法受限于动态障碍物分布随机、粉尘干扰严重及感知滞后等复杂工况,难以实现实时精准的避障调整。提出了一种基... 枣泉煤矿130207综采工作面履带式定向钻机在钻场间转场与孔口精准定位过程中面临着长距离、双向直线推进难题,传统路径规划方法受限于动态障碍物分布随机、粉尘干扰严重及感知滞后等复杂工况,难以实现实时精准的避障调整。提出了一种基于改进双向动态跳点搜索(JPS)算法的视觉规划方法。该方法首先通过引入安全距离约束改进双向动态JPS算法,构建面向井下动态环境的路径规划核心;建立融合巷道边界约束的平面空间模型,实现钻机运动空间的精确描述;通过布置防爆型激光摄像机组采集巷道三维点云数据,采用高斯滤波算法消除井下粉尘、水雾造成的测量噪声,完成环境感知系统的构建;基于实时采集的点云数据,建立障碍物动态跟踪机制,准确识别液压支架、采煤机等移动设备;最后,引入以局部修正次数为阈值的全局重规划机制,实现钻机移动路径的闭环优化与动态修正。现场实验表明,该方法使ZYL-17000D型定向钻机在46组障碍物测试中实现零碰撞事故,双向移动路径总长增率控制在5.9%以内,显著提升了钻机在复杂井下环境中的转场安全性与孔口定位效率。 展开更多
关键词 履带式定向钻机 路径规划 点云数据处理 改进双向动态JPS算法 动态修正
原文传递
Experimental Study on the Ride Comfort of a Crawler Power Chassis Scale Model Based on the Similitude Theory 被引量:2
16
作者 ZHAO Jianzhu WANG Fengchen +2 位作者 YU Bin TONG Pengcheng CHEN Kuifu 《Chinese Journal of Mechanical Engineering》 SCIE EI CAS CSCD 2015年第3期496-503,共8页
The ride comfort experimental assessment of crawler off-road vehicle is relatively overlooked, and is expensive and difficult to execute with higher and higher ride comfort performance requirements. To trade off betwe... The ride comfort experimental assessment of crawler off-road vehicle is relatively overlooked, and is expensive and difficult to execute with higher and higher ride comfort performance requirements. To trade off between precise and cost, an experimental method based on the similitude theory is proposed. Under the guidance of the similitude theory, a 1:5 crawler power chassis scale model equipped with a kind of variable stiffness suspension system is used. The power spectrum density(PSD), the root mean square(RMS) of weighed acceleration, peak factor, average absorbed power(AAP) and vibration dose value(VDV) are selected as ride comfort evaluation indexes, and tests results are transformed via similarity indexes to predict the performance of full-scale power chassis. PSD shows that the low-order natural frequency of the vertical natural frequency(z axis) is 1.1 Hz, and the RMS, AAP and VDV values indicate the ride comfort performance of this kind of power chassis is between the "A little uncomfortable" and "Rather uncomfortable". From the results, low-order vertical natural frequency, obtained by PSD, validates that the similarity relationship between two models is satisfied, and 1:5 scale model used in experiment meets the similarity relationship with the full-scale model; consequently, the ride comfort prophase evaluation with the 1:5 scale model is feasible. The attempt of applying the similitude theory to crawler vehicle ride comfort test study decreases the cost and improves the test feasibility with sufficient test precise. 展开更多
关键词 crawler power chassis scale model similitude theory off-road vehicle ride comfort
在线阅读 下载PDF
聚焦式Web Crawler工具的设计与开发
17
作者 唐详 《情报杂志》 CSSCI 北大核心 2005年第4期58-60,共3页
进行了一种面向特定领域主题搜索的实践——聚焦式WebCrawler。分析了搜索引擎和聚类算法的一般工作原理,并指出其不足。在此基础上,综合两者的优点形成了聚焦式WebCrawler工具,介绍了该工具的主要技术及实现方式。
关键词 主题挖掘 搜索引擎 WEB crawler 自动分类 聚类算法
在线阅读 下载PDF
Stress Path Analysis of Deep-Sea Sediments Under the Compression-Shear Coupling Load of Crawler Collectors 被引量:1
18
作者 ZHANG Ning MA Ning +2 位作者 YIN Shiyang CHEN Xuguang SONG Yuheng 《Journal of Ocean University of China》 SCIE CAS CSCD 2023年第1期65-74,共10页
The mechanical properties of deep-sea sediments during the driving process of crawler collectors are essential factors in the design of mining systems.In this study,a crawler load is divided into a normal compression ... The mechanical properties of deep-sea sediments during the driving process of crawler collectors are essential factors in the design of mining systems.In this study,a crawler load is divided into a normal compression load and a horizontal shear load.Then,the internal stress state of sedimentary soil is examined through a theoretical calculation and finite element numerical simulation.Finally,the driving of crawlers is simulated by changing the relative spatial position between the load and stress unit,obtaining the stress path of the soil unit.Based on the calculation results,the effect of the horizontal shear load on the soil stress response is analyzed at different depths,and the spatial variation law of the soil stress path is examined.The results demonstrate that the horizontal shear load has a significant effect on the rotation of the principal stress,and the reverse rotation of the principal stress axis becomes obvious with the increase in the burial depth.The stress path curve of the soil is different at various depths.The spatial variation rule of the stress path of the shallow soil is complex,whereas the stress path curve of the deep soil tends to shrink as the depth increases.The stress path of the corresponding depth should be selected according to the actual research purpose and applied to the laboratory test. 展开更多
关键词 deep-sea sediment crawler collector compression-shear coupling load stress path principal stress axis direction
在线阅读 下载PDF
Analysis on steering characteristics of crawler pipeline robot 被引量:1
19
作者 耿林康 RAO Jinjun LEI Jingtao 《High Technology Letters》 EI CAS 2023年第1期60-67,共8页
In order to improve the elbow passing performance and different diameter adaptability of pipeline robot,a supported crawler pipeline robot is designed,which adopts screw nut mechanism and hinge four-bar mechanism to a... In order to improve the elbow passing performance and different diameter adaptability of pipeline robot,a supported crawler pipeline robot is designed,which adopts screw nut mechanism and hinge four-bar mechanism to adapt to the complex environment such as variable diameter pipeline and elbow.The steering characteristics passing through the elbow are studied,the kinematic of pipeline robot bending steering is established,the geometric constraint(GC)and steering constraint(SC)in the elbow are analyzed,and the steering experiment is conducted.The results show that the robot can pass through the elbow by the SC model.The SC model can reduce the motor current and energy consumption when the robot passes through the elbow. 展开更多
关键词 crawler pipeline robot steering characteristics geometric constraint(GC) steering constraint(SC)
在线阅读 下载PDF
维、哈、柯多文种搜索引擎中网页爬行器(Crawler)的设计与实现 被引量:2
20
作者 吐尔洪.吾司曼 维尼拉.木沙江 《新疆大学学报(自然科学版)》 CAS 2009年第1期103-106,共4页
搜索引擎网页爬行器的任务是收集网页,而收集能力的好坏直接影响搜索结果.本文提出了维、哈、柯多文种搜索引擎中网页爬行器的结构及其设计方案.
关键词 网页爬行器 搜索引擎 网页相似度比较
在线阅读 下载PDF
上一页 1 2 147 下一页 到第
使用帮助 返回顶部