期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到105篇文章
< 1 2 … 6 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
Python环境下的JavaScript逆向技术分析
1
作者 魏霞 《微型电脑应用》 2025年第9期267-269,277,共4页
在数据下载和网络爬虫领域,经常会遇到各种问题,如难以理解网页代码、无法破解数据加密方式等。为了解决这些问题,运用JavaScript逆向技术,结合某售房网站的实例,使用排错法和断点调试技术对数据加密问题进行深入分析,得到可用数据。结... 在数据下载和网络爬虫领域,经常会遇到各种问题,如难以理解网页代码、无法破解数据加密方式等。为了解决这些问题,运用JavaScript逆向技术,结合某售房网站的实例,使用排错法和断点调试技术对数据加密问题进行深入分析,得到可用数据。结果表明,运用JavaScript逆向技术后爬虫效果(获取数据)得到明显提升,模拟参数解密方式也取得了成功。 展开更多
关键词 网络爬虫 JavaScript逆向技术 python 数据加密
在线阅读 下载PDF
基于Python的图书信息爬取与可视化应用研究
2
作者 梁玉清 《无线互联科技》 2025年第11期46-50,共5页
随着信息技术的发展,图书信息的快速获取与分析成为图书管理与推荐系统的重要需求。为实现高效、低成本的数据收集与整理,文章以国内知名图书平台为实证对象,设计并实现了一种基于Python的图书信息爬取与可视化方法。通过编写爬虫脚本,... 随着信息技术的发展,图书信息的快速获取与分析成为图书管理与推荐系统的重要需求。为实现高效、低成本的数据收集与整理,文章以国内知名图书平台为实证对象,设计并实现了一种基于Python的图书信息爬取与可视化方法。通过编写爬虫脚本,自动获取并存储大量图书信息至本地Excel表格,利用可视化技术从微观和宏观2个角度分析数据:微观层面揭示单一变量的分布规律,宏观层面提取整体统计特征。研究结果表明,该方法能够为特定类型或具体图书信息的定量分析和整理提供支持,具有较高的实用性与可行性。因此,基于Python技术的图书信息爬取与可视化方法是一种有效的数据获取与分析手段,为图书资源管理与决策提供了科学依据。 展开更多
关键词 python 爬虫 图书信息 可视化研究
在线阅读 下载PDF
Python网络爬虫技术在信息安全监测中的应用与防范策略
3
作者 胡红玲 《信息与电脑》 2025年第12期152-154,共3页
为探讨Python网络爬虫技术在信息安全监测时的应用与防范手段,文章采取技术特点分析和典型应用场景分析相配合的途径,探讨了其在网络舆情把控、威胁情报汇聚和异常行为监测中的实际效能,剖析滥用造成的安全漏洞及防范办法。Python网络... 为探讨Python网络爬虫技术在信息安全监测时的应用与防范手段,文章采取技术特点分析和典型应用场景分析相配合的途径,探讨了其在网络舆情把控、威胁情报汇聚和异常行为监测中的实际效能,剖析滥用造成的安全漏洞及防范办法。Python网络爬虫借助技术优势,提升了信息安全监测效率,但需利用反爬虫机制、数据加密与法律规范等多维度策略,有效避开潜在风险。 展开更多
关键词 python网络爬虫 信息安全 安全监测 防范策略
在线阅读 下载PDF
基于Python语言的计算机专业招聘信息的爬取及分析 被引量：5
4
作者 王彩玲 许欣黎 《现代信息科技》 2024年第16期88-92,97,共6页
文章对计算机专业的招聘信息进行了研究,通过使用Python爬虫定向抓取拉勾网中的各种招聘资料和信息数据,结合职业要求、学历要求等相关基础条件,合理分析某一具体职业的具体状况,并将所得的分析数据结果进行可视化展示。报告了计算机相... 文章对计算机专业的招聘信息进行了研究,通过使用Python爬虫定向抓取拉勾网中的各种招聘资料和信息数据,结合职业要求、学历要求等相关基础条件,合理分析某一具体职业的具体状况,并将所得的分析数据结果进行可视化展示。报告了计算机相关专业就业现状,帮助计算机专业学生对未来的就业岗位和对应岗位所需要的专业知识有一个基本的认知,帮助他们有针对性地提高自身的专业能力和综合素养,以培养既懂技术又具备工作能力的复合型计算机人才。 展开更多
关键词 python语言 网络爬虫 可视化 招聘信息处理 人才培养
在线阅读 下载PDF
基于Python的多线程网络爬虫系统的研究与实现 被引量：4
5
作者 刘莹 《无线互联科技》 2024年第14期44-46,共3页
网络爬虫是通过编写程序模拟浏览器访问服务器、获取目标数据的方法。在大数据环境下,爬虫速度成为影响网络爬虫性能的重要评价条件之一。Python语言因其丰富的第三方库,被广泛应用于网络爬虫及数据分析等场景。文章基于Python编程语言... 网络爬虫是通过编写程序模拟浏览器访问服务器、获取目标数据的方法。在大数据环境下,爬虫速度成为影响网络爬虫性能的重要评价条件之一。Python语言因其丰富的第三方库,被广泛应用于网络爬虫及数据分析等场景。文章基于Python编程语言,以提高网络爬虫速度为目的,探讨实现网络爬虫速度提升的方案,并以某网站智能图片爬取为例实现多线程爬虫系统。 展开更多
关键词 python技术 网络爬虫 大数据 多线程
在线阅读 下载PDF
基于Python的Web信息获取方法研究 被引量：25
6
作者 魏冬梅 何忠秀 唐建梅 《软件导刊》 2018年第1期41-43,共3页
随着大数据和云计算等新一代互联网技术的迅速发展,Web信息量逐日海量递增。从海量数据中提取有效信息,挖掘有潜在价值的关系成为当前的研究热点,这对揭示已知规律、预测未知结果有极大的辅助作用。对当前Web信息获取方法、原理和关键... 随着大数据和云计算等新一代互联网技术的迅速发展,Web信息量逐日海量递增。从海量数据中提取有效信息,挖掘有潜在价值的关系成为当前的研究热点,这对揭示已知规律、预测未知结果有极大的辅助作用。对当前Web信息获取方法、原理和关键技术进行研究分析,重点阐述了数据采集相关技术中网络爬虫算法的分类与应用。提出一种以Python和相关库为主要工具,结合模块化方法,构建Web文本信息获取系统框架与流程的策略。案例中通过定义采集函数,实现对给定的维基百科词条,快速搜索与该词条相关信息,对词条内链接和外链接进行有效爬取。结果表明,Python在数据采集方面具有较高的有效性和可扩展性。 展开更多
关键词 python 信息获取 网络爬虫 正则表达式
在线阅读 下载PDF
基于Python爬虫的豆瓣TOP250电影数据分析与可视化研究 被引量：4
7
作者 王晨 《现代信息科技》 2024年第16期93-97,共5页
随着互联网技术的发展,传统的只根据榜单数据进行电影筛选的方式已经不能满足消费者的需求。基于Python实现了豆瓣网站TOP250电影数据爬虫,调用Requests下载网页并使用Beautifulsoup进行网页解析,利用PyeCharts等技术进行数据可视化分析... 随着互联网技术的发展,传统的只根据榜单数据进行电影筛选的方式已经不能满足消费者的需求。基于Python实现了豆瓣网站TOP250电影数据爬虫,调用Requests下载网页并使用Beautifulsoup进行网页解析,利用PyeCharts等技术进行数据可视化分析,将数据以图表的形式展现,以让消费者更清晰地看到热门电影数据特征,为消费者选择电影提供参考依据。通过可视化分析发现,电影的评分与评论人数无正相关性。 展开更多
关键词 python 爬虫 豆瓣 数据可视化
在线阅读 下载PDF
基于Python的房源信息大数据分析和可视化 被引量：3
8
作者 闫梦婷 《信息与电脑》 2024年第5期46-48,52,共4页
二手房市场是我国房地产市场的重要组成部分,买卖双方在交易中都希望能够了解各类信息。文章采用Python作为编程语言,爬取上海二手房市场的房源信息进行大数据分析,并通过Python的可视化库,将分析结果以直观的图表形式展示出来。该方法... 二手房市场是我国房地产市场的重要组成部分,买卖双方在交易中都希望能够了解各类信息。文章采用Python作为编程语言,爬取上海二手房市场的房源信息进行大数据分析,并通过Python的可视化库,将分析结果以直观的图表形式展示出来。该方法具有较好的拓展性,可以应用于其他领域的数据分析和可视化工作。 展开更多
关键词 房源 网络爬虫 python 大数据 可视化
在线阅读 下载PDF
基于Python网络爬虫技术的国内古树公园现状研究 被引量：1
9
作者 夏甜甜 郭敏 《园林》 2024年第12期118-125,共8页
建设古树公园是一项重要的古树保护措施,在平衡古树保护和人民利益的矛盾方面具有重要的作用。通过Python网络爬虫技术,系统调查国内古树公园现状,对国内古树公园的现状包括地理分布、建设要求、存在的问题进行分析。近5年中国古树公园... 建设古树公园是一项重要的古树保护措施,在平衡古树保护和人民利益的矛盾方面具有重要的作用。通过Python网络爬虫技术,系统调查国内古树公园现状,对国内古树公园的现状包括地理分布、建设要求、存在的问题进行分析。近5年中国古树公园数量显著增加,古树公园建设主要分布在浙江、广东、山东、四川等古树资源丰富和历史悠久的地区,在空间上的聚集程度较高,整体分布不均,其中大部分位于乡镇。古树公园中的古树树种基本符合中国物种分布规律,北方地区的古树种类较为稀少,主要包括国槐、银杏和侧柏等树种;而南方地区的古树种类则相对丰富,其中香樟、银杏和榕树尤为突出。目前国内古树公园还存在相关法律法规不完善、缺少专业的设计理念和规划、开发主体单一等问题,针对古树公园现有问题提出对策,并展望未来研究方向和发展趋势。 展开更多
关键词 python网络爬虫 古树公园 历史文化 风景园林 古树保护 建设
在线阅读 下载PDF
广西非遗文化知识图谱构建与数据处理研究 被引量：1
10
作者 张涛 周卫 《智能计算机与应用》 2025年第3期72-78,共7页
非物质文化遗产代表着地区文化历史的沉淀,是中华优秀传统文化的重要组成部分,也是人类文明的宝贵财富,具有无可替代的历史文化价值。对于维护文化多样性来说,保护和传承非物质文化遗产至关重要。然而,在当前网络环境下,广西的非物质文... 非物质文化遗产代表着地区文化历史的沉淀,是中华优秀传统文化的重要组成部分,也是人类文明的宝贵财富,具有无可替代的历史文化价值。对于维护文化多样性来说,保护和传承非物质文化遗产至关重要。然而,在当前网络环境下,广西的非物质文化遗产信息存在着杂乱无章、结构不清晰的问题。针对此问题,通过采用Python爬虫技术,对广西非物质文化遗产信息进行了系统采集,通过应用自然语言处理模型、特别是命名实体识别和关系抽取技术,能够将其中的非结构化信息转化为结构化数据,随后对这些数据进行了全面整理和清洗。最终,运用知识图谱技术的强大信息整合和表示能力,成功构建出一个结构清晰的广西非物质文化遗产知识图谱。 展开更多
关键词 知识图谱 python爬虫 命名实体识别 关系抽取 Neo4j图数据库 RoBERTa
在线阅读 下载PDF
基于Python的网络爬虫设计与数据采集方法研究
11
作者 陶冯炜 陈哲瀚 《智能城市应用》 2024年第12期123-125,共3页
随着信息技术的快速发展,网络爬虫在数据采集和处理领域中扮演着越来越关键的角色。文章详细探讨了基于Python的网络爬虫设计方法与数据采集技术,着重分析了爬虫架构的构建、数据解析、存储方案以及避免反爬措施的策略。此外,还评估了... 随着信息技术的快速发展,网络爬虫在数据采集和处理领域中扮演着越来越关键的角色。文章详细探讨了基于Python的网络爬虫设计方法与数据采集技术,着重分析了爬虫架构的构建、数据解析、存储方案以及避免反爬措施的策略。此外,还评估了不同爬虫技术的效率与应用范围,通过案例研究展示了这些技术在实际环境中的应用效果和挑战。 展开更多
关键词 网络爬虫 python 数据采集 反爬技术 数据解析
在线阅读 下载PDF
基于Python爬虫技术的商品信息采集与分析 被引量：15
12
作者 孟宪颖 毛应爽 《软件》 2021年第11期128-130,共3页
大数据背景下,怎样快速有效地获取所需的数据信息成为互联网企业和网络用户热切关注的内容。网络爬虫在网络数据采集与分析上发挥了重要的作用。本文以京东作为目标网站,采用Python的爬虫技术,设计了一种商品采集与分析的方法。使用Requ... 大数据背景下,怎样快速有效地获取所需的数据信息成为互联网企业和网络用户热切关注的内容。网络爬虫在网络数据采集与分析上发挥了重要的作用。本文以京东作为目标网站,采用Python的爬虫技术,设计了一种商品采集与分析的方法。使用Requests库对按关键字搜索的结果商品信息进行下载,使用正则表达式和Beautiful Soup对数据进行初步清洗,最后将数据存储到MongoDB数据库中,实现了预想的目标。 展开更多
关键词 电商平台 python 网络爬虫 数据采集
在线阅读 下载PDF
Python网络爬虫在医学影像领域的发展现状与趋势研究 被引量：6
13
作者 白金川 王豪 +3 位作者 焦宝园 娄元仓 陈秋冰 李中伟 《生物医学工程学进展》 CAS 2023年第3期260-266,共7页
爬虫是一类收集信息的自动化程序,当前越来越多的领域都在使用爬虫收集目标信息。由于Python具有可快速迭代的特性,在主要内容为图像处理与人工智能的医学影像中得到了广泛的应用。为了在保证程序运行效率的同时,减轻训练模型所需数据... 爬虫是一类收集信息的自动化程序,当前越来越多的领域都在使用爬虫收集目标信息。由于Python具有可快速迭代的特性,在主要内容为图像处理与人工智能的医学影像中得到了广泛的应用。为了在保证程序运行效率的同时,减轻训练模型所需数据为计算机存储带来的压力,采用了能够大幅提高程序运行效率的异步式程序,并使用暂态文件保存数据。结果表明,异步式程序、暂态存储程序的运行效率分别是单线程的4.722倍、1.433倍,在医学影像模型训练中使用爬虫可以降低对计算机存储性能的要求。 展开更多
关键词 python 网络爬虫 医学影像 人工智能 发展趋势
在线阅读 下载PDF
Python在标准查新中的应用 被引量：6
14
作者 李骏 张鸽 +1 位作者 纪海婷 于翔 《科技创新与应用》 2020年第12期184-186,共3页
检验检测机构传统手工标准查新的方法,工作量大,效率低,且查新周期长,为提高工作效率,文章提出了一种基于Python的标准查新方法,并以实例描述其工作过程,实现了一种高效的标准查新方式。
关键词 标准查新 大数据 python 网络爬虫
在线阅读 下载PDF
基于Python网上招聘信息的爬取和分析 被引量：13
15
作者 殷丽凤 张浩然 《电子设计工程》 2019年第20期22-26,共5页
针对Python语言的大数据爬取和分析,采用以纯python语言编写爬虫脚本的方式,通过爬取51job上招聘信息为“python”和“数据分析”两个词条的数据信息和简要分析,得出python爬虫编写中各类问题的解决方法,最后对规范数据做了进一步分析,... 针对Python语言的大数据爬取和分析,采用以纯python语言编写爬虫脚本的方式,通过爬取51job上招聘信息为“python”和“数据分析”两个词条的数据信息和简要分析,得出python爬虫编写中各类问题的解决方法,最后对规范数据做了进一步分析,分析结果为应聘人才做决策提供了有价值的信息。 展开更多
关键词 python语言 网络爬虫 数据预处理 规范数据 数据分析
在线阅读 下载PDF
基于Python的招聘数据爬虫设计与实现 被引量：15
16
作者 常逢佳 李宗花 +1 位作者 文静 常逢锦 《软件导刊》 2019年第12期130-133,共4页
随着就业压力日渐增加,准确全面地获取数据可以帮助高校学生规避就业风险、正确认识自身价值,具有相当重要的研究价值。基于Python的网络动态招聘数据抓取方案利用requests库抓取Ajax异步请求多页数据源,抓取的内容更为全面;对抓取到的... 随着就业压力日渐增加,准确全面地获取数据可以帮助高校学生规避就业风险、正确认识自身价值,具有相当重要的研究价值。基于Python的网络动态招聘数据抓取方案利用requests库抓取Ajax异步请求多页数据源,抓取的内容更为全面;对抓取到的招聘数据进行统计分析,对多线程效率进行对比分析,显示爬虫具有良好的适应性。该方案抓取的网络资讯在科研、求职等方面具有一定实用价值。 展开更多
关键词 网络爬虫 招聘 python 数据分析
在线阅读 下载PDF
基于Python的新浪微博爬虫程序设计与实现 被引量：9
17
作者 孙握瑜 《科技资讯》 2022年第12期34-37,共4页
在互联网时代,各类新媒体平台出现使得信息数据得到广泛传播。为加强对新浪微博内容的监管和分析,应对舆情分析的需求,该文主要研究采用Python语言设计新浪微博爬虫程序,在对网络爬虫基本概念和原理研究的基础上,设计了具有配置、爬取... 在互联网时代,各类新媒体平台出现使得信息数据得到广泛传播。为加强对新浪微博内容的监管和分析,应对舆情分析的需求,该文主要研究采用Python语言设计新浪微博爬虫程序,在对网络爬虫基本概念和原理研究的基础上,设计了具有配置、爬取、存储、分析这4个功能模块的应用程序,为媒体内容监管和数据分析提供了技术支持。 展开更多
关键词 python 新浪微博 网络爬虫 舆情分析
在线阅读 下载PDF
基于Python的聚焦网络爬虫的设计与实现 被引量：4
18
作者 唐文军 隆承志 《计算机与数字工程》 2023年第4期845-849,共5页
针对如何快速、精准地检索门户网站信息的问题,设计和实现基于Python语言的聚焦网络爬虫。首先分析聚焦网络爬虫的爬取数据流程,明确爬虫的基本原理;在爬取数据流程的基础上,设计聚焦网络爬虫的通用结构模型;最后,利用Python语言库实现... 针对如何快速、精准地检索门户网站信息的问题,设计和实现基于Python语言的聚焦网络爬虫。首先分析聚焦网络爬虫的爬取数据流程,明确爬虫的基本原理;在爬取数据流程的基础上,设计聚焦网络爬虫的通用结构模型;最后,利用Python语言库实现聚焦网络爬虫,并以广东省政府采购网的招标信息的爬取为实例验证该聚焦网络爬虫的可用性。 展开更多
关键词 聚焦网络爬虫 python语言 门户 广度爬行策略
在线阅读 下载PDF
基于Python的分布式多主题网络爬虫的研究与设计 被引量：3
19
作者 张胜敏 王爱菊 《开封大学学报》 2021年第1期93-96,共4页
针对传统网络爬虫抓取速度较慢的问题,提出了基于Python的分布式多主题网络爬虫的研究与设计。首先,通过Python集群与Storm集群的组建,搭建了网络爬虫的分布式物理架构,通过指标计算部分和处理部分,搭建了网络爬虫的分布式逻辑架构,两... 针对传统网络爬虫抓取速度较慢的问题,提出了基于Python的分布式多主题网络爬虫的研究与设计。首先,通过Python集群与Storm集群的组建,搭建了网络爬虫的分布式物理架构,通过指标计算部分和处理部分,搭建了网络爬虫的分布式逻辑架构,两种架构共同组成了分布式多主题网络爬虫的总体架构;其次,通过API接口抓取数据、GUI接口下载数据、编写爬虫程序下载数据的设计,完成了网络爬虫的抓取途径设计。实验证明,这样设计出的网络爬虫拥有较高的抓取速度。 展开更多
关键词 python 分布式 网络爬虫 Storm集群
在线阅读 下载PDF
基于Python的城市天气数据爬虫程序分析 被引量：11
20
作者 于学斗 柏晓钰 《办公自动化》 2022年第7期10-13,9,共5页
目前,我国正在加大环境保护的力度。如何充分利用互联网上的已有的海量数据为低碳环保事业做出贡献,是我们不可推缺的责任。为快速爬取网络上的信息,网络爬虫应运而生。通过使用网络爬虫技术,能在短时内提取有价值的信息数据。得到有价... 目前,我国正在加大环境保护的力度。如何充分利用互联网上的已有的海量数据为低碳环保事业做出贡献,是我们不可推缺的责任。为快速爬取网络上的信息,网络爬虫应运而生。通过使用网络爬虫技术,能在短时内提取有价值的信息数据。得到有价值的数据后,根据数据的形式进行整理,运用HTML、CSS、JavaScript、Flask框架、Echarts、WordCloud等技术对数据进行可视化展现。将数据进行完整地分析,有利于更好地利用数据解决实际问题。本文将对基于Python的聚焦式网络爬虫设计与实现以及分析天气数据并可视化地展现作出简介。 展开更多
关键词 python爬虫 网页设计 Flask框架 信息可视化
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 6 下一页 到第 页
使用帮助 返回顶部