期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到10篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于Python的中药材价格信息爬虫的设计 被引量：3
1
作者 张喜红 《枣庄学院学报》 2019年第2期67-72,共6页
为了收集大量、真实、可靠的中药材价格信息,为中药材价格的预测研究提供强有力的数据支撑。将数据来源方向瞄向互联网,在前期筛选的基础上,最终确立以中药材天地网为目标网站。在深入分析目标网站结构的基础上,基于Python语言设计了一... 为了收集大量、真实、可靠的中药材价格信息,为中药材价格的预测研究提供强有力的数据支撑。将数据来源方向瞄向互联网,在前期筛选的基础上,最终确立以中药材天地网为目标网站。在深入分析目标网站结构的基础上,基于Python语言设计了一款中药材价格信息爬虫。详细介绍了爬虫模拟请求网页、目标信息提取、信息存储及定时启动部署等环节的实现方法。实际测试结果显示,所设计的爬虫运行稳定,能高效、完整无误的抓取目标网站的信息条目。 展开更多
关键词 python 中药材 爬虫
在线阅读 下载PDF
基于Python的数据爬虫的设计与实现 被引量：6
2
作者 杨国军 《数字技术与应用》 2020年第10期153-154,158,共3页
本文针对互联网的海量数据信息查找、搜索繁琐的问题,提出通过网络爬虫的理念,模仿人的过程来帮助人们查找更有价值的数据信息,节约时间,提高工作效率。并针对网络爬虫的概念,工作原理,以及系统分析设计与实现进行了详细的分析和讨论,... 本文针对互联网的海量数据信息查找、搜索繁琐的问题,提出通过网络爬虫的理念,模仿人的过程来帮助人们查找更有价值的数据信息,节约时间,提高工作效率。并针对网络爬虫的概念,工作原理,以及系统分析设计与实现进行了详细的分析和讨论,并提出行之有效的实现方案。 展开更多
关键词 python 爬虫系统 设计 实现
在线阅读 下载PDF
基于Python的互联网招聘数据采集技术 被引量：2
3
作者 孙暖 曹小平 刘军 《信息与电脑》 2020年第18期161-163,共3页
面对招聘网站发布的海量招聘数据,为了利用技术手段从招聘网站采集招聘数据,本文基于Python语言设计爬虫采集技术并实现了面向猎聘、Boss、拉钩等招聘类网站的数据采集,完成了对全部招聘信息及其详情页面的数据爬取。本文采用Scrapy框... 面对招聘网站发布的海量招聘数据,为了利用技术手段从招聘网站采集招聘数据,本文基于Python语言设计爬虫采集技术并实现了面向猎聘、Boss、拉钩等招聘类网站的数据采集,完成了对全部招聘信息及其详情页面的数据爬取。本文采用Scrapy框架实现对定制网站内容的爬取,并采用图像识别技术解决了爬取过程中遇到的验证码问题,最终成功获取50000余条数据。 展开更多
关键词 python 数据采集 爬虫 Scrapy
在线阅读 下载PDF
Python环境下的JavaScript逆向技术分析 被引量：4
4
作者 王朝阳 范伊红 +1 位作者 李梦丹 忽爱平 《无线互联科技》 2021年第17期97-98,共2页
在数据下载、网络爬虫的工作中,人们往往会遇到网页代码难以理解,数据加密方式难以破解等问题。文章使用JavaScript逆向技术,配合某翻译网站爬取的案例,使用断点技术以及排错法对爬虫的数据加密问题进行分析,从而得到可用的数据。案例... 在数据下载、网络爬虫的工作中,人们往往会遇到网页代码难以理解,数据加密方式难以破解等问题。文章使用JavaScript逆向技术,配合某翻译网站爬取的案例,使用断点技术以及排错法对爬虫的数据加密问题进行分析,从而得到可用的数据。案例结果显示,爬虫效果明显提升,参数解密方式模拟成功。 展开更多
关键词 网络爬虫 JavaScript逆向技术 python
在线阅读 下载PDF
基于Python的运营商风险操作分析工具
5
作者 沈昀 张岩凯 《数字通信世界》 2021年第2期13-15,共3页
运营商在网络风险操作之前需要统计受影响的网络设备和用户,并通知相关人员。探讨了人工割接分析的方法和缺陷,并从分析流程出发,通过基于PYTHON的pexpect、urllib、pandas等模块,设计并实现了一种网络设备配置收集分析,专线用户Web接... 运营商在网络风险操作之前需要统计受影响的网络设备和用户,并通知相关人员。探讨了人工割接分析的方法和缺陷,并从分析流程出发,通过基于PYTHON的pexpect、urllib、pandas等模块,设计并实现了一种网络设备配置收集分析,专线用户Web接口提取的风险操作分析工具。 展开更多
关键词 割接分析 python 爬虫
在线阅读 下载PDF
网络舆情监控系统关键技术研究 被引量：7
6
作者 杨旭东 《信息网络安全》 2016年第9期251-256,共6页
随着互联网的发展,以新浪微博为代表的自媒体平台已经成为报纸、广播、电视之后的第四大媒体,成为网络舆情的主要传播手段和媒介。在网络舆情监控发展的前期,主要通过人工的方式进行舆情监测。随着网络数据井喷式的发展,人工方式已经不... 随着互联网的发展,以新浪微博为代表的自媒体平台已经成为报纸、广播、电视之后的第四大媒体,成为网络舆情的主要传播手段和媒介。在网络舆情监控发展的前期,主要通过人工的方式进行舆情监测。随着网络数据井喷式的发展,人工方式已经不能满足需求,需要通过自动化的软件来对大量的网络舆情信息进行处理。文章重点介绍了网络舆情监控系统的国内外研究现状;分析了网络舆情监控系统的核心技术需求,以及目前系统采用的主流技术方法和原理;根据现有技术方法的特性,提出了改进措施;并通过Python程序设计语言,开发了对改进技术措施进行了可行性验证。文章提出的改进技术措施,对进一步完善网络舆情监控系统给予一定的启示。 展开更多
关键词 网络舆情 爬虫 python 数据挖掘与分析 数据收集
在线阅读 下载PDF
基于Scrapy框架爬取豆瓣图书的设计与实现 被引量：3
7
作者 史媛 《山西电子技术》 2022年第4期75-77,86,共4页
Scrapy技术已普遍应用于自动化测试、数据挖掘等领域中,利用Scrapy可以快速高效地爬取目标数据。本文对豆瓣图书前250排名的图书信息网页分析,基于Scrapy框架,使用Python语言对所需要的信息进行代码编写,将爬取到的结果保存到文件中,为... Scrapy技术已普遍应用于自动化测试、数据挖掘等领域中,利用Scrapy可以快速高效地爬取目标数据。本文对豆瓣图书前250排名的图书信息网页分析,基于Scrapy框架,使用Python语言对所需要的信息进行代码编写,将爬取到的结果保存到文件中,为后续数据分析做准备。 展开更多
关键词 Scrapy框架 python语言 爬虫
在线阅读 下载PDF
气象大数据云平台监控告警系统 被引量：8
8
作者 刘洋 黄志 +2 位作者 徐娟 唐建新 卢伟萍 《计算机系统应用》 2023年第3期86-94,共9页
气象大数据云平台(简称“天擎”)作为省级气象业务的核心系统,需要保持7×24小时不间断的稳定、高效运行.针对“天擎”系统运行模块多、处理任务多且复杂,传统的人工监控模式监控效率低且无法及时发现业务中存在的故障等问题,本文采... 气象大数据云平台(简称“天擎”)作为省级气象业务的核心系统,需要保持7×24小时不间断的稳定、高效运行.针对“天擎”系统运行模块多、处理任务多且复杂,传统的人工监控模式监控效率低且无法及时发现业务中存在的故障等问题,本文采用Java、Python和Bash shell语言开发了基于企业微信的“天擎”业务全流程监控告警系统,该系统通过对“天擎”各个模块业务运行过程中所产生的综合状态信息等进行采集并格式化为监控告警信息,最终通过企业微信推送至运维人员,实现了对“天擎”各业务运行模块运行状态的快捷感知.系统业务运行效果表明,该系统运行安全可靠稳定,能够帮助运维人员及时定位系统故障并提高故障处理效率,在“天擎”数据监控和运行保障方面取得了良好的应用效果. 展开更多
关键词 气象大数据 监控告警 python 网络爬虫 消息队列 微信
在线阅读 下载PDF
基于LD算法的网页篡改可视化预警系统的研究 被引量：1
9
作者 王本钰 郑棣文 +2 位作者 李禹欣 彭舒凡 王勇 《现代信息科技》 2020年第21期141-143,147,共4页
文章对网页篡改现状进行了调查,对新闻、博客、大学网页被篡改方式进行了研究,并基于LD算法、Python爬虫,研究出可以有效对网页添加暗链、添加恶意代码、篡改网页文本等网页篡改行为进行可视化预警的系统,搭建了可视化动态网页,可以及... 文章对网页篡改现状进行了调查,对新闻、博客、大学网页被篡改方式进行了研究,并基于LD算法、Python爬虫,研究出可以有效对网页添加暗链、添加恶意代码、篡改网页文本等网页篡改行为进行可视化预警的系统,搭建了可视化动态网页,可以及时呈现网页篡改的位置和网页篡改周期和频率,并通过网页源码关联数据库,有效保证了网页的可恢复性。 展开更多
关键词 网页篡改 LD算法 python爬虫 可视化预警 数据库
在线阅读 下载PDF
面向热点新闻的爬虫系统设计与实现 被引量：1
10
作者 林文涛 陈伟强 +1 位作者 刘杭燕 叶楠 《数字通信世界》 2019年第1期261-262,132,共3页
在现今随着互联网的发展,时刻流通的信息变得更加庞大而繁杂,获取信息,整合提取有实际效益的信息成为了一个难题。要想了解当今世界发生了什么,获取新闻这种记录社会、传播信息、反映时代的文体。显然是最佳的选择。本文提出了一个基于... 在现今随着互联网的发展,时刻流通的信息变得更加庞大而繁杂,获取信息,整合提取有实际效益的信息成为了一个难题。要想了解当今世界发生了什么,获取新闻这种记录社会、传播信息、反映时代的文体。显然是最佳的选择。本文提出了一个基于网络爬虫的热点新闻发布系统,并在此系统中设计了相应的爬虫逻辑用于爬取热点新闻,以及编写了资源存储,信息展示等相关功能。进行了有效的信息整合,极大的提高了获取信息的效率。 展开更多
关键词 爬虫 新闻 python FLASK
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部