期刊文献+
共找到121篇文章
< 1 2 7 >
每页显示 20 50 100
网络爬取侵害企业数据权益的三阶法律判断
1
作者 赵自轩 《河北法学》 北大核心 2026年第1期76-100,共25页
网络爬取个人信息是互联网中常见的数据获取方式,当前司法实践中采取的竞争法救济路径将企业数据权益视为排他性权利,忽略了个人信息的公共价值和被爬取者的数据提供义务,严重损害了爬取者的合法权益。网络爬取是一个动态的数据利用过程... 网络爬取个人信息是互联网中常见的数据获取方式,当前司法实践中采取的竞争法救济路径将企业数据权益视为排他性权利,忽略了个人信息的公共价值和被爬取者的数据提供义务,严重损害了爬取者的合法权益。网络爬取是一个动态的数据利用过程,应结合不同阶段的法律规定和利用方式进行侵权判断。在数据获取阶段,以非法方式获取个人信息数据构成侵权,但在法定情形下,爬取者通过自助行为获取数据的除外;在数据利用阶段,违反法律规定和有效的授权许可协议的利用,对公开个人信息推断数据的替代性利用构成侵权;在数据处分阶段,转让、披露非法获取的数据,违反法律规定或有效的授权许可协议转让、披露数据构成侵权,但转让、披露公共数据和加工过的公开个人信息原始数据不构成侵权。 展开更多
关键词 网络爬取 个人信息数据 可携带权 授权许可协议 替代性利用
原文传递
Real-time crash prediction on freeways using data mining and emerging techniques 被引量:6
2
作者 Jinming You Junhua Wang Jingqiu Guo 《Journal of Modern Transportation》 2017年第2期116-123,共8页
Recent advances in intelligent transportation system allow traffic safety studies to extend from historic data-based analyses to real-time applications. The study presents a new method to predict crash likelihood with... Recent advances in intelligent transportation system allow traffic safety studies to extend from historic data-based analyses to real-time applications. The study presents a new method to predict crash likelihood with traffic data collected by discrete loop detectors as well as the web-crawl weather data. Matched case-control method and support vector machines (SVMs) technique were employed to identify the risk status. The adaptive synthetic over-sampling technique was applied to solve the imbalanced dataset issues. Random forest technique was applied to select the contributing factors and avoid the over-fitting issues. The results indicate that the SVMs classifier could successfully classify 76.32% of the crashes on the test dataset and 87.52% of the crashes on the overall dataset, which were relatively satisfactory compared with the results of the previous studies. Compared with the SVMs classifier without the data, the SVMs classifier with the web-crawl weather data increased the crash prediction accuracy by 1.32% and decreased the false alarm rate by 1.72%, showing the potential value of the massive web weather data. Mean impact value method was employed to evaluate the variable effects, and the results are identical with the results of most of previous studies. The emerging technique based on the discrete traffic data and web weather data proves to be more applicable on real- time safety management on freeways. 展开更多
关键词 Crash prediction detectors Web-crawl data Real time - Discrete loop Support vector machines
在线阅读 下载PDF
网络数据爬取合法性判定的三阶层认定标准 被引量:1
3
作者 刘云 《东方法学》 北大核心 2025年第4期30-43,共14页
网络数据爬取是一项价值中立的数据采集工具,对于海量数据索引建档、保护互联网开放性、促进社会智能化转型具有不可或缺的作用。《网络数据安全管理条例》第18条为网络数据爬取行为的合法性判定提供了一个三阶层的判定依据。一是对数... 网络数据爬取是一项价值中立的数据采集工具,对于海量数据索引建档、保护互联网开放性、促进社会智能化转型具有不可或缺的作用。《网络数据安全管理条例》第18条为网络数据爬取行为的合法性判定提供了一个三阶层的判定依据。一是对数据的公开性进行判定,认定公开数据均具有“可爬性”,该限制属于对公开数据的合理使用。二是对爬取技术的正当性进行判定,对技术行业的整体发展水平和被爬取方的技术防护成本进行平衡考虑,区分破坏性技术和规避性技术。三是对数据用途的差异性进行判定,根据数据爬取方的用途评估对被爬取方是否产生实质性替代的影响,判断应否支持对他人公开发布的数据的转化性使用。 展开更多
关键词 数据爬取 公开数据 数据产权 合理使用 数据处理者 数据开发与利用
在线阅读 下载PDF
基于卷积神经网络的计算机系统漏洞自动化检测技术 被引量:2
4
作者 李懿琼 《自动化技术与应用》 2025年第3期160-163,共4页
为提升计算机系统漏洞检测效果,利用卷积神经网络设计一种计算机系统漏洞自动化检测技术。利用减少原数据爬取线程数,增加每秒存储记录数,设计数据爬取流程,优化数据爬取线程,利用漏洞规则来分析漏洞的语法特征,构造一个矩阵进行特征匹... 为提升计算机系统漏洞检测效果,利用卷积神经网络设计一种计算机系统漏洞自动化检测技术。利用减少原数据爬取线程数,增加每秒存储记录数,设计数据爬取流程,优化数据爬取线程,利用漏洞规则来分析漏洞的语法特征,构造一个矩阵进行特征匹配,构建基于卷积神经网络的漏洞自动化检测模型,对该模型进行训练和测试,分析模型的学习过程和方式,输出最终的检测结果。性能测试结果表明:设计技术的ROC曲线更加靠近左上角,最终的F1指标值为0.979,验证了设计技术的有效性。 展开更多
关键词 卷积神经网络 系统漏洞 漏洞检测 数据爬取 特征匹配 模型
在线阅读 下载PDF
论数据爬取的反不正当竞争法规制 被引量:2
5
作者 何宗文 《兰州文理学院学报(社会科学版)》 2025年第1期88-93,共6页
数字经济时代,数据爬取具有市场效果两面性、侵犯利益多元性及行为实施隐蔽性等特点。为充分发挥数据爬取积极作用,理论界和实务界选择通过反不正当竞争法对其进行规制。然而,侵权式判断思维错误适用、数据爬取违法性认定规则不统一及... 数字经济时代,数据爬取具有市场效果两面性、侵犯利益多元性及行为实施隐蔽性等特点。为充分发挥数据爬取积极作用,理论界和实务界选择通过反不正当竞争法对其进行规制。然而,侵权式判断思维错误适用、数据爬取违法性认定规则不统一及数据爬取监管机制不健全等问题影响反不正当竞争法有效适用。对此,我国应明确反不正当竞争法规制范式、统一数据违法性认定规则,并健全数据爬取监管制度,以促进数据要素自由流动,同时保证市场公平竞争。 展开更多
关键词 数据爬取 反不正当竞争法 数字经济
在线阅读 下载PDF
基于Python的空气质量数据分析与可视化研究——以宣城市和黄山市为例
6
作者 唐巍 《电脑与信息技术》 2025年第2期48-52,57,共6页
运用Python及第三方模块,通过爬取宣城市和黄山市2023年空气质量数据,经数据清洗和预处理,选择蝴蝶图、条形图、箱线图、小提琴图等可视化方法,展示了两个城市空气质量数据的总体情况,以及主要污染物的时间分布与空间分布情况。结合可... 运用Python及第三方模块,通过爬取宣城市和黄山市2023年空气质量数据,经数据清洗和预处理,选择蝴蝶图、条形图、箱线图、小提琴图等可视化方法,展示了两个城市空气质量数据的总体情况,以及主要污染物的时间分布与空间分布情况。结合可视化图形,解析了两个城市空气质量数据差异的原因,提出了进一步改善宣城市环境空气质量的一些建议。 展开更多
关键词 PYTHON 空气质量 数据爬取 数据可视化
在线阅读 下载PDF
基于方差聚类的电力敏感数据自动识别方法
7
作者 李峰 撒依娜·波旦白 +1 位作者 杨东平 张涛 《计算机仿真》 2025年第7期136-140,共5页
由于电力数据具有复杂多变、实时性高等特点,不同接口间的数据可能存在显著的差异性和不一致性,这使得计算方差并准确解释其背后的电力数据特性变得尤为困难。针对该问题,提出基于方差聚类的电力敏感数据自动识别方法。构建电力数据中... 由于电力数据具有复杂多变、实时性高等特点,不同接口间的数据可能存在显著的差异性和不一致性,这使得计算方差并准确解释其背后的电力数据特性变得尤为困难。针对该问题,提出基于方差聚类的电力敏感数据自动识别方法。构建电力数据中台网格化数据共享架构,将该架构中多服务接口传输的电力数据作为识别对象,使用网络爬虫方法划分用于自动抓取电力数据的爬虫网络相空间格局。考虑到接口差异与任务需求多样性,由余弦向量法筛选爬虫匹配最优接口,获取数据爬取结果。通过方差聚类法,计算自动抓取电力数据和敏感数据中心之间的方差距离函数,将数据自动划分为不同敏感数据类别,实现电力敏感数据自动识别。实验结果表明,该方法能够有效降低敏感数据识别偏差,类间离散度较高,说明不同类别电力敏感数据在特征上具有较高的区分度,有利于提升电力敏感数据识别效果。 展开更多
关键词 方差聚类 电力敏感数据 自动识别 网络爬虫 数据抓取 数据中台
在线阅读 下载PDF
数据爬取的反不正当竞争法规制范式研究
8
作者 徐紫笛 江慧 +1 位作者 徐方圆 郑易凡 《河南科技》 2025年第4期122-127,共6页
【目的】重点分析我国司法实践中数据权益归属判定不明、竞争行为正当性认定标准模糊和裁判论证路径缺失等问题,以期为反不正当竞争法规制数据爬取问题提供解决思路。【方法】通过案例分析、理论研究的方式,对国内外出现的数据爬取案例... 【目的】重点分析我国司法实践中数据权益归属判定不明、竞争行为正当性认定标准模糊和裁判论证路径缺失等问题,以期为反不正当竞争法规制数据爬取问题提供解决思路。【方法】通过案例分析、理论研究的方式,对国内外出现的数据爬取案例进行梳理,对学界目前存在的理论进行分析。【结果】数据确权并非规制数据爬取行为的恰当方式,通过反不正当竞争法范式规制数据爬取行为,有利于平衡数据持有人的经济利益与数字产业发展的需求。【结论】适用《反不正当竞争法》一般条款规制数据爬取行为可能导致条款的滥用,而“互联网专条”则存在无法完全评价数据爬取行为的问题,应当谨慎适用《反不正当竞争法》一般条款,在《反不正当竞争法》第12条第1款第3项后增设“未经其他经营者允许,通过数据爬取等途径获取他人一定积累的具有商业价值的数据,导致其他经营者的相关市场受到不合理损害”的行为。 展开更多
关键词 数据爬取 反不正当竞争法 一般条款 利益衡量
在线阅读 下载PDF
网络爬取的数据风险及其法律规制研究
9
作者 曾卓然 梁喜乐 蔡春兰 《争议解决》 2025年第8期227-234,共8页
数据是竞争与创新的引擎,也是数字技术和数字经济的支撑。作为数据利用的一种重要手段,在缺乏科学合理的规制时,网络爬取在个人隐私、消费者权益以及企业利益等方面潜藏着诸多法律风险。当前,我国网络爬取相关立法呈现出明显的碎片化和... 数据是竞争与创新的引擎,也是数字技术和数字经济的支撑。作为数据利用的一种重要手段,在缺乏科学合理的规制时,网络爬取在个人隐私、消费者权益以及企业利益等方面潜藏着诸多法律风险。当前,我国网络爬取相关立法呈现出明显的碎片化和滞后性问题,缺乏规制网络爬取行为的具有可操作性的专门性条款。通过借鉴域外相关经验,我国应以分级分类为基础明确网络爬取行为的边界规则,以责任主体为核心构建全链条约束机制,进而完善网络爬取数据风险的法律规制路径。 展开更多
关键词 网络爬取 数据风险 法律规制
在线阅读 下载PDF
基于网络爬虫的招聘数据采集与分析方法实现
10
作者 刘佳 胡钰芊 《移动信息》 2025年第8期472-474,477,共4页
在招聘市场快速变化的时代,精准分析岗位需求与人才特征已成为企业招聘优化与求职者职业规划的重要任务。在当前招聘数据分析中,数据采集效率低、处理质量不高、分析维度单一等问题亟待解决。文中通过引入网络爬虫技术实现海量数据自动... 在招聘市场快速变化的时代,精准分析岗位需求与人才特征已成为企业招聘优化与求职者职业规划的重要任务。在当前招聘数据分析中,数据采集效率低、处理质量不高、分析维度单一等问题亟待解决。文中通过引入网络爬虫技术实现海量数据自动化采集,并结合数据清洗、可视化分析等方法,从薪资分布、城市集中度、经验与学历要求等多维度对招聘市场进行深入挖掘,揭示岗位需求规律与企业偏好特征,以满足企业招聘决策及求职者职业选择的实际需求。 展开更多
关键词 网络爬虫 数据采集 可视化分析
在线阅读 下载PDF
高校图书馆微信信息计量分析 被引量:16
11
作者 王磊 吕鹏辉 张仁琼 《图书情报知识》 CSSCI 北大核心 2017年第5期49-58,88,共11页
利用Python语言编写的数据采集系统对我国高校图书馆微信号推送的海量文章信息进行采集,通过运用信息计量学相关理论(如信息统计、共现分析、耦合分析等),使用自编程序对采集的数据进行处理,得到了各图书馆微信号推送文章数、平均阅读... 利用Python语言编写的数据采集系统对我国高校图书馆微信号推送的海量文章信息进行采集,通过运用信息计量学相关理论(如信息统计、共现分析、耦合分析等),使用自编程序对采集的数据进行处理,得到了各图书馆微信号推送文章数、平均阅读数、平均点赞数、单篇推送文章传播指数、推送文章标题的高频分词共现矩阵、基于分词结果的图书馆耦合矩阵,并将其可视化以易于理解。通过深入分析这些数据揭示了目前国内图书馆微信号推广的现状和微信号推送文章的内容、特征、规律以及存在的问题。结果表明,微信已经成为目前国内高校图书馆重要的宣传推广工具。图书馆应该针对微信号推广和微信号推送文章内容选择中存在的问题,着力从制定考评激励机制、加大微信号宣传力度、提高微信号推送文章价值、强化微信号推送文章乐趣、增强用户情感体验等方面提升图书馆微信号推广效果和微信号推送文章质量。 展开更多
关键词 图书馆 微信 数据采集 信息计量 共现 耦合
在线阅读 下载PDF
基于网络爬虫的网页大数据抓取方法仿真 被引量:20
12
作者 谢蓉蓉 徐慧 +1 位作者 郑帅位 马刚 《计算机仿真》 北大核心 2021年第6期439-443,共5页
为了提高网页大数据抓取效率,解决传统抓取方法误差大的问题,提出了基于网络爬虫的网页大数据抓取方法。首先分析网络爬虫运行的基本流程,按流程提取大数据关键特征,然后根据特征提取结果提出基于网络爬虫的数据抓取策略。经计算得到数... 为了提高网页大数据抓取效率,解决传统抓取方法误差大的问题,提出了基于网络爬虫的网页大数据抓取方法。首先分析网络爬虫运行的基本流程,按流程提取大数据关键特征,然后根据特征提取结果提出基于网络爬虫的数据抓取策略。经计算得到数据关键特征,从而选择广度优先策略抓取数据信息,并利用相重新构建相空间的方式得到爬虫维度,引入关联维数值完成网页大数据抓取,对数据关键特征完成抓取任务。通过仿真结果表明,所提方法对网页大数据的抓取率更好、耗时更短,与其它方法相比具有较高的鲁棒性。 展开更多
关键词 大数据抓取 网络爬虫 特征 相空间 关联维
在线阅读 下载PDF
基于微信推文内容视域下图书馆微信服务现状研究及建议 被引量:12
13
作者 王磊 吕鹏辉 《情报杂志》 CSSCI 北大核心 2017年第9期202-206,F0003,191,共7页
[目的/意义]从爬取的海量图书馆微信公众号推送文章出发,对微信推送文章的外部特征及高传播指数推文的文本内容进行了总结,以期能从微信公众号推文内容角度为国内图书馆提供参考与借鉴。[方法/过程]利用Python语言编写爬虫系统及各种计... [目的/意义]从爬取的海量图书馆微信公众号推送文章出发,对微信推送文章的外部特征及高传播指数推文的文本内容进行了总结,以期能从微信公众号推文内容角度为国内图书馆提供参考与借鉴。[方法/过程]利用Python语言编写爬虫系统及各种计算脚本,将获取的58个图书馆的12446条推文作为数据样本,结合微信传播指数WCI、单篇推文传播指数WACI以及高频词共现网络,分析了我国图书馆微信公众号推文现状、内容及问题。[结果/结论]各图书馆应主动应对微信公众号推文中存在的问题,应着力从制定考核指标、需求挖掘、创造热点等方面让推文有价值、有趣味、有温度。 展开更多
关键词 图书馆 微信 数据爬取 文本挖掘
在线阅读 下载PDF
增量更新并行W eb爬虫系统 被引量:8
14
作者 徐文杰 陈庆奎 《计算机应用》 CSCD 北大核心 2009年第4期1117-1119,1127,共4页
介绍了并行Web爬虫系统的总体结构,引入了增量更新爬虫策略,在提高Web海量数据更新效率的同时,考虑到机群中各个爬虫的能力不一,为了使机群中爬虫的能力得到充分应用,又提出了向量度量技术,解决了抓取任务和爬虫能力匹配的问题。对抓取... 介绍了并行Web爬虫系统的总体结构,引入了增量更新爬虫策略,在提高Web海量数据更新效率的同时,考虑到机群中各个爬虫的能力不一,为了使机群中爬虫的能力得到充分应用,又提出了向量度量技术,解决了抓取任务和爬虫能力匹配的问题。对抓取任务向量、爬虫向量进行了定义,并在此基础上给出了相关的并行算法。实践表明,系统具有良好的分配适应性,并可以在此基础上渐增式地提高网页库新鲜度。 展开更多
关键词 Web数据抓取 并行爬虫 增量更新策略 余弦向量法
在线阅读 下载PDF
中国原创童书与引进童书市场比较——基于当当畅销书排行榜的数据挖掘与分析 被引量:8
15
作者 彭威 王嘉昀 《出版科学》 CSSCI 北大核心 2017年第4期64-68,共5页
出版社竞相引进国外童书以求在童书市场上占据有利态势,过度依赖引进童书导致原创童书发展空间受到严重挤压。本文挖掘当当网平台童书数据,分年龄段将畅销榜Top 500的原创童书与引进童书的售价、折扣、评论数、好评数和三年畅销书排行榜... 出版社竞相引进国外童书以求在童书市场上占据有利态势,过度依赖引进童书导致原创童书发展空间受到严重挤压。本文挖掘当当网平台童书数据,分年龄段将畅销榜Top 500的原创童书与引进童书的售价、折扣、评论数、好评数和三年畅销书排行榜Top 20占比等数据进行比较分析发现:畅销榜Top 500中原创童书整体市场表现不如引进童书,引进童书质量参差不齐却售价普遍高于原创童书,Top 20中原创童书明星产品数量远低于进口童书。基于此,本文提出适当限制引进童书、正视原创童书价值、加大力度鼓励原创童书创作的建议。 展开更多
关键词 原创童书 引进童书 当当网 数据挖掘
在线阅读 下载PDF
聚焦爬虫技术研究综述 被引量:156
16
作者 周立柱 林玲 《计算机应用》 CSCD 北大核心 2005年第9期1965-1969,共5页
因特网的迅速发展对万维网信息的查找与发现提出了巨大的挑战。对于大多用户提出的与主题或领域相关的查询需求,传统的通用搜索引擎往往不能提供令人满意的结果网页。为了克服通用搜索引擎的以上不足,提出了面向主题的聚焦爬虫的研究。... 因特网的迅速发展对万维网信息的查找与发现提出了巨大的挑战。对于大多用户提出的与主题或领域相关的查询需求,传统的通用搜索引擎往往不能提供令人满意的结果网页。为了克服通用搜索引擎的以上不足,提出了面向主题的聚焦爬虫的研究。至今,聚焦爬虫已成为有关万维网的研究热点之一。文中对这一热点研究进行综述,给出聚焦爬虫(Focused Crawler)的基本概念,概述其工作原理;并根据研究的发展现状,对聚焦爬虫的关键技术(抓取目标描述,网页分析算法和网页搜索策略等)作系统介绍和深入分析。在此基础上,提出聚焦爬虫今后的一些研究方向,包括面向数据分析和挖掘的爬虫技术研究,主题的描述与定义,相关资源的发现,W eb数据清洗,以及搜索空间的扩展等。 展开更多
关键词 聚焦爬虫 信息检索 链接分析 文本检索 数据抽取 协作抓取 本体描述 元搜索
在线阅读 下载PDF
数据爬取的刑法规制 被引量:30
17
作者 孙杰 《政法论丛》 CSSCI 北大核心 2021年第3期115-125,共11页
以网络爬虫为代表的现代网络技术在带来数据分享与利用的公开性与便捷性的同时,也不可避免地伴随着技术滥用的风险。对此,"技术中立"的口号亦不能逾越法律的红线。从刑事法的角度,对于爬取数据行为需要从行为的"非法性&q... 以网络爬虫为代表的现代网络技术在带来数据分享与利用的公开性与便捷性的同时,也不可避免地伴随着技术滥用的风险。对此,"技术中立"的口号亦不能逾越法律的红线。从刑事法的角度,对于爬取数据行为需要从行为的"非法性"与对象的"层次性"两个维度进行规制。对于爬取行为的非法性,需要结合技术原理合理划定计算机的访问权限,并应注意反爬机制的规范目的与善意访问的除罪化;对于爬取数据的层次性,则需要注意数据与信息的层次区分与法益归属,厘清数据安全与信息安全的法益内涵,并对针对复数法益的一次性侵害行为适用想象竞合的原则予以处理。 展开更多
关键词 网络爬虫 数据爬取 刑事风险 刑法规制
在线阅读 下载PDF
基于“多看阅读”的电子书定价规律数据挖掘分析 被引量:2
18
作者 许洁 丁乐华 彭威 《信息资源管理学报》 CSSCI 2017年第1期89-96,共8页
以"多看阅读"电子书平台为例,通过网络数据爬取的方法调查了制作成本、电子书价格与相应的纸质书价格比对用户购买电子书的影响,证明成本因素对电子书价格影响不显著,电子书价格与与其对应的纸质书价格比会影响电子书销量,而... 以"多看阅读"电子书平台为例,通过网络数据爬取的方法调查了制作成本、电子书价格与相应的纸质书价格比对用户购买电子书的影响,证明成本因素对电子书价格影响不显著,电子书价格与与其对应的纸质书价格比会影响电子书销量,而且电子书定价存在一个合理区间,价格在此区间的电子书拥有较大的销量。在此基础上对电子书定价提出建议:不同主题类别的电子书应采取不同的定价,同一主题的电子书应采取分级定价,电子书定价应在合理区间。 展开更多
关键词 电子书 定价规律 数据爬取 多看
在线阅读 下载PDF
从权益保护到利益衡量:数据抓取行为正当性认定的路径优化 被引量:16
19
作者 卢代富 张煜琦 《河南财经政法大学学报》 CSSCI 2022年第6期59-70,共12页
我国法院在适用《反不正当竞争法》一般条款认定数据抓取行为的正当性中,普遍倾向于遵循一种带有传统侵权法色彩且偏重于对平台经营者数据利益保护的裁判路径,这种裁判路径容易引发数据权属界定的失衡现象。作为一种重视实质判断的法律... 我国法院在适用《反不正当竞争法》一般条款认定数据抓取行为的正当性中,普遍倾向于遵循一种带有传统侵权法色彩且偏重于对平台经营者数据利益保护的裁判路径,这种裁判路径容易引发数据权属界定的失衡现象。作为一种重视实质判断的法律解释方法论,利益衡量在对数据抓取行为所涉及的多种利益进行考量的同时,亦更加注重对数据抓取行为实际竞争效果的分析,以此确定对数据抓取行为的司法态度,进而谋求裁判所涉多方利益之间的平衡。在数据抓取纠纷案审理中进行利益衡量,要求以平台经营者利益、互联网消费者利益及社会公共利益等多元利益维度展开,以狭义比例原则作为利益权衡和取舍的工具,更加全面、客观地判断数据抓取行为的实际竞争效果以及由此决定的数据抓取行为的正当性。 展开更多
关键词 数据抓取 《反不正当竞争法》一般条款 利益衡量
在线阅读 下载PDF
一种通用分布式数据抓取系统的设计与实现 被引量:5
20
作者 潘庆和 《哈尔滨商业大学学报(自然科学版)》 CAS 2016年第3期307-312,共6页
设计并实现了一种通用的具有高可靠性和可扩展性的分布式网络数据抓取系统.给出了服务器和抓取节点的执行算法,并利用实时数据库Influx DB和可视化框架Grafana设计了抓取节点的性能监控系统.利用系统可以跟据需求对互联网的数据进行快... 设计并实现了一种通用的具有高可靠性和可扩展性的分布式网络数据抓取系统.给出了服务器和抓取节点的执行算法,并利用实时数据库Influx DB和可视化框架Grafana设计了抓取节点的性能监控系统.利用系统可以跟据需求对互联网的数据进行快速地抓取和收集. 展开更多
关键词 分布式网络系统 数据抓取 InfluxDB Grafana
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部