运用开源软件Logstash和ElasticSearch实现DSpace日志实时统计分析 被引量：5

1

作者 陈和 《现代图书情报技术》 CSSCI 2015年第5期88-93,共6页

【目的】设计并实现DSpace日志实时统计分析系统,满足用户各种实时统计需求,弥补DSpace自带统计功能的不足。【应用背景】受DSpace系统自身设计的限制,其自带的日志统计功能单一,表现形式僵化,不能实现交互式统计分析。【方法】运用Logs... 【目的】设计并实现DSpace日志实时统计分析系统,满足用户各种实时统计需求,弥补DSpace自带统计功能的不足。【应用背景】受DSpace系统自身设计的限制,其自带的日志统计功能单一,表现形式僵化,不能实现交互式统计分析。【方法】运用Logstash实时收集并分析DSpace日志,运用Elastic Search对分析后的日志进行索引,构建Query DSL查询调用Elastic Search的Java API实现不同的统计功能,并采用ECharts组件图形化展示结果。【结果】DSpace日志实时统计分析系统能够实现用户自定义时间区间统计条目、合集和社群的浏览排行,条目对象下载排行以及访问地区排行等。统计的结果可以以不同图表形式展现。【结论】运用Logstash和Elastic Search实现DSpace日志统计,不需要修改DSpace源代码,组件安装部署简单,实现人机互动式查询统计,统计结果快速且实时,结果展现形式多样。 展开更多

关键词 日志分析 DSPACE logstash ElasticSearch ECharts

原文传递

一种基于Logstash的高效数据处理方法 被引量：8

2

作者 张宏海 刘亚宁 《信息技术与信息化》 2022年第7期84-87,共4页

ELK平台是目前业界使用最广泛的日志数据处理平台,但Logstash在性能上有严重短板,无法进行复杂数据处理。为了更加高效、实时的处理生产系统中日益增长的海量日志数据,基于logstash系统,通过自定义的Ruby插件,实现一种高效数据处理的方... ELK平台是目前业界使用最广泛的日志数据处理平台,但Logstash在性能上有严重短板,无法进行复杂数据处理。为了更加高效、实时的处理生产系统中日益增长的海量日志数据,基于logstash系统,通过自定义的Ruby插件,实现一种高效数据处理的方法,解决了性能问题,并且可实现复杂数据处理。系统由三部分组成,分别是数据输入、数据处理和数据输出。数据输入和数据输出部分保留了Logstash丰富的插件功能以及其高可用的特点,可用不同的插件进行切换。数据处理部分使用Ruby脚本对所有数据进行定制化的数据处理,提高了Logstash的数据处理效率,在实际生产环境中,性能提升将近50%,增强了Logstash的数据处理能力,尤其是在复杂数据处理过程中,可同时产生多个事件,支持复杂的统计功能。 展开更多

关键词 ELK平台 日志数据 logstash系统 高性能 复杂数据处理

在线阅读 下载PDF 职称材料

基于ELK的日志系统性能优化 被引量：1

3

作者 叶惠仙 《电脑与信息技术》 2024年第1期113-115,共3页

在IT的运维与安全工作中,健全日志是帮助技术人员快速定位问题、分析故障原因以及优化系统的一个重要手段。在业务量大和并发量高的项目中,单节点的ELK会带来数据丢失、查询慢等问题。文章提出使用Elasticsearch集群和多节点logstash的... 在IT的运维与安全工作中,健全日志是帮助技术人员快速定位问题、分析故障原因以及优化系统的一个重要手段。在业务量大和并发量高的项目中,单节点的ELK会带来数据丢失、查询慢等问题。文章提出使用Elasticsearch集群和多节点logstash的解决方案,实现中大型系统的日志性能优化。 展开更多

关键词 性能优化 Elasticsearch集群 多节点logstash

在线阅读 下载PDF 职称材料

海量日志数据采集系统的设计与优化 被引量：9

4

作者 郭鹏程 李迎春 +1 位作者 付春燕 曹炳尧 《电子测量技术》 2018年第1期12-17,共6页

现阶段网络数据巨大,为了从大量数据中发现特定情况的规律与特征,大数据时代需要实现对海量数据信息的分析,而一切数据分析的前提与关键是数据采集的完整性。但是目前许多数据采集结构并没有实现性能最优化,没有最大限度发挥服务器的性... 现阶段网络数据巨大,为了从大量数据中发现特定情况的规律与特征,大数据时代需要实现对海量数据信息的分析,而一切数据分析的前提与关键是数据采集的完整性。但是目前许多数据采集结构并没有实现性能最优化,没有最大限度发挥服务器的性能,资源消耗大,那么从优化数据采集系统结构方向实现数据采集效率最大化,成为趋势。提出一种优化的数据采集结构,并通过其与原有简易结构对比分析,实测两者采集数据承载力,得到一种能够适应突发、并发网络环境的数据采集结构。 展开更多

关键词 数据采集 logstash 队列 大数据

原文传递

利用Kafka实现大话务并发数据流的吞吐系统 被引量：3

5

作者 唐颖淳 《电信科学》 2018年第S2期134-139,共6页

为了解决中国电信股份有限公司上海分公司的统一消息推送平台的数据吞吐量较低,无法满足新的业务需求的问题,采用流式数据处理技术实现了一种基于运营商的大话务业务系统构建模式。首先,在充分研究了业内实时流式处理技术的发展以及运... 为了解决中国电信股份有限公司上海分公司的统一消息推送平台的数据吞吐量较低,无法满足新的业务需求的问题,采用流式数据处理技术实现了一种基于运营商的大话务业务系统构建模式。首先,在充分研究了业内实时流式处理技术的发展以及运营商本身信令数据源的特点之后,确定以Kafka作为消息队列组件,在业务处理过程中为了提供毫秒级的数据流查询能力,采用了Redis组件提供基于内存的Key-Value引擎。另外,为实现平台的高可靠性及易维护性,采用Kafka+Elasticsearch+Logstash+Kiban实现了日志监控子系统。最后对应用情况进行分析,并对系统的进一步改进提出了建议。 展开更多

关键词 流处理 高吞吐量 高并发 Kafka REDIS Elasticsearch+logstash+Kibana

在线阅读 下载PDF 职称材料

基于Storm的涉油气犯罪实时检测系统的研究与应用

6

作者 张丽华 李宏博 +4 位作者 王健 张伟民 李欣欣 李娟 邵国强 《智能计算机与应用》 2023年第7期123-127,共5页

针对重点涉油气企业犯罪人群分布特性,构建一个分析模型至关重要。通过对比分析、经验总结及仿真实验等研究方法来全局掌握涉犯罪人群热度指数、分布密度等因素,并借助服务器和Storm等相关技术搭建数据处理平台,再基于Logstash构建热力... 针对重点涉油气企业犯罪人群分布特性,构建一个分析模型至关重要。通过对比分析、经验总结及仿真实验等研究方法来全局掌握涉犯罪人群热度指数、分布密度等因素,并借助服务器和Storm等相关技术搭建数据处理平台,再基于Logstash构建热力图,对数据具体位置结果进行判定,实现最终的设计及体系架构。经过本次构建研究,可以更精准地监测犯罪者,预判涉油气行业,尤其是在未来涉油气犯罪的总体趋势,充分发挥了数据处理的实时性,为涉油气企业资源犯罪的防控提供了相应的参考依据与保障。 展开更多

关键词 大数据处理 Storm技术 logstash 热力图 实时检测

在线阅读 下载PDF 职称材料

基于ELK的高校Web日志安全分析 被引量：2

7

作者 龚锦红 凌仕勇 《计算机时代》 2022年第11期38-42,共5页

为应对高校校园网的Web应用安全威胁,设计了基于ELK的日志安全威胁监测平台。首先对Web日志进行数据分析,挖掘其中的安全威胁攻击模式,形成安全监测模型库并将其应用于实时安全监测。系统运行结果证明,该平台可以发现校园网中的安全威胁... 为应对高校校园网的Web应用安全威胁,设计了基于ELK的日志安全威胁监测平台。首先对Web日志进行数据分析,挖掘其中的安全威胁攻击模式,形成安全监测模型库并将其应用于实时安全监测。系统运行结果证明,该平台可以发现校园网中的安全威胁,可视化关联分析便捷,能有效地提高运维效率和安全攻击排查的速度。 展开更多

关键词 日志安全 序列模式 ELK logstash

在线阅读 下载PDF 职称材料

基于ElasticSearch的重复报警识别系统设计与实现 被引量：4

8

作者 相银堂 祁骏 +1 位作者 许锦程 郭乔进 《工业控制计算机》 2021年第1期90-92,95,共4页

为了解决接处警工作中存在大量重复报警和传统数据库检索效率低下、匹配度单一等问题,设计并实现一种以ElasticSearch全文检索技术为核心,结合LogStash、Redis、SpringBoot等技术的重复报警识别系统。该系统利用LogStash工具将原始数据... 为了解决接处警工作中存在大量重复报警和传统数据库检索效率低下、匹配度单一等问题,设计并实现一种以ElasticSearch全文检索技术为核心,结合LogStash、Redis、SpringBoot等技术的重复报警识别系统。该系统利用LogStash工具将原始数据从MySQL同步到ElasticSearch中,使用Redis缓存用户信息与热点数据,采用SpringBoot实现后端数据读取,通过VUE框架进行前端结果展示。测试结果表明,该系统相比传统数据库在检索响应时间方面有明显缩短,显著提高了相似警情的识别能力,可为接警员及时发现重复报警提供支撑。 展开更多

关键词 ElasticSearch 重复报警 Redis logstash 接处警

在线阅读 下载PDF 职称材料

上海人社电子证照系统架构设计 被引量：2

9

作者 谷宁静 《计算机应用与软件》 北大核心 2020年第6期24-28,共5页

为了进一步推进《"互联网+政务服务"技术体系》统一要求,上海市人力资源和社会保障局电子证照库采用顶层设计、统一标准、统一平台模式建设。详细介绍电子证照系统的架构设计和关键技术框架,通过引入服务化架构,提高业务复用... 为了进一步推进《"互联网+政务服务"技术体系》统一要求,上海市人力资源和社会保障局电子证照库采用顶层设计、统一标准、统一平台模式建设。详细介绍电子证照系统的架构设计和关键技术框架,通过引入服务化架构,提高业务复用及整合。系统利用Dubbo设计分布式服务框架,采用ELK开源日志解决方案的Logstash工具用来统一日志的搜集、分析、过滤日志,采用jenkins自动化部署平台。实际应用证明了该设计的合理性和安全性,给公众带来极大的方便性。 展开更多

关键词 电子证照 Dubbo ELK logstash

在线阅读 下载PDF 职称材料

基于ElasticSearch的科技资源检索系统的研究与实现 被引量：8

10

作者 柳帆 《现代计算机》 2021年第26期93-100,共8页

针对科技行业中传统数据库检索无法满足海量、异构科技资源数据高速分布式检索的问题,提出了基于ElasticSearch的科技资源分布式搜索引擎的构建方法,并以ElasticSearch技术为核心,结合LogStash、Redis等多门技术,实现了科技资源检索系... 针对科技行业中传统数据库检索无法满足海量、异构科技资源数据高速分布式检索的问题,提出了基于ElasticSearch的科技资源分布式搜索引擎的构建方法,并以ElasticSearch技术为核心,结合LogStash、Redis等多门技术,实现了科技资源检索系统。系统使用LogStash将数据库中的标准化数据同步到ElasticSearch,再通过SpringBoot读取后端数据,VUE框架展示前端数据,Redis缓存热搜信息和用户信息。测试结果表明,与传统数据库检索相比,该系统的检索响应时间明显缩短,检索结果全面,能够满足科技资源数据检索的需要。 展开更多

关键词 ElasticSearch 科技资源 logstash 分布式搜索 搜索引擎

在线阅读 下载PDF 职称材料

基于ELK的高校校园网日志平台研究 被引量：6

11

作者 周德荣 《赤峰学院学报（自然科学版）》 2019年第10期45-47,共3页

日志数据是IT基础设施运行情况的真实反映,是IT运维管理与网络安全分析的基础.本文介绍了高校校园网日志主要来源,分析了构建日志分析平台的关键技术,提出了基于ELK开源软件构建高校校园网日志平台,给出了高校校园网日志平台设计方案.... 日志数据是IT基础设施运行情况的真实反映,是IT运维管理与网络安全分析的基础.本文介绍了高校校园网日志主要来源,分析了构建日志分析平台的关键技术,提出了基于ELK开源软件构建高校校园网日志平台,给出了高校校园网日志平台设计方案.该方案以高校校园网为研究对象,实现校园网原始日志采集、日志存储、日志可视化分析功能,具有实时性好、可扩展性强、成本低等优点. 展开更多

关键词 日志采集 日志存储 日志可视化 logstash

在线阅读 下载PDF 职称材料

一种改进的OpenStack云平台日志收集系统 被引量：1

12

作者 张文燕 张浩 张进涛 《电子技术与软件工程》 2020年第22期153-155,共3页

本文通过分析对比轻量级日志收集组件Fluentd与Logstash的功能和性能优缺点,采用Fluentd替换Logstash应用于OpenStack云平台,在不影响日志采集和解析功能的前提下,CPU占用率减少了50%,内存占用率减少了85%,优化效果显著。

关键词 日志收集 分布式系统 OPENSTACK Elastic Stack logstash Fluentd

在线阅读 下载PDF 职称材料

基于ElasticSearch的车型搜索引擎在保险系统中的设计和实现

13

作者 刘晓强 《电脑与电信》 2019年第5期51-55,63,共6页

随着保险行业信息化规模的不断扩大,各垂直领域的业务数据越来越多,不可避免地给传统结构化数据库在存储和查询效率方面带来了巨大挑战。如何实现数据的冗余备份和快速、高效查询已成为企业信息技术的一大难题。本文提出一种基于Elastic... 随着保险行业信息化规模的不断扩大,各垂直领域的业务数据越来越多,不可避免地给传统结构化数据库在存储和查询效率方面带来了巨大挑战。如何实现数据的冗余备份和快速、高效查询已成为企业信息技术的一大难题。本文提出一种基于ElasticSearch的车型分布式搜索引擎,同时结合Logstash进行数据收集,实现车型数据的过滤存储和索引,并为保险出单系统提供统一的查询入口和高效的检索服务。实践表明,该系统可实现数据的冗余备份并提高检索车型数据的效率,目前已经在保险行业核心系统得到实际应用,取得了较好效果。 展开更多

关键词 ElasticSearch 分布式搜索引擎 logstash 集群模式

在线阅读 下载PDF 职称材料

海量日志分析在浙江电力的应用与实践 被引量：4

14

作者 蒋鸿城 陈可 +2 位作者 耿继朴 戚伟强 沈志豪 《浙江电力》 2017年第12期27-32,共6页

随着近几年国内信息化水平不断提高,国网浙江电力主机、网络等设备数量急剧上升,业务系统的访问和操作量也迅速增加,传统的日志审计系统在应对超大规模海量日志的存储和分析时能力明显不足。针对海量日志采集、处理的需求,结合国网浙江... 随着近几年国内信息化水平不断提高,国网浙江电力主机、网络等设备数量急剧上升,业务系统的访问和操作量也迅速增加,传统的日志审计系统在应对超大规模海量日志的存储和分析时能力明显不足。针对海量日志采集、处理的需求,结合国网浙江省电力公司的实际情况,提出了一种基于开源ElasticSearch(弹性搜索)和Logstash(日志采集)的统一日志分析系统,并整合强隔离装置、toprowMQ消息队列、Kafka消息队列、Spark Streaming流数据处理框架,保证数据的安全性、可靠性和实时性。最后,通过日志分析系统在国网浙江电力的应用情况,验证了该系统的功能。 展开更多

关键词 统一日志分析系统 海量日志 弹性搜索 日志采集

在线阅读 下载PDF 职称材料