基于大数据平台和ClickHouse的制造业数据资产建设和数据决策系统的设计和实现

1

作者 张晶晶 《数字技术与应用》 2025年第8期108-110,共3页

在工业4.0浪潮下,物联网、云计算等技术推动制造业数字化转型,但数据爆炸式增长与数据孤岛问题凸显,制约企业发展。针对这一难题,本文提出基于大数据平台与ClickHouse的制造业数据资产建设和数据决策系统方案。本文以实际业务数据为基础... 在工业4.0浪潮下,物联网、云计算等技术推动制造业数字化转型,但数据爆炸式增长与数据孤岛问题凸显,制约企业发展。针对这一难题,本文提出基于大数据平台与ClickHouse的制造业数据资产建设和数据决策系统方案。本文以实际业务数据为基础,搭建数据采集、清洗、存储、应用的完整技术架构。采用DataX采集业务系统数据,通过Hadoop大数据平台的Hive表进行存储,经清洗与数据仓库分层建设形成数据资产,为管理决策提供有力支撑。在应用层面,结合帆软BI可视化软件与ClickHouse高性能列式数据库,提升数据查询效率,支持业务人员自主开发决策系统。该方案为制造业数据资产建设和业务决策提供了有效的技术路径和参考方案。 展开更多

关键词 数据决策 数据资产 制造业 数据采集 clickhouse 物联网

在线阅读 下载PDF 职称材料

基于Clickhouse的煤矿工业大数据标准化方法研究

2

作者 崔智明 《山西焦煤科技》 2025年第10期5-9,共5页

智慧煤矿数据多源异构特性显著、数据质量参差不齐、数据体量呈指数增长的典型特征,影响后续数据利用的准确性,制约了后续数据分析利用的效率。因此,设计了一种基于Clickhouse的煤矿工业大数据标准化研究方法。该方法的整体技术架构由... 智慧煤矿数据多源异构特性显著、数据质量参差不齐、数据体量呈指数增长的典型特征,影响后续数据利用的准确性,制约了后续数据分析利用的效率。因此,设计了一种基于Clickhouse的煤矿工业大数据标准化研究方法。该方法的整体技术架构由数据接入模块、数据处理模块、数据存储模块、数据开放模块组成。通过实验和现场应用验证了该技术可以实现智能煤矿海量数据的高并发接入、实时标准化处理、高效合理存储、安全开放,提高了智慧煤矿的数据质量,为后续数据的分析利用提供高质量的数据底座。 展开更多

关键词 智慧煤矿 海量数据 clickhouse 数据标准化 数据利用

在线阅读 下载PDF 职称材料

基于ClickHouse的AIS存储系统设计与实现

3

作者 丁锐恒 《中国水运》 2025年第4期36-37,40,共3页

随着船舶水运的发展,AIS数据规模急剧增长。针对目前关系型数据库无法高效存储使用AIS数据的问题,提出了AIS数据存储系统,系统以ClickHouse列式数据库为基础主要分为接收模块、处理模块以及写入模块,借助列式存储的优势,本系统可实现高... 随着船舶水运的发展,AIS数据规模急剧增长。针对目前关系型数据库无法高效存储使用AIS数据的问题,提出了AIS数据存储系统,系统以ClickHouse列式数据库为基础主要分为接收模块、处理模块以及写入模块,借助列式存储的优势,本系统可实现高效的AIS数据查询。测试表明,AIS存储系统能够有效提高AIS数据的查询使用效率,千万级数量下查询效率约是MySQL的43倍。 展开更多

关键词 AIS数据 列式数据库 存储系统 clickhouse

在线阅读 下载PDF 职称材料

分析数据库ClickHouse在国家地球物理台网中心的应用 被引量：7

4

作者 王军 黄经国 +2 位作者 余丹 纪寿文 王方建 《地震研究》 CSCD 北大核心 2023年第2期308-314,共7页

面对日益增长的地球物理观测数据,传统的Oracle数据库已经力不从心。根据地球物理历史数据可大量被读取的使用特点,通过技术选型,以具备横向扩展能力的分布式OLAP数据库ClickHouse作为数据底座,重新设计适用于ClickHouse的地球物理观测... 面对日益增长的地球物理观测数据,传统的Oracle数据库已经力不从心。根据地球物理历史数据可大量被读取的使用特点,通过技术选型,以具备横向扩展能力的分布式OLAP数据库ClickHouse作为数据底座,重新设计适用于ClickHouse的地球物理观测数据表结构。经过全库迁移、增量迁移和数据对比,国家地球物理台网中心的Oracle数据库中约13 TB的数据已经迁移到ClickHouse并每日更新。实际测试表明:ClickHouse显著提升数据读写性能,增强了数据统计查询能力,并且通过多副本保证了数据库的一致性和安全性。 展开更多

关键词 clickhouse 大数据 地球物理台网 观测数据

在线阅读 下载PDF 职称材料

基于分布式数据库ClickHouse的大数据平台在执法检查中的应用实践

5

作者 吴莹 倪立显 《金融科技时代》 2024年第2期74-77,共4页

为解决现场检查中人工比对效率低、检查数据处理困难等问题,人民银行江苏省分行总结近年来对接入机构执法检查的经验,探索研发了基于分布式数据库的现场综合执法检查平台。该平台实现了亿级业务检查数据的入库、查询、分析和筛查等各项... 为解决现场检查中人工比对效率低、检查数据处理困难等问题,人民银行江苏省分行总结近年来对接入机构执法检查的经验,探索研发了基于分布式数据库的现场综合执法检查平台。该平台实现了亿级业务检查数据的入库、查询、分析和筛查等各项功能,能够较好地满足现场检查的实务需求,有效提升执法检查工作的质效。 展开更多

关键词 金融科技 分布式数据库 clickhouse 执法检查

在线阅读 下载PDF 职称材料

基于ClickHouse的5G专网感知系统的设计和实现 被引量：1

6

作者 张峰 冯毅 +2 位作者 赵越 张勍 罗贤魁 《信息与电脑》 2022年第17期152-154,共3页

随着联通集约化5G专网管理平台的建设和发展,系统承载的设备日益增多,设备产生的外部数据表示法(ExternalDataRepresentation,XDR)话单也相应持续增加。现有平台中的网络感知系统采用了以MySQL为主的传统软件结构,越来越不适用于大数据... 随着联通集约化5G专网管理平台的建设和发展,系统承载的设备日益增多,设备产生的外部数据表示法(ExternalDataRepresentation,XDR)话单也相应持续增加。现有平台中的网络感知系统采用了以MySQL为主的传统软件结构,越来越不适用于大数据场景。因此,5G专网管理平台提出了以ClickHouse列式数据库为引擎的网络质量实时分析架构,以满足系统功能和性能需要。 展开更多

关键词 5G专网 网络感知 大数据 clickhouse

在线阅读 下载PDF 职称材料

基于ClickHouse的版本化数据迁移方法 被引量：8

7

作者 陈洪健 季健 +1 位作者 洪帅 钱叶 《计算机应用》 CSCD 北大核心 2022年第S02期105-110,共6页

针对ClickHouse进行数据迁移过程中存在的业务开发周期较长、数据空窗和集群性能下降的问题,提出了一种版本化的数据迁移方法。首先采用参数化配置模式提升开发人员在不同业务场景下的开发效率;其次,利用ClickHouse中的原生ATTACH方法... 针对ClickHouse进行数据迁移过程中存在的业务开发周期较长、数据空窗和集群性能下降的问题,提出了一种版本化的数据迁移方法。首先采用参数化配置模式提升开发人员在不同业务场景下的开发效率;其次,利用ClickHouse中的原生ATTACH方法在源数据表和目标表之间构建一张版本表,保证数据迁移过程对用户无感知;接着,通过数据预处理以及对集群状态的实时监控,选择负载最小的副本方法来减少集群负担;此外,还加入验数逻辑和分片级的数据回滚功能来保证数据准确性。在广泛使用的业务生产场景中进行亿级数据的迁移测试对比,结果表明,该方法优于市面上最先进的技术,在硬件设备相同的情况下数据迁移时间缩短90%以上。 展开更多

关键词 clickhouse 数据迁移 参数化配置 版本化 验数机制

在线阅读 下载PDF 职称材料

Clickhouse在采油厂数据湖技术生态中的应用前景 被引量：1

8

作者 任明浩 《电脑知识与技术》 2022年第21期15-17,25,共4页

在数据量日益增长的当下,传统数据库的查询性能已满足不了业务需求。近年来大量开源架构为探索流批一体实时数仓的大数据研发工程师提供了丰富的资源,同时也增加了工程师在学习成本、框架的多样化和复杂度等方面选择合适工具的难度。此... 在数据量日益增长的当下,传统数据库的查询性能已满足不了业务需求。近年来大量开源架构为探索流批一体实时数仓的大数据研发工程师提供了丰富的资源,同时也增加了工程师在学习成本、框架的多样化和复杂度等方面选择合适工具的难度。此情景下,整合开源框架、工具、库、平台势在必行。该文引入Clickhouse数据库管理系统,并在数字化油田构建实时数仓的建设中构想其应用前景。 展开更多

关键词 OLAP 大数据 clickhouse

在线阅读 下载PDF 职称材料

基于ClickHouse的用户事件分析系统的设计与实现 被引量：8

9

作者 李亚臣 《信息与电脑》 2021年第9期87-90,共4页

在大数据时代,随着数据越来越多,基于传统数据库的商业智能(Business Intelligence,BI)系统,在查询、分析数据时会存在查询效率慢、查询超时、拖垮数据库等问题,因此有必要引入新型BI系统.笔者首先介绍了传统BI系统的起源和劣势,论述了... 在大数据时代,随着数据越来越多,基于传统数据库的商业智能(Business Intelligence,BI)系统,在查询、分析数据时会存在查询效率慢、查询超时、拖垮数据库等问题,因此有必要引入新型BI系统.笔者首先介绍了传统BI系统的起源和劣势,论述了基于ClickHouse新型BI的优势,并根据企业业务的实际情况,采用ClickHouse作为新型BI的存储引擎,对其进行架构设计、功能设计、程序实现. 展开更多

关键词 React GO clickhouse BI系统

在线阅读 下载PDF 职称材料

基于ClickHouse的实时数据仓库的基础架构研究 被引量：4

10

作者 蒋雷 白伟丽 李小红 《现代计算机》 2024年第11期91-95,共5页

随着移动互联网技术的进步,用户对网购参与程度的提高,电商企业每天、甚至每小时都在收获大量用户行为日志和业务数据,传统实时计算系统已无法满足对这些日志和业务数据进行在线分析和实时性统计。在该项需求的启发下,基于分层设计理念... 随着移动互联网技术的进步,用户对网购参与程度的提高,电商企业每天、甚至每小时都在收获大量用户行为日志和业务数据,传统实时计算系统已无法满足对这些日志和业务数据进行在线分析和实时性统计。在该项需求的启发下,基于分层设计理念对用户行为数据实时处理的基础型架构进行研究,以期在面对大量实时计算时,通过沉淀中间结果的方式提高计算复用性,降低开发成本。该架构采用实时分析型列式数据库ClickHouse和Flink实时流式处理框架作为核心技术,通过实时计算获得天级、分钟级、秒级甚至亚秒级数据,便于企业对业务进行快速反应和调整,满足新时代下的实时计算需求。 展开更多

关键词 clickhouse 实时计算架构 Flink 大数据

在线阅读 下载PDF 职称材料

基于ClickHouse的实时数仓实践 被引量：2

11

作者 秦宁 《数字通信世界》 2023年第7期22-24,共3页

随着信息时代的到来,数据量急剧增长,如何高效地处理和分析数据成为各个行业面临的重要问题。实时数仓作为一种高效的数据处理和分析方案,受到了越来越多企业和机构的青睐。文章介绍了基于ClickHouse的实时数仓实践,并阐述了Flink与Clic... 随着信息时代的到来,数据量急剧增长,如何高效地处理和分析数据成为各个行业面临的重要问题。实时数仓作为一种高效的数据处理和分析方案,受到了越来越多企业和机构的青睐。文章介绍了基于ClickHouse的实时数仓实践,并阐述了Flink与ClickHouse的集成方式及其优点。ClickHouse作为一款高速的列式存储数据库,在实现实时数仓时具有优秀的性能和扩展性。Flink作为一款高性能的流式计算框架,提供了丰富的API和工具,可以方便地对实时数据进行处理和分析。将ClickHouse和Flink集成,可以实现高效的实时数据处理和分析,为企业提供更加准确、实时的数据支持。文章通过一个实际的案例,详细介绍了如何使用ClickHouse和Flink构建实时数仓。 展开更多

关键词 clickhouse Flink 实时数仓 流式计算

在线阅读 下载PDF 职称材料

京东零售基于ClickHouse的增量刷岗方法

12

作者 季健 洪帅 +2 位作者 陈洪健 钱叶 刘传耀 《计算机应用》 CSCD 北大核心 2024年第S01期199-203,共5页

刷岗是对某个最小存货单位(SKU)对应的岗位等维度字段发生变更,按照最新的SKU岗位等维度数据回溯、覆写的过程,刷岗这一行为在典型的电商企业(京东(JD)、淘宝)较为常见。针对京东零售业务场景下明细表和维表数据量庞大导致刷岗操作的运... 刷岗是对某个最小存货单位(SKU)对应的岗位等维度字段发生变更,按照最新的SKU岗位等维度数据回溯、覆写的过程,刷岗这一行为在典型的电商企业(京东(JD)、淘宝)较为常见。针对京东零售业务场景下明细表和维表数据量庞大导致刷岗操作的运行时间过长的问题,提出一种基于ClickHouse的增量刷岗方法。首先,将维度表加载为ClickHouse字典表,采用明细表关联ClickHouse字典表的方法进行刷岗;其次,采用增量刷岗方法取代传统全量刷岗的形式,不仅提升刷岗效率,同时减少刷岗带来的集群资源消耗;最后,加入验数逻辑和并发控制机制保证数据准确性和集群的稳定。将该技术与传统的刷岗技术在实际业务生产场景中进行亿级数据的刷岗测试对比,实验结果表明,在硬件设备相同的情况下,提出的增量刷岗方法刷岗时间缩短80%,集群资源(CPU、内存)的使用减少50%,显著提高刷海量数据岗效率。 展开更多

关键词 clickhouse 岗位维表 增量刷岗方法 版本化数据迁移 验数机制

在线阅读 下载PDF 职称材料

基于ClickHouse技术的诈骗电话治理实践应用

13

作者 聂俊齐 唐子文 柯幸含 《网络安全技术与应用》 2025年第9期137-138,共2页

ClickHouse具备数据高效压缩、多核并行处理、分布式处理、向量化引擎、支持SQL、实时数据更新、支持近似计算等特点,最大的优势在于处理能力强、执行速度快。本文基于ClickHouse设计一套诈骗电话治理系统,实践应用表明,该方法能够提高... ClickHouse具备数据高效压缩、多核并行处理、分布式处理、向量化引擎、支持SQL、实时数据更新、支持近似计算等特点,最大的优势在于处理能力强、执行速度快。本文基于ClickHouse设计一套诈骗电话治理系统,实践应用表明,该方法能够提高诈骗电话治理效率,有效管控诈骗电话风险。 展开更多

关键词 clickhouse 诈骗电话治理

原文传递

数字化转型背景下高校实验资源管理评价的设计与实践

14

作者 蔡吉刚 夏凌云 李根田 《微型电脑应用》 2025年第12期122-126,共5页

数字化正以前所未有的力量在引领、撬动并赋能现代化进程,已成为高校推进治理体系与治理能力现代化的重要手段。高校实验用房、大型仪器设备等核心资源长期存在分配不合理、使用效率低下的问题,根本症结在于缺乏能够完整、准确、实时反... 数字化正以前所未有的力量在引领、撬动并赋能现代化进程,已成为高校推进治理体系与治理能力现代化的重要手段。高校实验用房、大型仪器设备等核心资源长期存在分配不合理、使用效率低下的问题,根本症结在于缺乏能够完整、准确、实时反映资源配置和使用状态的基本数据支撑。针对该问题,提出并构建一种基于大数据技术的高校实验资源可视化分析平台,该平台通过深入挖掘并释放数据要素价值,实现了对资源配置状态的精准刻画,为推动校内部门高效协同、优化学校资源配置、提升实验用房综合治理水平提供了可行的解决方案与实践路径。 展开更多

关键词 高校实验资源分配 伴随式数据采集 数据仓库 clickhouse 数据可视化

在线阅读 下载PDF 职称材料

基于Flink的工业大数据实时数仓的设计与实现

15

作者 丁肖 陈辉 +2 位作者 耿兴隆 张艳敏 吴卫宏 《科技传播》 2025年第5期24-27,共4页

探讨基于Flink的工业大数据实时数仓的设计与实现,详细阐述系统架构设计,介绍各层的关键技术实现,如数据源的传输协议要求、数据中间件的技术实现、数据处理层的雪花模型和分层架构设计、数据存储的选择等。同时,针对实时数仓中的数据... 探讨基于Flink的工业大数据实时数仓的设计与实现,详细阐述系统架构设计,介绍各层的关键技术实现,如数据源的传输协议要求、数据中间件的技术实现、数据处理层的雪花模型和分层架构设计、数据存储的选择等。同时,针对实时数仓中的数据可靠性问题,提出了切实可行的解决方案,并对未来加以展望。 展开更多

关键词 Flink Kafka Topic 雪花模型 clickhouse

在线阅读 下载PDF 职称材料

OLAP技术在实时反欺诈业务中的应用

16

作者 陈晓 涂益铭 张欣 《IT经理世界》 2025年第1期20-22,共3页

近年来,电信诈骗案件呈现复杂化、多态化、动态化的趋势,传统反欺诈策略逐渐失效。本文以某电信公司反欺诈实践为例,详细探讨OLAP技术在实时反欺诈业务中的应用。通过整合Flink流处理、ClickHouse列式数据库和Kafka消息队列等技术,构建... 近年来,电信诈骗案件呈现复杂化、多态化、动态化的趋势,传统反欺诈策略逐渐失效。本文以某电信公司反欺诈实践为例,详细探讨OLAP技术在实时反欺诈业务中的应用。通过整合Flink流处理、ClickHouse列式数据库和Kafka消息队列等技术,构建具备实时分析能力的反欺诈系统,从架构设计、数据模型构建到应用效果进行全面分析。研究表明,该系统显著提升了反诈工作的效率与灵活性,降低了资源消耗,为实现精准、动态的反欺诈策略提供了可行方案。 展开更多

关键词 OLAP技术 实时反欺诈 大数据处理 clickhouse 动态风控

原文传递

轻量级海量时空数据处理分析服务框架 被引量：1

17

作者 何红 张辉 《指挥信息系统与技术》 2022年第5期88-92,共5页

为提升海上船舶态势监控信息化水平,构建了轻量级海量时空数据处理分析服务框架。采用PostgreSQL数据库存储大批量实时动态目标,结合时空索引构建实时目标数据服务和船舶分布绿点图服务,采用ClickHouse数据库存储海量目标航迹数据,结合... 为提升海上船舶态势监控信息化水平,构建了轻量级海量时空数据处理分析服务框架。采用PostgreSQL数据库存储大批量实时动态目标,结合时空索引构建实时目标数据服务和船舶分布绿点图服务,采用ClickHouse数据库存储海量目标航迹数据,结合数据聚合等技术构建历史轨迹调取服务和统计分析数据服务,从而为业务系统提供实时目标获取、船舶分布显示、历史轨迹调阅和动态划线划区统计等服务。该服务框架具有性能高、适应性强和扩展灵活等特征,可用于客户端/服务器端(C/S)系统、浏览器端/服务器端(B/S)系统、手机应用程序(App)和轻应用等。 展开更多

关键词 POSTGRESQL数据库 clickhouse数据库 时空索引 数据聚合

在线阅读 下载PDF 职称材料

大规模空间轨迹数据管理方法研究 被引量：5

18

作者 江翠云 吴然 方杰 《地理空间信息》 2021年第6期35-38,I0001,共5页

设计了基于新型大数据管理框架ClickHouse的空间轨迹大数据管理方案,以Geohash编码规则为内部空间轨迹数据的空间索引生成方式,同时将Geohash编码特性运用到大规模轨迹数据的检索方案设计中。通过AIS船舶轨迹数据与传统的PostGIS空间数... 设计了基于新型大数据管理框架ClickHouse的空间轨迹大数据管理方案,以Geohash编码规则为内部空间轨迹数据的空间索引生成方式,同时将Geohash编码特性运用到大规模轨迹数据的检索方案设计中。通过AIS船舶轨迹数据与传统的PostGIS空间数据存储框架进行数据管理与检索的效率对比,验证本文框架的优越性能。 展开更多

关键词 空间大数据 clickhouse数据库 Geohash编码 空间检索

在线阅读 下载PDF 职称材料

基于电网调度域设备监测实时数据采集的实现方法 被引量：3

19

作者 张雄宝 阮诗迪 +3 位作者 唐羿轩 何伊妮 曹伟 叶桂南 《数字技术与应用》 2019年第8期36-38,40,共4页

本文介绍一种基于电网调度域设备监测实时数据采集的实现方法。通过分布式任务调度技术、实时流数据处理技术和海量时间序列数据库技术,解决电网调度域设备监测实时数据采集不及时且与业务管理数据无法互通的问题,实现电网调度域设备监... 本文介绍一种基于电网调度域设备监测实时数据采集的实现方法。通过分布式任务调度技术、实时流数据处理技术和海量时间序列数据库技术,解决电网调度域设备监测实时数据采集不及时且与业务管理数据无法互通的问题,实现电网调度域设备监测数据的实时采集、处理和存储。 展开更多

关键词 电网运行监控系统 实时数据采集 clickhouse时序数据库 kafka集群 分布式任务调度技术

在线阅读 下载PDF 职称材料

基于特定场景的大数据实时分析平台的设计与实现 被引量：1

20

作者 曾小松 张路 《信息技术与标准化》 2022年第7期22-27,共6页

为了解决单表数据记录条数在亿级以上的数据实时统计分析问题,针对聚合运算后的结果数据记录数量显著少于原始记录数量的一类特定场景,提出构建大数据实时分析平台的方案。通过对比流式架构、Lambda架构、Kappa架构、Unifield架构等4种... 为了解决单表数据记录条数在亿级以上的数据实时统计分析问题,针对聚合运算后的结果数据记录数量显著少于原始记录数量的一类特定场景,提出构建大数据实时分析平台的方案。通过对比流式架构、Lambda架构、Kappa架构、Unifield架构等4种主流数据处理架构的优缺点,提出选择Kappa架构,并基于Apache Flink计算引擎来构建大数据实时分析平台,并通过全量数据全运算(会定期运行)、增量数据实时运算两个流处理过程来实现。该方案设计了3种运算结果存储方案,以满足不同应用情形下对最终运算结果的查询效率要求。 展开更多

关键词 大数据 实时分析 KAPPA 架构 Flink NOSQL clickhouse

在线阅读 下载PDF 职称材料