期刊文献+
共找到134篇文章
< 1 2 7 >
每页显示 20 50 100
基于Flink的高效数据转移方案的研究
1
作者 蒋廷波 程胜 +1 位作者 黄鹏 王浩 《电脑编程技巧与维护》 2025年第7期104-107,共4页
在当今信息化高速发展的时代,数据已成为企业运营的核心资产。高效地实现数据转移与流通,对于提升企业运营效率、优化决策制定至关重要。在提出了一种创新的数据转移应用设计方案,该方案能够灵活应对多样化的数据源、自定义转移方式及目... 在当今信息化高速发展的时代,数据已成为企业运营的核心资产。高效地实现数据转移与流通,对于提升企业运营效率、优化决策制定至关重要。在提出了一种创新的数据转移应用设计方案,该方案能够灵活应对多样化的数据源、自定义转移方式及目标,同时具备强大的监控与补数能力,确保数据转移的高效性、可靠性和可配置性。 展开更多
关键词 flink框架 flinkSQL组件 Kafka平台
在线阅读 下载PDF
基于Flink的煤矿经营业务大数据协同模型研究 被引量:1
2
作者 王冀宁 袁冠 +1 位作者 庄晓宝 赵艳玲 《现代矿业》 2025年第1期19-23,40,共6页
煤矿的经营业务是企业的核心工作之一,关系到煤矿企业的运营效率、盈利能力以及长期发展,但煤矿经营在数据上深度依赖采掘、销售、运输、客户等。为了提升煤矿企业经营业务水平,助力企业高质量发展,从煤矿企业经营类业务系统的数据集成... 煤矿的经营业务是企业的核心工作之一,关系到煤矿企业的运营效率、盈利能力以及长期发展,但煤矿经营在数据上深度依赖采掘、销售、运输、客户等。为了提升煤矿企业经营业务水平,助力企业高质量发展,从煤矿企业经营类业务系统的数据集成与业务协同问题入手,首先分析煤矿企业以产、选、销、运为代表的经营类业务信息化建设状况,调研煤矿企业经营业务各环节的协同需求;其次研究了各业务系统数据间的关系;最后研究了基于Flink框架的数据存储与流式计算技术,设计了煤矿企业经营业务大数据协同模型,并在淮北矿业股份有限公司成功应用,验证了模型的有效性。研究结果为煤矿企业提升经营业务水平提供技术支撑和决策参考。 展开更多
关键词 煤矿经营业务 flink 大数据协同模型 数据集成
在线阅读 下载PDF
用于状态监测与诊断的Flink流式处理系统
3
作者 施建明 《计算机应用与软件》 北大核心 2025年第2期391-397,共7页
为提升基于设备监测数据流开展故障诊断的能力,设计开发Flink流式处理系统。构建多通道传感器数据分布式并行处理的数据流处理流程,开发流程中包含各类算子,从而将监测数据流转化成诊断结果数据流。搭建Flink集群,开展系统功能和性能测... 为提升基于设备监测数据流开展故障诊断的能力,设计开发Flink流式处理系统。构建多通道传感器数据分布式并行处理的数据流处理流程,开发流程中包含各类算子,从而将监测数据流转化成诊断结果数据流。搭建Flink集群,开展系统功能和性能测试,结果表明:系统延迟时间<1 ms,数据处理完整率为100%,乱序数据恢复率为100%,job manager、task manager故障自动恢复时间分别为62 s、26 s。基于Flink的设备状态监测与诊断系统满足低延迟、精确一次一致性、可容错的要求。 展开更多
关键词 flink 流式计算 水位线 检查点
在线阅读 下载PDF
基于Flink的工业大数据实时数仓的设计与实现
4
作者 丁肖 陈辉 +2 位作者 耿兴隆 张艳敏 吴卫宏 《科技传播》 2025年第5期24-27,共4页
探讨基于Flink的工业大数据实时数仓的设计与实现,详细阐述系统架构设计,介绍各层的关键技术实现,如数据源的传输协议要求、数据中间件的技术实现、数据处理层的雪花模型和分层架构设计、数据存储的选择等。同时,针对实时数仓中的数据... 探讨基于Flink的工业大数据实时数仓的设计与实现,详细阐述系统架构设计,介绍各层的关键技术实现,如数据源的传输协议要求、数据中间件的技术实现、数据处理层的雪花模型和分层架构设计、数据存储的选择等。同时,针对实时数仓中的数据可靠性问题,提出了切实可行的解决方案,并对未来加以展望。 展开更多
关键词 flink Kafka Topic 雪花模型 ClickHouse
在线阅读 下载PDF
基于Flink的智慧社区数据分析系统设计与实现
5
作者 董隶鋆 卿粼波 +2 位作者 冯田 毛建国 赵炜 《智能计算机与应用》 2025年第2期52-58,共7页
本文设计了一种基于Apache Flink的智慧社区数据分析系统,该系统涵盖数据集成、存储、处理及应用四大层次,以满足智慧社区对多源数据高效处理的需求。该系统充分发挥Flink的分布式处理与流处理优势,对接并高效处理来自社区的多样化数据... 本文设计了一种基于Apache Flink的智慧社区数据分析系统,该系统涵盖数据集成、存储、处理及应用四大层次,以满足智慧社区对多源数据高效处理的需求。该系统充分发挥Flink的分布式处理与流处理优势,对接并高效处理来自社区的多样化数据,包括结构化、半结构化及非结构化数据,实现数据的实时转换与加载,确保了数据的时效性与准确性;数据处理核心环节,系统深度融合Flink的ETL(Extract, Transform, Load)处理方法,不仅为社区管理者构建了一套闭环式的数据处理过程,还提供了一套完整的实时数据分析解决方案。实验验证了该系统在处理复杂数据任务中的可靠性与实用性,为智慧社区的管理和服务提供了有力支持。 展开更多
关键词 Apache flink 数据分析 智慧社区 ETL处理
在线阅读 下载PDF
基于Flink的大数据计算流批一体化 被引量:1
6
作者 冯豹 余海军 《科技与创新》 2025年第10期54-57,共4页
随着大数据技术的迅速发展,实时数据处理和批量数据处理的需求日益增加。Flink作为一种流批一体化的大数据处理引擎,提供了一种统一的计算模型,能够高效地处理实时数据流和离线数据批次。探讨了Flink的流批一体化在大数据计算中的应用... 随着大数据技术的迅速发展,实时数据处理和批量数据处理的需求日益增加。Flink作为一种流批一体化的大数据处理引擎,提供了一种统一的计算模型,能够高效地处理实时数据流和离线数据批次。探讨了Flink的流批一体化在大数据计算中的应用实践。通过对Flink的简单概述,分析了基于Flink的大数据计算流批一体架构,并针对基于Flink的大数据计算流批一体化在任务运行过程中不能动态化调整窗口参数,造成其在应对突发流量或数据特性变化问题时的局限性,提出了广播状态的窗口动态调整对策,开拓了Flink的计算功能,使其能够充分支持流批一体计算。 展开更多
关键词 flink:大数据 计算 流批一体化
在线阅读 下载PDF
基于EDA架构与Flink的事件驱动实时风控系统设计与实现
7
作者 史志龙 《软件》 2025年第4期164-166,共3页
随着互联网金融的快速发展,实时风险监控和防控成为金融科技发展的重要方向。本文提出了一种基于事件驱动架构(EDA)和Flink实时流处理框架的实时风控系统设计方案。该系统能够快速捕捉异常事件,并实时进行风险分析、决策和处置,为金融... 随着互联网金融的快速发展,实时风险监控和防控成为金融科技发展的重要方向。本文提出了一种基于事件驱动架构(EDA)和Flink实时流处理框架的实时风控系统设计方案。该系统能够快速捕捉异常事件,并实时进行风险分析、决策和处置,为金融机构提供有效的风险管控能力。文章首先概述了EDA架构和Flink框架的特点;其次,详细介绍了事件驱动实时风控系统的整体设计与关键技术实现;最后,通过具体的应用案例验证了该系统的有效性和实用性。 展开更多
关键词 事件驱动架构 flink 风控系统设计
在线阅读 下载PDF
基于Flink流技术的诈骗号码识别研究
8
作者 石莹 《中国新技术新产品》 2025年第5期140-142,共3页
针对电信诈骗号码数量居高不下,已有模型命中较晚且处置较慢,不能及早识别并遏制诈骗案件发生的现状,本文提出基于Flink流技术的诈骗号码识别研究。首先,构建诈骗号码识别模型。该模型从通话、交往圈等方面选取指标。其次,采用XGBoost... 针对电信诈骗号码数量居高不下,已有模型命中较晚且处置较慢,不能及早识别并遏制诈骗案件发生的现状,本文提出基于Flink流技术的诈骗号码识别研究。首先,构建诈骗号码识别模型。该模型从通话、交往圈等方面选取指标。其次,采用XGBoost算法选取重要特征。再次,用决策树算法多轮建设选优。最后,从最优决策树中选取优质节点形成规则,建立识别模型,利用快速处理实时数据Flink流技术开发部署,实现秒级识诈推送处置。该研究部署落地后,成效显著,集团全国通报指标百万占比从低到高排序,由2024年7月全国排名22名升至第6名,大大减少电信诈骗案件的产生。 展开更多
关键词 电信诈骗 flink流技术 XGBoost算法 决策树
在线阅读 下载PDF
大数据处理中Apache Flink流式计算的研究与应用
9
作者 赵国伟 伍曾权 《微型计算机》 2025年第16期235-237,240,共4页
随着大数据时代的到来,互联网技术发展迅速,导致数据量爆炸式增长,大规模数据处理成为当前面临的最大挑战之一。文章旨在探讨Apache Flink在大数据流式计算领域的研究与应用情况。首先分析了Apache Flink流式计算架构的特点,再通过研究F... 随着大数据时代的到来,互联网技术发展迅速,导致数据量爆炸式增长,大规模数据处理成为当前面临的最大挑战之一。文章旨在探讨Apache Flink在大数据流式计算领域的研究与应用情况。首先分析了Apache Flink流式计算架构的特点,再通过研究Flink流式计算关键技术特性的优势,结合Flink的应用场景分析得出:在海量数据处理中,Flink流式计算能够起到一定的策略调整作用,进而提高决策的可靠性和高效性。 展开更多
关键词 Apache flink 大数据处理 流式计算 实时分析
在线阅读 下载PDF
基于动态状态管理的Flink实时计算资源优化策略研究——以数据实时开发平台为例
10
作者 郑聪艺 《大数据时代》 2025年第7期33-37,共5页
传统的数据处理模式存在明显弊端,数据需要经过长时间的收集、存储后才能用于批量处理,这使得数据价值化的周期大大延长,难以满足现代企业对数据实时性的高要求。基于此,本研究以Apache Flink为核心构建了数据实时开发平台,以解决传统... 传统的数据处理模式存在明显弊端,数据需要经过长时间的收集、存储后才能用于批量处理,这使得数据价值化的周期大大延长,难以满足现代企业对数据实时性的高要求。基于此,本研究以Apache Flink为核心构建了数据实时开发平台,以解决传统数据处理模式的不足。研究的核心思路是从动态状态管理出发,对Flink实时计算资源进行优化。本研究构建了基于Flink SQL的实时计算开发运维一体化方案,以降低使用门槛。同时,本研究对实时数仓与离线数仓的架构差异进行了深入分析,引入了多源复用技术,对数据接入层架构进行了革新,实现了物理连接与逻辑Source的解耦。期望通过这些优化策略,提升企业实时数据处理的效率和准确性。 展开更多
关键词 flink 实时计算 低代码开发 多源复用
在线阅读 下载PDF
基于Flink的并行KNN算法设计与实现
11
作者 杨朋霖 《电脑编程技巧与维护》 2025年第9期50-52,共3页
在大数据时代,实时数据处理和分析成为企业获取信息的关键。Apache Flink是大数据处理领域中非常流行的开源流处理框架。无监督K-最近邻(KNN)算法因占用资源少、时间效率高,适用于大数据场景。将两者结合,为了有效利用Flink并减少KNN算... 在大数据时代,实时数据处理和分析成为企业获取信息的关键。Apache Flink是大数据处理领域中非常流行的开源流处理框架。无监督K-最近邻(KNN)算法因占用资源少、时间效率高,适用于大数据场景。将两者结合,为了有效利用Flink并减少KNN算法的计算时间,提出了一种基于Flink的并行KNN算法,该算法对距离计算、排序过程进行优化。优化后的并行KNN算法的计算速度比优化前提升了6.4%。 展开更多
关键词 flink框架 实时数据处理 集成优化
在线阅读 下载PDF
基于Flink的动态感知用户兴趣漂移的电影推荐系统 被引量:2
12
作者 李光明 杨攀攀 古婵 《电子器件》 CAS 2024年第5期1425-1433,共9页
传统使用Hadoop平台基于协同过滤算法搭建的分布式推荐系统,存在两个亟待解决的问题:(1)在面对海量数据与复杂的推荐算法模型时,处理数据的速度明显下降,不能做到低延时,无法对用户进行实时推荐;(2)传统基于协同过滤的推荐算法,无法实... 传统使用Hadoop平台基于协同过滤算法搭建的分布式推荐系统,存在两个亟待解决的问题:(1)在面对海量数据与复杂的推荐算法模型时,处理数据的速度明显下降,不能做到低延时,无法对用户进行实时推荐;(2)传统基于协同过滤的推荐算法,无法实时感知用户兴趣漂移的问题,导致推荐的结果差强人意。针对以上两个问题,引入新一代流式计算引擎Flink,使用Spark、Flume、Kafka等大数据组件搭建电影推荐系统,整个推荐系统的推荐算法部分,分为离线与在线推荐两大模块,离线推荐算法引入堆排序,解决MLlib中ALS算法在模型预测时会进行笛卡尔积计算,消耗大量内存与算法执行时间长的问题;实时推荐算法引入艾宾浩斯遗忘曲线,通过融合时间权重与奖惩因子,来动态地感知用户兴趣发生漂移的问题。通过离线与在线推荐算法的改进,产生更好的个性化Top-N推荐结果,提升最终用户的体验。实验结果表明:(1)通过堆排序改进后的离线推荐ALS算法,在RMSE指标基本不变的情况下执行速率显著提高;(2)通过引入艾宾浩斯遗忘曲线,融合时间权重与奖惩因子的实时推荐算法,在准确率和召回率指标上明显提高,推荐结果更符合用户兴趣爱好;(3)Flink计算引擎相比较Spark计算引擎在数据量不断增加的情况下,算法执行速度更快。 展开更多
关键词 flink 堆排序 艾宾浩斯遗忘曲线 时间权重 奖惩因子
在线阅读 下载PDF
Apache Flink流式计算模型在数据处理中的应用与性能优化研究 被引量:4
13
作者 徐海霞 《电脑知识与技术》 2024年第7期71-73,共3页
文章旨在研究Apache Flink流式计算模型在数据处理中的应用与性能优化。先从可扩展性、容错性和数据并行处理能力三个方面对Apache Flink流式计算框架技术特点进行论述,再对Apache Flink流式计算框架核心思想与工作流程进行研究,并提出... 文章旨在研究Apache Flink流式计算模型在数据处理中的应用与性能优化。先从可扩展性、容错性和数据并行处理能力三个方面对Apache Flink流式计算框架技术特点进行论述,再对Apache Flink流式计算框架核心思想与工作流程进行研究,并提出一套执行数据处理任务的Java源码,再从并行计算、数据存储和传输、算法参数、系统配置、资源管理与调度、检查点和容错机制、编码和序列化等方面就如何进行Apache Flink性能优化进行分析,最后通过实验手段就优化性能进行分析。实验结果表明,优化后的平均响应时间显著减少,吞吐量相应增加,调整并行度和内存分配等参数可显著提升系统性能,但还需要考虑任务调度和资源分配等方面的综合因素,因此,Apache Flink流式计算框架调优策略具有一定的应用价值。 展开更多
关键词 流式计算 Apache flink 大规模数据处理 性能优化 并行计算
在线阅读 下载PDF
面向HSAP架构的Flink流批一体实时数仓设计与研究
14
作者 樊雷 《电脑知识与技术》 2024年第30期45-48,共4页
HSAP(Hybrid Serving and Analytical Processing)作为一种面向混合负载的分布式数据系统架构,能够有效解决企业在实时事务处理和数据分析方面的需求。针对传统数据仓库在海量数据查询、数据冗余和实时性等方面的挑战,文章提出一种基于F... HSAP(Hybrid Serving and Analytical Processing)作为一种面向混合负载的分布式数据系统架构,能够有效解决企业在实时事务处理和数据分析方面的需求。针对传统数据仓库在海量数据查询、数据冗余和实时性等方面的挑战,文章提出一种基于Flink和HSAP架构的实时数仓设计方案。该方案利用Flink强大的流批一体处理能力,结合Iceberg等技术,实现了数据的高效摄取、实时处理、多维分析和持久化存储,为企业提供实时数据洞察能力,并有效降低数据存储成本。 展开更多
关键词 HSAP flink 实时数仓 流批一体 ICEBERG
在线阅读 下载PDF
Apache Flink复杂事件处理语言的形式语义 被引量:5
15
作者 傅宣登 吴志林 《软件学报》 EI CSCD 北大核心 2024年第10期4510-4532,共23页
Apache Flink是目前最流行的流式计算平台之一,已经在工业界得到了广泛应用.复杂事件处理是流式计算的一种重要使用场景,Apache Flink平台定义并实现了一种复杂事件处理语言(简称FlinkCEP).FlinkCEP语法特性丰富,不仅包括常见的过滤、... Apache Flink是目前最流行的流式计算平台之一,已经在工业界得到了广泛应用.复杂事件处理是流式计算的一种重要使用场景,Apache Flink平台定义并实现了一种复杂事件处理语言(简称FlinkCEP).FlinkCEP语法特性丰富,不仅包括常见的过滤、连接、循环等操作,还包括迭代条件、匹配筛选策略等高级特性.FlinkCEP语义复杂,尚缺乏语言规范对其语义进行准确描述,只能通过实现细节来理解,因此对其语义进行形式描述对于开发人员准确理解其语义非常必要.针对FlinkCEP提出一种数据流转换器的自动机模型,该模型包括用于刻画迭代条件的数据变量、存储输出结果的数据流变量、用于刻画匹配筛选策略的迁移优先级等特性.使用数据流转换器对FlinkCEP的语义进行形式建模,并且根据形式语义设计FlinkCEP的查询求值算法,实现原型系统.进一步,生成能够较为全面覆盖FlinkCEP语法特性的测试用例集,利用这些测试用例与FlinkCEP在Flink平台上的实际运行结果进行对比实验.实验结果表明所提出的形式语义与FlinkCEP在Flink平台上的实际语义基本是一致的.而且,对实验结果不一致的情况进行分析,指出FlinkCEP在Flink平台上的实现对于组模式的处理可能存在错误. 展开更多
关键词 流式计算 flink 复杂事件处理 形式语义 数据流转换器 查询求值
在线阅读 下载PDF
一种基于流数据的Flink和Kafka集成优化策略 被引量:4
16
作者 杨朋霖 《电脑编程技巧与维护》 2024年第12期114-116,共3页
在大数据时代,实时数据处理和分析成为企业获取信息的关键。Apache Flink和Apache Kafka是当前大数据处理领域中两个非常流行的开源框架。Flink提供了高吞吐量、低延迟的流处理能力,而Kafka则是一个高吞吐量、可扩展的消息队列系统。两... 在大数据时代,实时数据处理和分析成为企业获取信息的关键。Apache Flink和Apache Kafka是当前大数据处理领域中两个非常流行的开源框架。Flink提供了高吞吐量、低延迟的流处理能力,而Kafka则是一个高吞吐量、可扩展的消息队列系统。两者的集成使用可以构建出强大的实时数据处理流水线。为了最大化这一集成的性能,需要对Flink和Kafka之间的交互进行细致的优化。提出一种Flink与Kafka集成的优化策略,以提升实时数据处理性能。 展开更多
关键词 flink框架 Kafka框架 实时数据处理 集成优化
在线阅读 下载PDF
基于Flink的旅游大数据实时分析系统设计与实现 被引量:1
17
作者 姜海东 李阳 《电脑编程技巧与维护》 2024年第12期92-95,共4页
在以短视频为代表的网红经济浪潮下,各地区在景区管理、城市安全管理、服务质量等方面都面临着挑战。基于分布式处理引擎Flink技术,设计并实现了旅游大数据实时分析系统。该系统通过实时采集分析旅游数据,能实时展现本地区当前游客、车... 在以短视频为代表的网红经济浪潮下,各地区在景区管理、城市安全管理、服务质量等方面都面临着挑战。基于分布式处理引擎Flink技术,设计并实现了旅游大数据实时分析系统。该系统通过实时采集分析旅游数据,能实时展现本地区当前游客、车辆、景区等旅游舆情信息,为旅游管理部门、文旅企业、景区管理部门等市场主体提供了准确高效的决策支持。 展开更多
关键词 flink技术 旅游大数据 实时分析
在线阅读 下载PDF
基于Flink+QLExpress处理海量数据的实时监控告警系统 被引量:2
18
作者 陈丽 杨大龙 +1 位作者 高中纤 张伟 《信息通信技术》 2022年第1期64-69,共6页
为了满足大数据监控告警系统具备灵活告警及实时动态更新各类配置的需求,在深入研究各大数据监控告警系统架构的基础上,提出一种基于Flink+QLExpress新架构的处理海量数据的实时监控告警系统。首先通过Canal采集数据,然后利用聚合程序... 为了满足大数据监控告警系统具备灵活告警及实时动态更新各类配置的需求,在深入研究各大数据监控告警系统架构的基础上,提出一种基于Flink+QLExpress新架构的处理海量数据的实时监控告警系统。首先通过Canal采集数据,然后利用聚合程序聚合数据后推送至Kafka,利用Flink从Kafka数据源获取源数据,并通过Flink SQL技术实现数据清洗及过滤,得到满足阈值条件的初级告警数据,最后通过QLExpress技术实现告警数据的二级过滤、告警信息的格式化及推送。结果表明此架构通过引入Flink SQL和QLExpress能够实现告警口径、告警阈值、告警格式及推送方式的动态更新与发布,增强了告警的实时性、灵活性及便利性,提升了运维效率。 展开更多
关键词 海量数据 告警系统 flink flink SQL QLExpress CANAL
在线阅读 下载PDF
基于新一代大数据处理引擎Flink的“智慧滁河”系统 被引量:13
19
作者 叶枫 张鹏 +2 位作者 夏润亮 顾和生 陈勇 《水资源保护》 CAS CSCD 北大核心 2019年第2期90-94,共5页
概述了水利领域大数据的特点,展示了基于Flink构建的"智慧滁河"系统,并以在滁河监测中获取的传感器数据为实验数据,以常用的查询操作测试了系统性能。结果表明,采用Flink的"智慧滁河"系统的处理能力远超传统的多层... 概述了水利领域大数据的特点,展示了基于Flink构建的"智慧滁河"系统,并以在滁河监测中获取的传感器数据为实验数据,以常用的查询操作测试了系统性能。结果表明,采用Flink的"智慧滁河"系统的处理能力远超传统的多层架构系统,可为水利信息化迈向"智慧"提供可行的解决方案。 展开更多
关键词 智慧水利 flink 大数据 水利信息化
在线阅读 下载PDF
一种高效的Flink与MongoDB连接中间件的研究与实现 被引量:4
20
作者 胡程 叶枫 《计算机工程与应用》 CSCD 北大核心 2019年第23期64-69,共6页
为了提高大数据处理平台Flink与MongoDB之间的读写速率,提出并实现了一种高效的Flink与MongoDB连接中间件。基于Flink的并行化思想,通过对数据进行逻辑分片,调用Mongo-Java包中的接口实现并行化将数据读取和写入。以不同规模的水文传感... 为了提高大数据处理平台Flink与MongoDB之间的读写速率,提出并实现了一种高效的Flink与MongoDB连接中间件。基于Flink的并行化思想,通过对数据进行逻辑分片,调用Mongo-Java包中的接口实现并行化将数据读取和写入。以不同规模的水文传感器数据集作为实验数据,实验了在Java单线程操作、Hadoop与MongoDB连接器和提出的Flink与MongoDB连接中间件三种连接方式下数据的读写速度。结果表明,Flink并行读写数据效率较于单线程提高了1.5倍,验证了该连接中间件可以有效地提高对海量数据的读写速率。 展开更多
关键词 flink MONGODB flink与MongoDB连接中间件 数据逻辑分片 并行读写
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部