期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到134篇文章
< 1 2 … 7 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于Flink的高效数据转移方案的研究
1
作者 蒋廷波 程胜 +1 位作者 黄鹏 王浩 《电脑编程技巧与维护》 2025年第7期104-107,共4页
在当今信息化高速发展的时代,数据已成为企业运营的核心资产。高效地实现数据转移与流通,对于提升企业运营效率、优化决策制定至关重要。在提出了一种创新的数据转移应用设计方案,该方案能够灵活应对多样化的数据源、自定义转移方式及目... 在当今信息化高速发展的时代,数据已成为企业运营的核心资产。高效地实现数据转移与流通,对于提升企业运营效率、优化决策制定至关重要。在提出了一种创新的数据转移应用设计方案,该方案能够灵活应对多样化的数据源、自定义转移方式及目标,同时具备强大的监控与补数能力,确保数据转移的高效性、可靠性和可配置性。 展开更多
关键词 flink框架 flinkSQL组件 Kafka平台
在线阅读 下载PDF
基于Flink的煤矿经营业务大数据协同模型研究 被引量：1
2
作者 王冀宁 袁冠 +1 位作者 庄晓宝 赵艳玲 《现代矿业》 2025年第1期19-23,40,共6页
煤矿的经营业务是企业的核心工作之一,关系到煤矿企业的运营效率、盈利能力以及长期发展,但煤矿经营在数据上深度依赖采掘、销售、运输、客户等。为了提升煤矿企业经营业务水平,助力企业高质量发展,从煤矿企业经营类业务系统的数据集成... 煤矿的经营业务是企业的核心工作之一,关系到煤矿企业的运营效率、盈利能力以及长期发展,但煤矿经营在数据上深度依赖采掘、销售、运输、客户等。为了提升煤矿企业经营业务水平,助力企业高质量发展,从煤矿企业经营类业务系统的数据集成与业务协同问题入手,首先分析煤矿企业以产、选、销、运为代表的经营类业务信息化建设状况,调研煤矿企业经营业务各环节的协同需求;其次研究了各业务系统数据间的关系;最后研究了基于Flink框架的数据存储与流式计算技术,设计了煤矿企业经营业务大数据协同模型,并在淮北矿业股份有限公司成功应用,验证了模型的有效性。研究结果为煤矿企业提升经营业务水平提供技术支撑和决策参考。 展开更多
关键词 煤矿经营业务 flink 大数据协同模型 数据集成
在线阅读 下载PDF
用于状态监测与诊断的Flink流式处理系统
3
作者 施建明 《计算机应用与软件》 北大核心 2025年第2期391-397,共7页
为提升基于设备监测数据流开展故障诊断的能力,设计开发Flink流式处理系统。构建多通道传感器数据分布式并行处理的数据流处理流程,开发流程中包含各类算子,从而将监测数据流转化成诊断结果数据流。搭建Flink集群,开展系统功能和性能测... 为提升基于设备监测数据流开展故障诊断的能力,设计开发Flink流式处理系统。构建多通道传感器数据分布式并行处理的数据流处理流程,开发流程中包含各类算子,从而将监测数据流转化成诊断结果数据流。搭建Flink集群,开展系统功能和性能测试,结果表明:系统延迟时间<1 ms,数据处理完整率为100%,乱序数据恢复率为100%,job manager、task manager故障自动恢复时间分别为62 s、26 s。基于Flink的设备状态监测与诊断系统满足低延迟、精确一次一致性、可容错的要求。 展开更多
关键词 flink 流式计算 水位线 检查点
在线阅读 下载PDF
基于Flink的工业大数据实时数仓的设计与实现
4
作者 丁肖 陈辉 +2 位作者 耿兴隆 张艳敏 吴卫宏 《科技传播》 2025年第5期24-27,共4页
探讨基于Flink的工业大数据实时数仓的设计与实现,详细阐述系统架构设计,介绍各层的关键技术实现,如数据源的传输协议要求、数据中间件的技术实现、数据处理层的雪花模型和分层架构设计、数据存储的选择等。同时,针对实时数仓中的数据... 探讨基于Flink的工业大数据实时数仓的设计与实现,详细阐述系统架构设计,介绍各层的关键技术实现,如数据源的传输协议要求、数据中间件的技术实现、数据处理层的雪花模型和分层架构设计、数据存储的选择等。同时,针对实时数仓中的数据可靠性问题,提出了切实可行的解决方案,并对未来加以展望。 展开更多
关键词 flink Kafka Topic 雪花模型 ClickHouse
在线阅读 下载PDF
基于Flink的智慧社区数据分析系统设计与实现
5
作者 董隶鋆 卿粼波 +2 位作者 冯田 毛建国 赵炜 《智能计算机与应用》 2025年第2期52-58,共7页
本文设计了一种基于Apache Flink的智慧社区数据分析系统,该系统涵盖数据集成、存储、处理及应用四大层次,以满足智慧社区对多源数据高效处理的需求。该系统充分发挥Flink的分布式处理与流处理优势,对接并高效处理来自社区的多样化数据... 本文设计了一种基于Apache Flink的智慧社区数据分析系统,该系统涵盖数据集成、存储、处理及应用四大层次,以满足智慧社区对多源数据高效处理的需求。该系统充分发挥Flink的分布式处理与流处理优势,对接并高效处理来自社区的多样化数据,包括结构化、半结构化及非结构化数据,实现数据的实时转换与加载,确保了数据的时效性与准确性;数据处理核心环节,系统深度融合Flink的ETL(Extract, Transform, Load)处理方法,不仅为社区管理者构建了一套闭环式的数据处理过程,还提供了一套完整的实时数据分析解决方案。实验验证了该系统在处理复杂数据任务中的可靠性与实用性,为智慧社区的管理和服务提供了有力支持。 展开更多
关键词 Apache flink 数据分析 智慧社区 ETL处理
在线阅读 下载PDF
基于Flink的大数据计算流批一体化 被引量：1
6
作者 冯豹 余海军 《科技与创新》 2025年第10期54-57,共4页
随着大数据技术的迅速发展,实时数据处理和批量数据处理的需求日益增加。Flink作为一种流批一体化的大数据处理引擎,提供了一种统一的计算模型,能够高效地处理实时数据流和离线数据批次。探讨了Flink的流批一体化在大数据计算中的应用... 随着大数据技术的迅速发展,实时数据处理和批量数据处理的需求日益增加。Flink作为一种流批一体化的大数据处理引擎,提供了一种统一的计算模型,能够高效地处理实时数据流和离线数据批次。探讨了Flink的流批一体化在大数据计算中的应用实践。通过对Flink的简单概述,分析了基于Flink的大数据计算流批一体架构,并针对基于Flink的大数据计算流批一体化在任务运行过程中不能动态化调整窗口参数,造成其在应对突发流量或数据特性变化问题时的局限性,提出了广播状态的窗口动态调整对策,开拓了Flink的计算功能,使其能够充分支持流批一体计算。 展开更多
关键词 flink:大数据 计算 流批一体化
在线阅读 下载PDF
基于EDA架构与Flink的事件驱动实时风控系统设计与实现
7
作者 史志龙 《软件》 2025年第4期164-166,共3页
随着互联网金融的快速发展,实时风险监控和防控成为金融科技发展的重要方向。本文提出了一种基于事件驱动架构(EDA)和Flink实时流处理框架的实时风控系统设计方案。该系统能够快速捕捉异常事件,并实时进行风险分析、决策和处置,为金融... 随着互联网金融的快速发展,实时风险监控和防控成为金融科技发展的重要方向。本文提出了一种基于事件驱动架构(EDA)和Flink实时流处理框架的实时风控系统设计方案。该系统能够快速捕捉异常事件,并实时进行风险分析、决策和处置,为金融机构提供有效的风险管控能力。文章首先概述了EDA架构和Flink框架的特点;其次,详细介绍了事件驱动实时风控系统的整体设计与关键技术实现;最后,通过具体的应用案例验证了该系统的有效性和实用性。 展开更多
关键词 事件驱动架构 flink 风控系统设计
在线阅读 下载PDF
基于Flink流技术的诈骗号码识别研究
8
作者 石莹 《中国新技术新产品》 2025年第5期140-142,共3页
针对电信诈骗号码数量居高不下,已有模型命中较晚且处置较慢,不能及早识别并遏制诈骗案件发生的现状,本文提出基于Flink流技术的诈骗号码识别研究。首先,构建诈骗号码识别模型。该模型从通话、交往圈等方面选取指标。其次,采用XGBoost... 针对电信诈骗号码数量居高不下,已有模型命中较晚且处置较慢,不能及早识别并遏制诈骗案件发生的现状,本文提出基于Flink流技术的诈骗号码识别研究。首先,构建诈骗号码识别模型。该模型从通话、交往圈等方面选取指标。其次,采用XGBoost算法选取重要特征。再次,用决策树算法多轮建设选优。最后,从最优决策树中选取优质节点形成规则,建立识别模型,利用快速处理实时数据Flink流技术开发部署,实现秒级识诈推送处置。该研究部署落地后,成效显著,集团全国通报指标百万占比从低到高排序,由2024年7月全国排名22名升至第6名,大大减少电信诈骗案件的产生。 展开更多
关键词 电信诈骗 flink流技术 XGBoost算法 决策树
在线阅读 下载PDF
大数据处理中Apache Flink流式计算的研究与应用
9
作者 赵国伟 伍曾权 《微型计算机》 2025年第16期235-237,240,共4页
随着大数据时代的到来,互联网技术发展迅速,导致数据量爆炸式增长,大规模数据处理成为当前面临的最大挑战之一。文章旨在探讨Apache Flink在大数据流式计算领域的研究与应用情况。首先分析了Apache Flink流式计算架构的特点,再通过研究F... 随着大数据时代的到来,互联网技术发展迅速,导致数据量爆炸式增长,大规模数据处理成为当前面临的最大挑战之一。文章旨在探讨Apache Flink在大数据流式计算领域的研究与应用情况。首先分析了Apache Flink流式计算架构的特点,再通过研究Flink流式计算关键技术特性的优势,结合Flink的应用场景分析得出:在海量数据处理中,Flink流式计算能够起到一定的策略调整作用,进而提高决策的可靠性和高效性。 展开更多
关键词 Apache flink 大数据处理 流式计算 实时分析
在线阅读 下载PDF
基于动态状态管理的Flink实时计算资源优化策略研究——以数据实时开发平台为例
10
作者 郑聪艺 《大数据时代》 2025年第7期33-37,共5页
传统的数据处理模式存在明显弊端,数据需要经过长时间的收集、存储后才能用于批量处理,这使得数据价值化的周期大大延长,难以满足现代企业对数据实时性的高要求。基于此,本研究以Apache Flink为核心构建了数据实时开发平台,以解决传统... 传统的数据处理模式存在明显弊端,数据需要经过长时间的收集、存储后才能用于批量处理,这使得数据价值化的周期大大延长,难以满足现代企业对数据实时性的高要求。基于此,本研究以Apache Flink为核心构建了数据实时开发平台,以解决传统数据处理模式的不足。研究的核心思路是从动态状态管理出发,对Flink实时计算资源进行优化。本研究构建了基于Flink SQL的实时计算开发运维一体化方案,以降低使用门槛。同时,本研究对实时数仓与离线数仓的架构差异进行了深入分析,引入了多源复用技术,对数据接入层架构进行了革新,实现了物理连接与逻辑Source的解耦。期望通过这些优化策略,提升企业实时数据处理的效率和准确性。 展开更多
关键词 flink 实时计算 低代码开发 多源复用
在线阅读 下载PDF
基于Flink的并行KNN算法设计与实现
11
作者 杨朋霖 《电脑编程技巧与维护》 2025年第9期50-52,共3页
在大数据时代,实时数据处理和分析成为企业获取信息的关键。Apache Flink是大数据处理领域中非常流行的开源流处理框架。无监督K-最近邻(KNN)算法因占用资源少、时间效率高,适用于大数据场景。将两者结合,为了有效利用Flink并减少KNN算... 在大数据时代,实时数据处理和分析成为企业获取信息的关键。Apache Flink是大数据处理领域中非常流行的开源流处理框架。无监督K-最近邻(KNN)算法因占用资源少、时间效率高,适用于大数据场景。将两者结合,为了有效利用Flink并减少KNN算法的计算时间,提出了一种基于Flink的并行KNN算法,该算法对距离计算、排序过程进行优化。优化后的并行KNN算法的计算速度比优化前提升了6.4%。 展开更多
关键词 flink框架 实时数据处理 集成优化
在线阅读 下载PDF
基于Flink+QLExpress处理海量数据的实时监控告警系统 被引量：2
12
作者 陈丽 杨大龙 +1 位作者 高中纤 张伟 《信息通信技术》 2022年第1期64-69,共6页
为了满足大数据监控告警系统具备灵活告警及实时动态更新各类配置的需求,在深入研究各大数据监控告警系统架构的基础上,提出一种基于Flink+QLExpress新架构的处理海量数据的实时监控告警系统。首先通过Canal采集数据,然后利用聚合程序... 为了满足大数据监控告警系统具备灵活告警及实时动态更新各类配置的需求,在深入研究各大数据监控告警系统架构的基础上,提出一种基于Flink+QLExpress新架构的处理海量数据的实时监控告警系统。首先通过Canal采集数据,然后利用聚合程序聚合数据后推送至Kafka,利用Flink从Kafka数据源获取源数据,并通过Flink SQL技术实现数据清洗及过滤,得到满足阈值条件的初级告警数据,最后通过QLExpress技术实现告警数据的二级过滤、告警信息的格式化及推送。结果表明此架构通过引入Flink SQL和QLExpress能够实现告警口径、告警阈值、告警格式及推送方式的动态更新与发布,增强了告警的实时性、灵活性及便利性,提升了运维效率。 展开更多
关键词 海量数据 告警系统 flink flink SQL QLExpress CANAL
在线阅读 下载PDF
基于新一代大数据处理引擎Flink的“智慧滁河”系统 被引量：13
13
作者 叶枫 张鹏 +2 位作者 夏润亮 顾和生 陈勇 《水资源保护》 CAS CSCD 北大核心 2019年第2期90-94,共5页
概述了水利领域大数据的特点,展示了基于Flink构建的"智慧滁河"系统,并以在滁河监测中获取的传感器数据为实验数据,以常用的查询操作测试了系统性能。结果表明,采用Flink的"智慧滁河"系统的处理能力远超传统的多层... 概述了水利领域大数据的特点,展示了基于Flink构建的"智慧滁河"系统,并以在滁河监测中获取的传感器数据为实验数据,以常用的查询操作测试了系统性能。结果表明,采用Flink的"智慧滁河"系统的处理能力远超传统的多层架构系统,可为水利信息化迈向"智慧"提供可行的解决方案。 展开更多
关键词 智慧水利 flink 大数据 水利信息化
在线阅读 下载PDF
一种高效的Flink与MongoDB连接中间件的研究与实现 被引量：4
14
作者 胡程 叶枫 《计算机工程与应用》 CSCD 北大核心 2019年第23期64-69,共6页
为了提高大数据处理平台Flink与MongoDB之间的读写速率,提出并实现了一种高效的Flink与MongoDB连接中间件。基于Flink的并行化思想,通过对数据进行逻辑分片,调用Mongo-Java包中的接口实现并行化将数据读取和写入。以不同规模的水文传感... 为了提高大数据处理平台Flink与MongoDB之间的读写速率,提出并实现了一种高效的Flink与MongoDB连接中间件。基于Flink的并行化思想,通过对数据进行逻辑分片,调用Mongo-Java包中的接口实现并行化将数据读取和写入。以不同规模的水文传感器数据集作为实验数据,实验了在Java单线程操作、Hadoop与MongoDB连接器和提出的Flink与MongoDB连接中间件三种连接方式下数据的读写速度。结果表明,Flink并行读写数据效率较于单线程提高了1.5倍,验证了该连接中间件可以有效地提高对海量数据的读写速率。 展开更多
关键词 flink MONGODB flink与MongoDB连接中间件 数据逻辑分片 并行读写
在线阅读 下载PDF
基于Flink的动态感知用户兴趣漂移的电影推荐系统 被引量：2
15
作者 李光明 杨攀攀 古婵 《电子器件》 CAS 2024年第5期1425-1433,共9页
传统使用Hadoop平台基于协同过滤算法搭建的分布式推荐系统,存在两个亟待解决的问题:(1)在面对海量数据与复杂的推荐算法模型时,处理数据的速度明显下降,不能做到低延时,无法对用户进行实时推荐;(2)传统基于协同过滤的推荐算法,无法实... 传统使用Hadoop平台基于协同过滤算法搭建的分布式推荐系统,存在两个亟待解决的问题:(1)在面对海量数据与复杂的推荐算法模型时,处理数据的速度明显下降,不能做到低延时,无法对用户进行实时推荐;(2)传统基于协同过滤的推荐算法,无法实时感知用户兴趣漂移的问题,导致推荐的结果差强人意。针对以上两个问题,引入新一代流式计算引擎Flink,使用Spark、Flume、Kafka等大数据组件搭建电影推荐系统,整个推荐系统的推荐算法部分,分为离线与在线推荐两大模块,离线推荐算法引入堆排序,解决MLlib中ALS算法在模型预测时会进行笛卡尔积计算,消耗大量内存与算法执行时间长的问题;实时推荐算法引入艾宾浩斯遗忘曲线,通过融合时间权重与奖惩因子,来动态地感知用户兴趣发生漂移的问题。通过离线与在线推荐算法的改进,产生更好的个性化Top-N推荐结果,提升最终用户的体验。实验结果表明:(1)通过堆排序改进后的离线推荐ALS算法,在RMSE指标基本不变的情况下执行速率显著提高;(2)通过引入艾宾浩斯遗忘曲线,融合时间权重与奖惩因子的实时推荐算法,在准确率和召回率指标上明显提高,推荐结果更符合用户兴趣爱好;(3)Flink计算引擎相比较Spark计算引擎在数据量不断增加的情况下,算法执行速度更快。 展开更多
关键词 flink 堆排序 艾宾浩斯遗忘曲线 时间权重 奖惩因子
在线阅读 下载PDF
基于Flink框架的TopN堆排序优化算法 被引量：2
16
作者 关沫 魏碧晴 《信息技术与网络安全》 2020年第2期23-26,共4页
为了解决大数据TopN排序问题,将传统的堆排序进行优化,阐述了优化后的HeapOptimize方法的处理过程。HeapOptimize方法基于Flink框架来完成TopN作业,可以实时地接收并处理大量的数据,根据单位时间需要处理的数据数量来调整算子的并行度,... 为了解决大数据TopN排序问题,将传统的堆排序进行优化,阐述了优化后的HeapOptimize方法的处理过程。HeapOptimize方法基于Flink框架来完成TopN作业,可以实时地接收并处理大量的数据,根据单位时间需要处理的数据数量来调整算子的并行度,增加Flink框架的吞吐量,提高处理数据的速度。通过实验测量的数据结果佐证了HeapOptimize方法的优势。 展开更多
关键词 大数据 TopN flink 吞吐量
在线阅读 下载PDF
基于Flink大数据分析的电力资产全寿命周期管理平台研究 被引量：5
17
作者 胡晓明 《电子制作》 2022年第3期66-69,共4页
对电力资产大数据进行了概述,基于Flink构建了电网资产全寿命周期管理平台,以查询、删除操作对系统性能进行了测试,对测试结果进行了分析,表明基于Flink技术的系统性能优于传统架构系统。
关键词 电力资产 大数据分析 全寿命周期管理 flink
在线阅读 下载PDF
Apache Flink流式计算模型在数据处理中的应用与性能优化研究 被引量：4
18
作者 徐海霞 《电脑知识与技术》 2024年第7期71-73,共3页
文章旨在研究Apache Flink流式计算模型在数据处理中的应用与性能优化。先从可扩展性、容错性和数据并行处理能力三个方面对Apache Flink流式计算框架技术特点进行论述,再对Apache Flink流式计算框架核心思想与工作流程进行研究,并提出... 文章旨在研究Apache Flink流式计算模型在数据处理中的应用与性能优化。先从可扩展性、容错性和数据并行处理能力三个方面对Apache Flink流式计算框架技术特点进行论述,再对Apache Flink流式计算框架核心思想与工作流程进行研究,并提出一套执行数据处理任务的Java源码,再从并行计算、数据存储和传输、算法参数、系统配置、资源管理与调度、检查点和容错机制、编码和序列化等方面就如何进行Apache Flink性能优化进行分析,最后通过实验手段就优化性能进行分析。实验结果表明,优化后的平均响应时间显著减少,吞吐量相应增加,调整并行度和内存分配等参数可显著提升系统性能,但还需要考虑任务调度和资源分配等方面的综合因素,因此,Apache Flink流式计算框架调优策略具有一定的应用价值。 展开更多
关键词 流式计算 Apache flink 大规模数据处理 性能优化 并行计算
在线阅读 下载PDF
基于Flink的鲸鱼优化K-Means算法 被引量：3
19
作者 于志良 《互联网周刊》 2023年第4期83-85,共3页
针对K-Means聚类算法依赖于初始聚类中心选择的问题,利用鲸鱼优化算法易于获取全局最优解及快速收敛性的优势,结合分布式框架的并行优势,提出了一种基于Flink的鲸鱼优化K-Means聚类算法。通过鲸鱼优化算法对领头鲸迭代更新、优化位置,... 针对K-Means聚类算法依赖于初始聚类中心选择的问题,利用鲸鱼优化算法易于获取全局最优解及快速收敛性的优势,结合分布式框架的并行优势,提出了一种基于Flink的鲸鱼优化K-Means聚类算法。通过鲸鱼优化算法对领头鲸迭代更新、优化位置,用算法的最优解作为聚类中心替代K-Means算法的随机聚类中心,改进后的算法聚类效果较好、收敛速度快,有效结合了智能算法及分布式框架的优势。 展开更多
关键词 聚类算法 K-MEANS 鲸鱼优化 flink
在线阅读 下载PDF
基于流网络的Flink平台弹性资源调度策略 被引量：15
20
作者 李梓杨 于炯 +4 位作者 卞琛 张译天 蒲勇霖 王跃飞 鲁亮 《通信学报》 EI CSCD 北大核心 2019年第8期85-101,共17页
为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink)。该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度... 为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink)。该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度算法确定集群性能瓶颈并制定动态资源调度计划,最后通过基于数据分簇和分桶管理的状态数据迁移算法,实施调度计划并完成节点间的高效数据迁移。实验结果表明,该策略在状态数据复杂的应用场景中有较好的优化效果,在满足计算时延约束的前提下提高了集群的吞吐量,缩短了状态数据迁移的时间。由此可见,FAR-Flink策略有效提升了集群对负载波动的响应能力。 展开更多
关键词 流式计算 资源调度 弹性集群 负载迁移 flink
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 7 下一页 到第 页
使用帮助 返回顶部