期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到151篇文章
< 1 2 … 8 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于OpenTelemetry的铁路分布式应用配置关系自动发现系统设计与实现
1
作者 刘然 李光兆 +1 位作者 刘忏 季涵婷 《铁路计算机应用》 2025年第8期38-43,共6页
为解决铁路分布式应用梳理组件关系难、绘制拓扑难、故障定位难等问题,提升铁路分布式应用的综合管理能力和运行维护(简称:运维)保障能力,提出一种基于OpenTelemetry的铁路分布式应用配置关系自动发现系统。通过采集探针获取链路追踪数... 为解决铁路分布式应用梳理组件关系难、绘制拓扑难、故障定位难等问题,提升铁路分布式应用的综合管理能力和运行维护(简称:运维)保障能力,提出一种基于OpenTelemetry的铁路分布式应用配置关系自动发现系统。通过采集探针获取链路追踪数据,经ETL(Extract-Transform-Load)转换为配置库可识别的结构化关系,实现配置关系发现、网络扫描、深度发现等功能。应用表明,该系统可有效解决上述问题,提高应用数据可观测性,为铁路分布式应用运维管理提供数据支撑。 展开更多
关键词 分布式应用 分布式链路追踪 OpenTelemetry 配置关系 ETL转换
在线阅读 下载PDF
基于分数阶模型的低电流谐振式CT取能研究
2
作者 倪星 程志远 桑卓 《电力电子技术》 2025年第11期16-20,共5页
鉴于目前电流互感器(CT)取能的励磁模型难以反映电路系统的动态特性,本文拟采用分数阶对低电流谐振式CT取能电路进行建模研究。首先,建立了分数阶阻抗模型,深入分析了该模型下分数阶电容与负载功率的关系;然后,以负载吸收最大功率为目标... 鉴于目前电流互感器(CT)取能的励磁模型难以反映电路系统的动态特性,本文拟采用分数阶对低电流谐振式CT取能电路进行建模研究。首先,建立了分数阶阻抗模型,深入分析了该模型下分数阶电容与负载功率的关系;然后,以负载吸收最大功率为目标,结合遗传算法对分数阶电容及其阶次寻优。结果表明,分数阶建模方法可提升电路设计的自由度,为CT取能设计和优化提供了新的思路和方法;最后,通过仿真和实验验证了分数阶模型的正确性与有效性。 展开更多
关键词 取能 电流互感器 遗传算法 负载功率
在线阅读 下载PDF
基于大数据BI技术的智慧工地数据可视化平台的设计与研究--以某大型建筑工程集团为例 被引量：2
3
作者 谭晖涛 谢赞福 +1 位作者 陆小霞 钟山 《软件》 2024年第2期28-33,43,共7页
大数据BI(Business Intelligence)技术在数据挖掘、数据分析、数据可视化等方面的功能实现较成熟,已广泛应用在制造业、零售业等行业。将大数据BI技术融入智慧工地,建立数据可视化平台,可以解决智慧工地存在的局部“数据孤岛”等问题,... 大数据BI(Business Intelligence)技术在数据挖掘、数据分析、数据可视化等方面的功能实现较成熟,已广泛应用在制造业、零售业等行业。将大数据BI技术融入智慧工地,建立数据可视化平台,可以解决智慧工地存在的局部“数据孤岛”等问题,让智慧工地的海量数据得到最大价值体现。文章以某大型市政特级资质建筑工程集团为例,采用基于Hadoop+Spark的技术架构,以在建的大型地铁市政工程项目为实践,主要论述数据可视化平台架构选型、建立数据仓库、数据ETL、数据可视、Spark引擎框架与MapReduce在数据处理性能方面的对比等。构建基于大数据BI技术的智慧工地可视化数据平台,能有效推进智慧工地的开展,提升对工程项目在质量安全、绿色施工、成本管控等方面的管理。 展开更多
关键词 智慧工地 extract-transform-load(ETL) 大数据BI(Business Intelligence) Spark 数据可视化
在线阅读 下载PDF
基于Hadoop技术的加速器大数据安全存储与高效分析系统设计 被引量：11
4
作者 赵子晨 杨锋 +3 位作者 郭玉辉 陈又新 李钊扬 刘海涛 《现代电子技术》 北大核心 2024年第8期9-17,共9页
为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬... 为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。 展开更多
关键词 数据仓库 Hadoop技术 加速器 大数据 安全存储 HBASE ETL
在线阅读 下载PDF
基于Kettle的Web数据集成平台设计与实现
5
作者 赵吉 王泽豪 《无线互联科技》 2024年第24期38-41,47,共5页
在信息化背景下,数据集成可以有效减少数据冗余,提高数据利用率,实现数据的互联共通。文章基于开源Kettle工具,采用Quartz设计并实现了一套B/S模式下具有用户管理、数据集成转换、图形化“拖拉拽”的在线数据集成平台。该平台实现了对ET... 在信息化背景下,数据集成可以有效减少数据冗余,提高数据利用率,实现数据的互联共通。文章基于开源Kettle工具,采用Quartz设计并实现了一套B/S模式下具有用户管理、数据集成转换、图形化“拖拉拽”的在线数据集成平台。该平台实现了对ETL作业的统筹调度、监督和控制,从而提高应用程序开发的效率,有效降低开发和运维成本。 展开更多
关键词 数据集成平台 数据抽取清洗载入 二次开发 KETTLE QUARTZ
在线阅读 下载PDF
基于ETL技术的多源异构数据融合方法研究 被引量：4
6
作者 杨国立 姜树明 《齐鲁工业大学学报》 CAS 2024年第4期18-24,共7页
在多源大数据融合阶段处理历年异构的数据时,涉及到多指标和多维度的问题,需要清洗、转换、映射和对齐等操作。相关数据处理工具和方法逐步涌现,但仍难以解决大量数据的交叉融合问题。为此,研究了基于ETL技术的多源异构数据融合方法,分... 在多源大数据融合阶段处理历年异构的数据时,涉及到多指标和多维度的问题,需要清洗、转换、映射和对齐等操作。相关数据处理工具和方法逐步涌现,但仍难以解决大量数据的交叉融合问题。为此,研究了基于ETL技术的多源异构数据融合方法,分析了常用的ETL工具和数据融合技术,包括数据抽取、转换、加载工具以及数据处理算法。分析了面向灵活需求、业务交叉较多和实时数据流场景时,遇到的数据源异构、数据结构差异、数据更新频率困难等问题,并从模块化设计、逻辑和参数分离、标准化构件库、轻量级JSON格式的配置文件等方面研究了ETL工具模块化扩展和构件重复使用的方法,以便更好地处理大规模异构数据。解决了多源大数据融合阶段的交叉融合问题,对提高数据处理效率、确保数据质量以及支持更深入的数据分析和决策具有重要意义。 展开更多
关键词 教育统计 数据挖掘 转换-抽取-加载 软件工程
在线阅读 下载PDF
一种高校招生录取数据清洗方法与系统实现
7
作者 高晓东 季荣军 《南通职业大学学报》 2024年第1期70-76,共7页
全国普通高校招生网上录取子系统提供了以DBF数据格式的数据下载功能,随着高考制度的改革,不同省份不同批次的招生录取数据结构存在较大差异,对高校后期录取数据的清洗和应用带来一定挑战。为解决招生录取异构数据的标准化问题,对录取... 全国普通高校招生网上录取子系统提供了以DBF数据格式的数据下载功能,随着高考制度的改革,不同省份不同批次的招生录取数据结构存在较大差异,对高校后期录取数据的清洗和应用带来一定挑战。为解决招生录取异构数据的标准化问题,对录取数据结构差异进行分析,通过自定义数据解析规则实现数据抽取和清洗,以灵活应对数据结构变化,并在不修改管理系统代码的前提下,完成系统开发和实现。实践表明,系统能够对异构数据完成自动解析并生成学生档案三联表,提高了高校招生录取数据管理工作效率,可为建立权威、统一的数据中心提供数据基础。 展开更多
关键词 高校招生 录取数据 数据清洗 ETL
在线阅读 下载PDF
基于多级特征提取框架的风电机组载荷预测方法 被引量：1
8
作者 岳健 史秉帅 +2 位作者 范寒 张克 张海龙 《太阳能学报》 CSCD 北大核心 2024年第12期350-359,共10页
该文研究了对风电机组进行载荷预测的问题,主要从两个方面展开:SCADA数据增强与使用多级特征提取框架做载荷预测。首先采用生成对抗网络(WGAN-GP)进行数据增强。在载荷预测方面,不同于传统的Transformer模型应用于文本数据,该文使用风... 该文研究了对风电机组进行载荷预测的问题,主要从两个方面展开:SCADA数据增强与使用多级特征提取框架做载荷预测。首先采用生成对抗网络(WGAN-GP)进行数据增强。在载荷预测方面,不同于传统的Transformer模型应用于文本数据,该文使用风电机组运行时的结构化数据,且为提高特征提取能力,提出一种多级特征提取器进行特征提取。最后使用改进的Transformer模型和DNN、ResNet等模型的结果进行对比,发现多级特征提取模型对于与目标特征相关性较高的数据有较好的预测效果,同时对于相关性较低的数据也具有较好的非线性提取能力。 展开更多
关键词 风电机组 TRANSFORMER 特征提取 生成对抗网络 载荷预测 数据增强
原文传递
基于最小二乘支持向量机的变压器空载损耗在线测量研究
9
作者 侯永辉 王赛爽 李帅 《自动化与仪器仪表》 2024年第12期94-97,103,共5页
配电网中变压器在运行过程中,由于变压器微小损耗的长时间累积,会使配电网承担巨大的电力资源损耗。为有效降低配电网中电力资源的浪费,稳定配电网安全运行,提出基于最小二乘支持向量机的变压器空载损耗在线测量研究。该方法首先根据变... 配电网中变压器在运行过程中,由于变压器微小损耗的长时间累积,会使配电网承担巨大的电力资源损耗。为有效降低配电网中电力资源的浪费,稳定配电网安全运行,提出基于最小二乘支持向量机的变压器空载损耗在线测量研究。该方法首先根据变压器工作原理构建变压器磁路模型,并对变压器空载状态电流变化情况展开具体分析。通过分析结果获得实际变压器空载电流值,并以此获取变压器空载状态下的磁场能量变量特征以及电源能量变化特征;然后采用最小二乘支持向量机构建变压器空载损耗在线测量模型,将提取的空载损耗特征作为输入变量置入建立的测量模型中开展学习训练;最后根据模型的输出结果,实现变压器空载损耗的在线实时精准测量。实验结果表明,利用该方法开展变压器损耗测量时,测量精度高、测量效果好,具有实际应用价值。 展开更多
关键词 最小二乘支持向量机 变压器 空载损耗 测量方法 损耗特征提取
原文传递
面向数据质量的ETL过程建模与实现 被引量：23
10
作者 贾自艳 黄友平 +3 位作者 罗平 李嘉佑 秦亮曦 史忠植 《系统仿真学报》 CAS CSCD 2004年第5期907-911,914,共6页
为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程... 为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。 展开更多
关键词 数据仓库 数据质量 抽取-转换-装载(ETL) 数据挖掘 数据清洗
在线阅读 下载PDF
一种通用的多数据库间数据抽取方法及应用 被引量：16
11
作者 刘如九 张振山 柴天佑 《北京交通大学学报》 EI CAS CSCD 北大核心 2008年第4期14-18,共5页
为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽... 为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作. 展开更多
关键词 数据仓库 数据的抽取转换加载 数据迁移 关系型数据库
在线阅读 下载PDF
ETL应用优化设计与实现研究 被引量：9
12
作者 张靖 雷航 +1 位作者 唐雪飞 孟帅朋 《微电子学与计算机》 CSCD 北大核心 2012年第4期134-137,共4页
分析和研究了传统ETL工作流程处理过程,采用JAVA技术,提出了ETL工作流程优化方案,对传统ETL性能问题提出了优化办法,并进行优化处理,很好地解决了数据集成处理过程数据融合、数据一致化和数据同步更新等重要问题,减轻了瓶颈制约,节约了... 分析和研究了传统ETL工作流程处理过程,采用JAVA技术,提出了ETL工作流程优化方案,对传统ETL性能问题提出了优化办法,并进行优化处理,很好地解决了数据集成处理过程数据融合、数据一致化和数据同步更新等重要问题,减轻了瓶颈制约,节约了处理时间开销.实际应用证明,优化后的ETL流程方案有效地减少了传统ETL工作流的时间花费,执行效率好,具有良好的实践应用价值. 展开更多
关键词 ETL 优化 设计 效率 性能
在线阅读 下载PDF
数据清理及其在数据仓库中的应用 被引量：17
13
作者 庄晓青 徐立臻 董逸生 《计算机应用研究》 CSCD 北大核心 2003年第6期147-149,共3页
数据仓库是为决策服务的,这里的数据是从各种异构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性,因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中... 数据仓库是为决策服务的,这里的数据是从各种异构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性,因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中数据的错误并加以清除或修改,发现和纠正数据源之间数据的不一致性。分析了数据清理概念和方法以及在数据仓库中的应用。 展开更多
关键词 数据仓库 数据清理 模式冲突 ETL(Extraction Transformation Loading)
在线阅读 下载PDF
调度自动化系统增强型数据仓库平台构建及应用 被引量：11
14
作者 何晓峰 王钢 李海锋 《电力系统自动化》 EI CSCD 北大核心 2008年第4期81-84,102,共5页
数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系... 数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等构成,从而实现了数据抽取和转换能力、实时响应性能以及对突发事件捕获能力的增强。在已投入电网运行的自开发SCUT2008电网调度自动化系统中的应用与测试,证明了其性能的增强。 展开更多
关键词 调度自动化系统 数据仓库 抽取 转换和加载(ETL) 实时数据库 主动规则
在线阅读 下载PDF
基于工作流的数据抽取转换加载 被引量：5
15
作者 谭支鹏 冯丹 +1 位作者 吴永英 彭峰 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2006年第2期61-63,69,共4页
将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法... 将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法.所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用. 展开更多
关键词 数据的抽取转换加载 数据仓库 数据迁移 工作流
在线阅读 下载PDF
商务智能在电网调度控制系统数据分析中的应用 被引量：12
16
作者 宋鑫 郭骏 +3 位作者 尹寿垚 张勇 张哲 王茂海 《电力系统自动化》 EI CSCD 北大核心 2015年第12期93-96 145,145,共5页
为了准确定位电网调度控制运行的异常信息,需要从电网调度控制系统的大量历史信息中获取关键信息,文中从商务智能(BI)的角度提出了海量数据统计分析的解决方案。首先阐述了BI的概念及在电网调度控制系统中推广应用困难的原因,接着介绍... 为了准确定位电网调度控制运行的异常信息,需要从电网调度控制系统的大量历史信息中获取关键信息,文中从商务智能(BI)的角度提出了海量数据统计分析的解决方案。首先阐述了BI的概念及在电网调度控制系统中推广应用困难的原因,接着介绍了BI整合到电网调度控制系统中所必备的核心软件模块,最后结合智能电网调度控制系统(简称"D5000系统")的调控业务,以实例展示如何将BI融合到D5000系统中。 展开更多
关键词 智能电网调度控制系统 商务智能 星形模型 抽取—转换—加载 DASHBOARD
在线阅读 下载PDF
基于大数据的医院信息集成平台建设与应用 被引量：33
17
作者 黄跃 魏岚 +1 位作者 张蕾 费晓璐 《中国医学装备》 2019年第4期103-105,共3页
目的:构建医院大数据集成平台,实现信息系统的互联互通和信息共享,推进智慧医疗的发展。方法:构建医院大数据集成平台,对医疗机构多系统信息进行整合,对多系统、多格式的数据进行抽取-转换-加载(ETL),提供统一的医疗数据访问服务,降低... 目的:构建医院大数据集成平台,实现信息系统的互联互通和信息共享,推进智慧医疗的发展。方法:构建医院大数据集成平台,对医疗机构多系统信息进行整合,对多系统、多格式的数据进行抽取-转换-加载(ETL),提供统一的医疗数据访问服务,降低信息交互带来的系统压力。结果:医院集成平台为医疗机构信息化建设提供统一的数据标准和接口标准,实现了医疗机构不同业务系统与集成平台的有效集成与信息共享;临床信息一体化应用中报表233张,指标386个,涉及门急诊、住院、医技工作量、护理、院感及重点监控等10余类。提升医护工作者工作效率及临床诊疗质量,实现高效运营、精益管理和优质服务。结论:基于大数据的医院信息集成平台的建设,可实现医疗机构有效监管与科学决策,提升各职能部门、临床科室对数据利用以及医疗机构服务的核心竞争力,逐步推进智慧医院建设的战略目标。 展开更多
关键词 集成平台 数据中心 抽取-转换-加载 智慧医疗
暂未订购
基于XML的数据转换系统SuperETL 被引量：4
18
作者 柴胜 周云轩 +2 位作者 黄永平 王洪媛 王云霄 《计算机应用研究》 CSCD 北大核心 2006年第1期16-18,共3页
针对政府机构和企事业单位对数据资源整合的需求,提出一个数据转换系统SuperETL,主要介绍其设计目标、体系结构,并给出了系统中任务的XML定义标准。测试结果表明,SuperETL能够高效、智能地完成数据抽取(Extract)、清洗(C leaning)、转换... 针对政府机构和企事业单位对数据资源整合的需求,提出一个数据转换系统SuperETL,主要介绍其设计目标、体系结构,并给出了系统中任务的XML定义标准。测试结果表明,SuperETL能够高效、智能地完成数据抽取(Extract)、清洗(C leaning)、转换(Transformation)、装载(Loading)及ETL任务。 展开更多
关键词 抽取 清洗 转换 装载
在线阅读 下载PDF
基于空间ETL实现VCT数据交换共享 被引量：7
19
作者 陈红华 王志杰 +1 位作者 郑加柱 史晓云 《测绘科学》 CSCD 北大核心 2012年第1期185-186,191,共3页
本文在外部数据交换基础上,提出基于空间ETL的数据交换共享方式。采用VCT格式作为统一的数据交换格式,结合ETL数据流动的思想,对数据进行处理。本文以Geodatabase到VCT的相互转换为例,采用ArcGIS组件开发,从而实现GIS空间数据的交换共享。
关键词 空间ETL 数据共享 矢量数据交换格式(VCT)
原文传递
基于电信数据仓库系统的ETL研究与设计 被引量：12
20
作者 李颖 郝克刚 葛玮 《计算机应用与软件》 CSCD 2009年第1期178-180,共3页
电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XM... 电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率。 展开更多
关键词 ETL 电信 数据仓库 大数据量
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 8 下一页 到第 页
使用帮助 返回顶部