期刊文献+
共找到151篇文章
< 1 2 8 >
每页显示 20 50 100
基于OpenTelemetry的铁路分布式应用配置关系自动发现系统设计与实现
1
作者 刘然 李光兆 +1 位作者 刘忏 季涵婷 《铁路计算机应用》 2025年第8期38-43,共6页
为解决铁路分布式应用梳理组件关系难、绘制拓扑难、故障定位难等问题,提升铁路分布式应用的综合管理能力和运行维护(简称:运维)保障能力,提出一种基于OpenTelemetry的铁路分布式应用配置关系自动发现系统。通过采集探针获取链路追踪数... 为解决铁路分布式应用梳理组件关系难、绘制拓扑难、故障定位难等问题,提升铁路分布式应用的综合管理能力和运行维护(简称:运维)保障能力,提出一种基于OpenTelemetry的铁路分布式应用配置关系自动发现系统。通过采集探针获取链路追踪数据,经ETL(Extract-Transform-Load)转换为配置库可识别的结构化关系,实现配置关系发现、网络扫描、深度发现等功能。应用表明,该系统可有效解决上述问题,提高应用数据可观测性,为铁路分布式应用运维管理提供数据支撑。 展开更多
关键词 分布式应用 分布式链路追踪 OpenTelemetry 配置关系 ETL转换
在线阅读 下载PDF
基于分数阶模型的低电流谐振式CT取能研究
2
作者 倪星 程志远 桑卓 《电力电子技术》 2025年第11期16-20,共5页
鉴于目前电流互感器(CT)取能的励磁模型难以反映电路系统的动态特性,本文拟采用分数阶对低电流谐振式CT取能电路进行建模研究。首先,建立了分数阶阻抗模型,深入分析了该模型下分数阶电容与负载功率的关系;然后,以负载吸收最大功率为目标... 鉴于目前电流互感器(CT)取能的励磁模型难以反映电路系统的动态特性,本文拟采用分数阶对低电流谐振式CT取能电路进行建模研究。首先,建立了分数阶阻抗模型,深入分析了该模型下分数阶电容与负载功率的关系;然后,以负载吸收最大功率为目标,结合遗传算法对分数阶电容及其阶次寻优。结果表明,分数阶建模方法可提升电路设计的自由度,为CT取能设计和优化提供了新的思路和方法;最后,通过仿真和实验验证了分数阶模型的正确性与有效性。 展开更多
关键词 取能 电流互感器 遗传算法 负载功率
在线阅读 下载PDF
面向数据质量的ETL过程建模与实现 被引量:23
3
作者 贾自艳 黄友平 +3 位作者 罗平 李嘉佑 秦亮曦 史忠植 《系统仿真学报》 CAS CSCD 2004年第5期907-911,914,共6页
为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程... 为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。 展开更多
关键词 数据仓库 数据质量 抽取-转换-装载(ETL) 数据挖掘 数据清洗
在线阅读 下载PDF
一种通用的多数据库间数据抽取方法及应用 被引量:16
4
作者 刘如九 张振山 柴天佑 《北京交通大学学报》 EI CAS CSCD 北大核心 2008年第4期14-18,共5页
为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽... 为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作. 展开更多
关键词 数据仓库 数据的抽取转换加载 数据迁移 关系型数据库
在线阅读 下载PDF
ETL应用优化设计与实现研究 被引量:9
5
作者 张靖 雷航 +1 位作者 唐雪飞 孟帅朋 《微电子学与计算机》 CSCD 北大核心 2012年第4期134-137,共4页
分析和研究了传统ETL工作流程处理过程,采用JAVA技术,提出了ETL工作流程优化方案,对传统ETL性能问题提出了优化办法,并进行优化处理,很好地解决了数据集成处理过程数据融合、数据一致化和数据同步更新等重要问题,减轻了瓶颈制约,节约了... 分析和研究了传统ETL工作流程处理过程,采用JAVA技术,提出了ETL工作流程优化方案,对传统ETL性能问题提出了优化办法,并进行优化处理,很好地解决了数据集成处理过程数据融合、数据一致化和数据同步更新等重要问题,减轻了瓶颈制约,节约了处理时间开销.实际应用证明,优化后的ETL流程方案有效地减少了传统ETL工作流的时间花费,执行效率好,具有良好的实践应用价值. 展开更多
关键词 ETL 优化 设计 效率 性能
在线阅读 下载PDF
数据清理及其在数据仓库中的应用 被引量:17
6
作者 庄晓青 徐立臻 董逸生 《计算机应用研究》 CSCD 北大核心 2003年第6期147-149,共3页
数据仓库是为决策服务的,这里的数据是从各种异构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性,因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中... 数据仓库是为决策服务的,这里的数据是从各种异构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性,因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中数据的错误并加以清除或修改,发现和纠正数据源之间数据的不一致性。分析了数据清理概念和方法以及在数据仓库中的应用。 展开更多
关键词 数据仓库 数据清理 模式冲突 ETL(Extraction Transformation Loading)
在线阅读 下载PDF
调度自动化系统增强型数据仓库平台构建及应用 被引量:11
7
作者 何晓峰 王钢 李海锋 《电力系统自动化》 EI CSCD 北大核心 2008年第4期81-84,102,共5页
数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系... 数据仓库是信息管理和分析型应用的有效平台。文中针对目前数据仓库不能支持实时数据存储处理和短时战术决策的局限性,提出了一种调度自动化系统增强型数据仓库平台体系结构,主要由信息一体化节点、实时数据处理中心、主动数据仓库和系统管理工具等构成,从而实现了数据抽取和转换能力、实时响应性能以及对突发事件捕获能力的增强。在已投入电网运行的自开发SCUT2008电网调度自动化系统中的应用与测试,证明了其性能的增强。 展开更多
关键词 调度自动化系统 数据仓库 抽取 转换和加载(ETL) 实时数据库 主动规则
在线阅读 下载PDF
基于工作流的数据抽取转换加载 被引量:5
8
作者 谭支鹏 冯丹 +1 位作者 吴永英 彭峰 《华中科技大学学报(自然科学版)》 EI CAS CSCD 北大核心 2006年第2期61-63,69,共4页
将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法... 将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法.所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用. 展开更多
关键词 数据的抽取转换加载 数据仓库 数据迁移 工作流
在线阅读 下载PDF
商务智能在电网调度控制系统数据分析中的应用 被引量:12
9
作者 宋鑫 郭骏 +3 位作者 尹寿垚 张勇 张哲 王茂海 《电力系统自动化》 EI CSCD 北大核心 2015年第12期93-96 145,145,共5页
为了准确定位电网调度控制运行的异常信息,需要从电网调度控制系统的大量历史信息中获取关键信息,文中从商务智能(BI)的角度提出了海量数据统计分析的解决方案。首先阐述了BI的概念及在电网调度控制系统中推广应用困难的原因,接着介绍... 为了准确定位电网调度控制运行的异常信息,需要从电网调度控制系统的大量历史信息中获取关键信息,文中从商务智能(BI)的角度提出了海量数据统计分析的解决方案。首先阐述了BI的概念及在电网调度控制系统中推广应用困难的原因,接着介绍了BI整合到电网调度控制系统中所必备的核心软件模块,最后结合智能电网调度控制系统(简称"D5000系统")的调控业务,以实例展示如何将BI融合到D5000系统中。 展开更多
关键词 智能电网调度控制系统 商务智能 星形模型 抽取—转换—加载 DASHBOARD
在线阅读 下载PDF
基于大数据的医院信息集成平台建设与应用 被引量:33
10
作者 黄跃 魏岚 +1 位作者 张蕾 费晓璐 《中国医学装备》 2019年第4期103-105,共3页
目的:构建医院大数据集成平台,实现信息系统的互联互通和信息共享,推进智慧医疗的发展。方法:构建医院大数据集成平台,对医疗机构多系统信息进行整合,对多系统、多格式的数据进行抽取-转换-加载(ETL),提供统一的医疗数据访问服务,降低... 目的:构建医院大数据集成平台,实现信息系统的互联互通和信息共享,推进智慧医疗的发展。方法:构建医院大数据集成平台,对医疗机构多系统信息进行整合,对多系统、多格式的数据进行抽取-转换-加载(ETL),提供统一的医疗数据访问服务,降低信息交互带来的系统压力。结果:医院集成平台为医疗机构信息化建设提供统一的数据标准和接口标准,实现了医疗机构不同业务系统与集成平台的有效集成与信息共享;临床信息一体化应用中报表233张,指标386个,涉及门急诊、住院、医技工作量、护理、院感及重点监控等10余类。提升医护工作者工作效率及临床诊疗质量,实现高效运营、精益管理和优质服务。结论:基于大数据的医院信息集成平台的建设,可实现医疗机构有效监管与科学决策,提升各职能部门、临床科室对数据利用以及医疗机构服务的核心竞争力,逐步推进智慧医院建设的战略目标。 展开更多
关键词 集成平台 数据中心 抽取-转换-加载 智慧医疗
暂未订购
基于XML的数据转换系统SuperETL 被引量:4
11
作者 柴胜 周云轩 +2 位作者 黄永平 王洪媛 王云霄 《计算机应用研究》 CSCD 北大核心 2006年第1期16-18,共3页
针对政府机构和企事业单位对数据资源整合的需求,提出一个数据转换系统SuperETL,主要介绍其设计目标、体系结构,并给出了系统中任务的XML定义标准。测试结果表明,SuperETL能够高效、智能地完成数据抽取(Extract)、清洗(C leaning)、转换... 针对政府机构和企事业单位对数据资源整合的需求,提出一个数据转换系统SuperETL,主要介绍其设计目标、体系结构,并给出了系统中任务的XML定义标准。测试结果表明,SuperETL能够高效、智能地完成数据抽取(Extract)、清洗(C leaning)、转换(Transformation)、装载(Loading)及ETL任务。 展开更多
关键词 抽取 清洗 转换 装载
在线阅读 下载PDF
基于空间ETL实现VCT数据交换共享 被引量:7
12
作者 陈红华 王志杰 +1 位作者 郑加柱 史晓云 《测绘科学》 CSCD 北大核心 2012年第1期185-186,191,共3页
本文在外部数据交换基础上,提出基于空间ETL的数据交换共享方式。采用VCT格式作为统一的数据交换格式,结合ETL数据流动的思想,对数据进行处理。本文以Geodatabase到VCT的相互转换为例,采用ArcGIS组件开发,从而实现GIS空间数据的交换共享。
关键词 空间ETL 数据共享 矢量数据交换格式(VCT)
原文传递
基于电信数据仓库系统的ETL研究与设计 被引量:12
13
作者 李颖 郝克刚 葛玮 《计算机应用与软件》 CSCD 2009年第1期178-180,共3页
电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XM... 电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading)。通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统。采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率。 展开更多
关键词 ETL 电信 数据仓库 大数据量
在线阅读 下载PDF
面向数据质量的ETL框架的设计与实现 被引量:20
14
作者 李庆阳 彭宏 《计算机工程与设计》 CSCD 北大核心 2010年第9期2057-2060,共4页
针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建... 针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构。根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等。该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理。基于该设计思想开发一个ETL工具-DQETL。DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理。最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤。 展开更多
关键词 数据仓库 数据质量 抽取-转换-装载(ETL) 规则推导 数据清洗
在线阅读 下载PDF
基于规则引擎的数据清洗 被引量:18
15
作者 叶舟 王东 《计算机工程》 EI CAS CSCD 北大核心 2006年第23期52-54,共3页
以往的数据清洗研究存在以下缺陷:检测和修复动作要么使用灵活性差的硬编码,要么依靠灵活却低效的人工判断。该文提出了一个使用规则来描述清洗逻辑,使用规则引擎来执行清洗逻辑,从而能够处理各种数据质量问题的数据清洗架构REBDCA,解... 以往的数据清洗研究存在以下缺陷:检测和修复动作要么使用灵活性差的硬编码,要么依靠灵活却低效的人工判断。该文提出了一个使用规则来描述清洗逻辑,使用规则引擎来执行清洗逻辑,从而能够处理各种数据质量问题的数据清洗架构REBDCA,解决了该问题。展示了REBDCA和一个ETL工具的集成,测试了REBDCA的性能,并和用硬编码完成相同逻辑的方案进行了性能对比。 展开更多
关键词 规则引擎 数据清洗 抽取-转换-装载
在线阅读 下载PDF
国家图书馆数据管理与分析平台建设 被引量:17
16
作者 张宁 李雪 《国家图书馆学刊》 CSSCI 北大核心 2016年第6期80-89,共10页
国家图书馆数据管理与分析平台是国家图书馆大数据工程的一个实验性项目。该项目选取国家图书馆五个核心系统的数据,在虚拟化平台上搭建相应的系统平台,通过数据收集、ETL处理、数据统计与分析等流程,形成统一的数据处理规范,并建立读... 国家图书馆数据管理与分析平台是国家图书馆大数据工程的一个实验性项目。该项目选取国家图书馆五个核心系统的数据,在虚拟化平台上搭建相应的系统平台,通过数据收集、ETL处理、数据统计与分析等流程,形成统一的数据处理规范,并建立读者、资源和行为数据的标签化体系,从数据层面上揭示国家图书馆的馆藏资源、资源利用情况和用户行为等重要信息,为国家图书馆大数据利用提供理论与实践依据。 展开更多
关键词 数据处理与分析 ETL 大数据 标签体系
在线阅读 下载PDF
基于关键属性比对的增量数据抽取方法 被引量:4
17
作者 刘胜 杨岳湘 +1 位作者 邓劲生 李阳 《计算机工程与应用》 CSCD 2012年第4期115-117,共3页
概述了ETL目前常用的增量数据抽取方法,在全表比对方法基础上,提出了基于关键属性比对的增量数据提取方法,描述了关键属性提取算法,并建立其模型,用实验验证了基于关键属性比对的方法优于全表比对方法和全表删除插入方法。
关键词 关键属性 增量数据抽取 全表比对 提取转换加载(ETL)
在线阅读 下载PDF
基于语义树的非结构化年鉴Excel表格的ETL方法 被引量:3
18
作者 赵乐 赵宏宇 +1 位作者 刘斌 陈彦如 《计算机应用》 CSCD 北大核心 2021年第S02期131-135,共5页
针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义... 针对计算机程序在对海量Excel表格中的中国城市年鉴数据进行抽取-转换-加载(ETL)时由于表格的非结构化格式导致的准确率和查全率较低的问题,提出了一种基于语义树的ETL方法。首先,通过数据与表格行名、列名的对应关系分别建立两棵语义树模型,利用两棵语义树生成包含数据项以及数据项所属行名、列名的元数据集合;然后,通过正则表达式对每个元数据所属行名、列名进行语义匹配,从该集合中删除不需要的分项或汇总项元数据;接着,通过三种基于字典的过滤策略进一步做数据清洗,将剩余的元数据导入到数据仓库中;最后,从总量30万个统计年鉴表格中随机抽取604个进行程序ETL与人工ETL对比,实验结果表明,所提出的程序ETL可达到人工ETL86.51%的准确率和95.15%的查全率,可以满足考察地方发展现状、编制和发展未来规划的需求。 展开更多
关键词 EXCEL表格 抽取-转换-加载 语义树 正则表达式 数据仓库
在线阅读 下载PDF
综合医院健康体检大数据标准化构建与应用 被引量:19
19
作者 姜树强 张建玲 +3 位作者 李玲 苏新 龙丽娟 马雯 《空军医学杂志》 2017年第3期213-215,共3页
目的总结分析医院体检大数据结构类型,规范医院体检数据标准,建立标准化体检数据库,创新综合医院体检以体检中心为枢纽的院前—院中—院后"一体化"医疗管理服务模式。方法对空军总医院2012—2015年的健康体检数据进行分析,运... 目的总结分析医院体检大数据结构类型,规范医院体检数据标准,建立标准化体检数据库,创新综合医院体检以体检中心为枢纽的院前—院中—院后"一体化"医疗管理服务模式。方法对空军总医院2012—2015年的健康体检数据进行分析,运用中国健康促进基金会医学物联网发展专项基金"体检与健康管理大数据应用多中心研究课题"的体检大数据清洗与分析平台,根据《体检检查项目数据集》和《体检检查项目数据值域代码》对我院体检数据进行标准化处理。结果将我院体检数据进行全面的结构化处理与分析,总结了医院体检大数据标准化建设的核心内容和应用的原则,建立了医院体检标准数据库,夯实了医院基本数字化、智能化功能的基础性工作。结论构建体检数据标准化与应用,是健康管理学科内涵建设的基础环节,是医院体检质量控制和优化服务流程的核心工作,是筑牢精准健康管理服务的重要前提,是提升健康体检市场竞争力的关键所在。 展开更多
关键词 标准化 数据清洗 大数据分析 服务模式
暂未订购
基于CIM/E文件的电网全景建模技术研究 被引量:6
20
作者 邓大为 李可 陆俊 《广东电力》 2013年第11期49-53,共5页
针对电网进行全景建模需求不断增长的问题,对多个电力自动化专业系统和数据集成技术展开研究,提出一种创建电网全景模型的解决方案。通过电力自动化专业系统提供的模型描述规范语言(common information model,CIM/E)文件中获取子模型数... 针对电网进行全景建模需求不断增长的问题,对多个电力自动化专业系统和数据集成技术展开研究,提出一种创建电网全景模型的解决方案。通过电力自动化专业系统提供的模型描述规范语言(common information model,CIM/E)文件中获取子模型数据,利用数据提取、转换和加载(extraction-transformation-loading,ETL)技术将子模型数据抽取、转换并集成到统一的电网全景模型中,解决了直接访问各应用系统数据库会暴露数据库设计及对数据库性能产生影响的问题。 展开更多
关键词 模型描述规范语言(CIM E) 全景建模 数据集成 提取、转换和加载(ETL) 电网
在线阅读 下载PDF
上一页 1 2 8 下一页 到第
使用帮助 返回顶部