期刊文献+
共找到958篇文章
< 1 2 48 >
每页显示 20 50 100
一种基于ETL技术的空天地城市水体遥感监测云平台
1
作者 周子媛 潘华 +1 位作者 刘少杰 王森 《中国科技信息》 2026年第1期67-69,共3页
本文针对城市水体水质智能监测与生态治理应用场景,提出基于ETL技术的空天地一体化智能监测云平台的解决方案。在城市水体水质监测监管与生态治理行业起到提供信息聚合与辅助决策作用。1背景.城市水体是内陆水体的重要组成部分,对地球... 本文针对城市水体水质智能监测与生态治理应用场景,提出基于ETL技术的空天地一体化智能监测云平台的解决方案。在城市水体水质监测监管与生态治理行业起到提供信息聚合与辅助决策作用。1背景.城市水体是内陆水体的重要组成部分,对地球生物化学循环和人类社会发展至关重要。然而,城市高强度的人类活动常导致水质恶化、湿地退化等生态环境问题。尽管现有水生态治理技术较为成熟,但因治理范围广、缺乏系统监测手段,难以准确评估治理效果并及时优化策略。因此,开展城市水体遥感监测与水质评估模型研究具有重要意义。 展开更多
关键词 etl技术 空天地一体化 水质监测 城市水体
在线阅读 下载PDF
基于OPCUA和ETL的伺服阀综合应用系统设计 被引量:2
2
作者 何军红 黎长鑫 董方辰 《工业仪表与自动化装置》 2025年第1期29-35,87,共8页
针对伺服阀生产过程中存在的设备种类繁多、不同供应商设备之间无法交换数据、数据集成工作复杂困难的问题,提出基于OPC UA (Object Linking and Embedding for Process Control Unified Architecture)和ETL (Extract-Transform-Load)... 针对伺服阀生产过程中存在的设备种类繁多、不同供应商设备之间无法交换数据、数据集成工作复杂困难的问题,提出基于OPC UA (Object Linking and Embedding for Process Control Unified Architecture)和ETL (Extract-Transform-Load)的综合解决方案。该方案使用OPC UA作为通信协议完成设备之间的高效通信,利用ETL技术设计并实现了伺服阀综合应用系统。样机试验验证了方案的有效性。该方案实现了产线信息化过程中的设备互操作能力,是确保伺服阀质量可靠性和性能一致性的关键基础技术。 展开更多
关键词 OPC UA etl技术 伺服阀 多源数据融合
在线阅读 下载PDF
增量式ETL工具的研究与实现 被引量:20
3
作者 章水鑫 徐宏炳 于立 《现代计算机》 2005年第3期6-10,共5页
利用数据源的增量数据对数据仓库进行维护,可以有效提高ETL效率。现有通用ETL工具在增量抽取方面存在一些问题,如不能抽取多个异构数据源的增量数据以及在处理增量数据时造成数据丢失的异常问题。本文从实践角度设计的增量式ETL工具采... 利用数据源的增量数据对数据仓库进行维护,可以有效提高ETL效率。现有通用ETL工具在增量抽取方面存在一些问题,如不能抽取多个异构数据源的增量数据以及在处理增量数据时造成数据丢失的异常问题。本文从实践角度设计的增量式ETL工具采用集成多种增量数据捕获方式,解决异构数据源在捕获增量数据上的差异;在数据处理过程中,通过辅助表的手段解决了数据丢失的问题。在文章的最后,还介绍了ETL过程中数据转换和转换调度的实现。 展开更多
关键词 增量式etl工具 数据源 数据仓库 etl效率 SEUetl工具 增量数据
在线阅读 下载PDF
An Overview of ETL Techniques,Tools,Processes and Evaluations in Data Warehousing
4
作者 Bilal Khan Saifullah Jan +1 位作者 Wahab Khan Muhammad Imran Chughtai 《Journal on Big Data》 2024年第1期1-20,共20页
The extraction,transformation,and loading(ETL)process is a crucial and intricate area of study that lies deep within the broad field of data warehousing.This specific,yet crucial,aspect of data management fills the kn... The extraction,transformation,and loading(ETL)process is a crucial and intricate area of study that lies deep within the broad field of data warehousing.This specific,yet crucial,aspect of data management fills the knowledge gap between unprocessed data and useful insights.Starting with basic information unique to this complex field,this study thoroughly examines the many issues that practitioners encounter.These issues include the complexities of ETL procedures,the rigorous pursuit of data quality,and the increasing amounts and variety of data sources present in the modern data environment.The study examines ETL methods,resources,and the crucial standards that guide their assessment in the midst of this investigation.These components form the foundation of data warehousing and act as a safety net to guarantee the dependability,accuracy,and usefulness of data assets.This publication takes on the function of a useful guide for academics,professionals,and students,despite the fact that it does not give empirical data.It gives students a thorough grasp of the ETL paradigm in the context of data warehousing and equips them with the necessary skills to negotiate the complex world of data management.This program equips people to lead effective data warehousing initiatives,promoting a culture of informed decision-making and data-driven excellence in a world where data-driven decision-making is becoming more and more important. 展开更多
关键词 etl etl process etl techniques etl tools etl evaluation
在线阅读 下载PDF
基于MapReduce的分布式ETL多维数据模型研究 被引量:2
5
作者 宋杰 郝文宁 +2 位作者 陈刚 靳大尉 赵成 《计算机科学》 CSCD 北大核心 2013年第11A期263-266,共4页
针对MapReduce缺少对ETL上层数据模型的具体描述,提出了一种集成的基于MapReduce的分布式ETL(MapReduce Distributed ETL,简称MDETL)多维数据模型处理方法其,把对数据的处理分解成对数据属性(维和事实)的处理,解决了ETL上层具体数据模... 针对MapReduce缺少对ETL上层数据模型的具体描述,提出了一种集成的基于MapReduce的分布式ETL(MapReduce Distributed ETL,简称MDETL)多维数据模型处理方法其,把对数据的处理分解成对数据属性(维和事实)的处理,解决了ETL上层具体数据模型的构建问题。用真实的数据集评估了它的性能,实验结果表明MDETL具有很好的可扩展性。 展开更多
关键词 etl MAPREDUCE MDetl 事实
在线阅读 下载PDF
低压景观灯变压器ETL认证流程研究
6
作者 曹长权 凌研 《电力与能源进展》 2025年第6期255-262,共8页
低压景观灯作为现代城市照明系统的核心组成部分,其安全性与可靠性直接关乎公共安全和居民的生活品质。作为关键部件的低压景观灯变压器,在将高电压转换为低电压以供灯具使用的过程中,必须严格符合安全标准和性能要求。本文聚焦低压景... 低压景观灯作为现代城市照明系统的核心组成部分,其安全性与可靠性直接关乎公共安全和居民的生活品质。作为关键部件的低压景观灯变压器,在将高电压转换为低电压以供灯具使用的过程中,必须严格符合安全标准和性能要求。本文聚焦低压景观灯变压器的ETL认证,深入探讨其认证流程、标准要求及认证后的市场影响,旨在为相关企业和研究人员提供参考。 展开更多
关键词 景观灯 变压器 etl认证 应用开发
在线阅读 下载PDF
汉江数字孪生系统开发的ETL技术应用探索
7
作者 王奕 李水泉 +1 位作者 吴鸿虎 张成孝 《水资源研究》 2025年第3期287-294,共8页
近年来,数字孪生技术作为一种创新的数字化解决方案,在众多领域展现出巨大潜力。为贯彻水利部推进智慧水利建设的决策部署,汉江数字孪生系统的开发成为汉江流域管理的重要课题。数字孪生系统开发中需要分析、整合、汇聚多种数据,ETL技... 近年来,数字孪生技术作为一种创新的数字化解决方案,在众多领域展现出巨大潜力。为贯彻水利部推进智慧水利建设的决策部署,汉江数字孪生系统的开发成为汉江流域管理的重要课题。数字孪生系统开发中需要分析、整合、汇聚多种数据,ETL技术对于解决数字孪生系统开发中的部分痛点具有重要作用,在数据相关流程中扮演着关键角色。本文介绍了数字孪生系统开发概况,通过ETL技术应用于汉江数字孪生系统开发的案例,深入探讨了ETL在数字孪生系统开发中的应用实践及深远影响,并对未来发展方向进行了探索。 展开更多
关键词 etl 数字孪生系统 汉江流域 数据仓库 数据治理
在线阅读 下载PDF
基于CWM的商场数据仓库ETL系统架构研究 被引量:4
8
作者 雷启明 《商场现代化》 北大核心 2008年第26期39-40,共2页
在完成商场数据仓库数据模型的设计与构建后,数据的抽取、转换、加载成为建立数据仓库最重要的工作。针对商场数据仓库对ETL技术的要求,在研究CWM工作机制的基础上,提出了基于CWM的商场数据仓库ETL系统架构的设计。通过分析CWM对ETL提... 在完成商场数据仓库数据模型的设计与构建后,数据的抽取、转换、加载成为建立数据仓库最重要的工作。针对商场数据仓库对ETL技术的要求,在研究CWM工作机制的基础上,提出了基于CWM的商场数据仓库ETL系统架构的设计。通过分析CWM对ETL提供的技术支持,论证了系统架构的可行性和科学性。 展开更多
关键词 商场数据仓库 etl 元数据 CWM etl系统架构
在线阅读 下载PDF
数据ETL问题研究 被引量:4
9
作者 王新英 《湖南工程学院学报(自然科学版)》 2004年第3期63-65,共3页
数据ETL(DataExtraction,TransformationandLoading)是数据仓库、数据挖掘以及商业智能等技术的基石,其主要用来实现异构多数据源的数据集成.首先简单介绍了ETL概念、背景、应用领域,然后着重讨论了ETL在异构数据源集成和脏数据检测中... 数据ETL(DataExtraction,TransformationandLoading)是数据仓库、数据挖掘以及商业智能等技术的基石,其主要用来实现异构多数据源的数据集成.首先简单介绍了ETL概念、背景、应用领域,然后着重讨论了ETL在异构数据源集成和脏数据检测中的应用、所面临的挑战等问题.最后总结介绍了ETL的三大发展趋势. 展开更多
关键词 etl 数据集成 etl展望
在线阅读 下载PDF
数据仓库中ETL技术的研究 被引量:120
10
作者 张宁 贾自艳 史忠植 《计算机工程与应用》 CSCD 北大核心 2002年第24期213-216,共4页
作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL... 作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。 展开更多
关键词 数据仓库 etl 数据库 数据模型 数据抽取 数据转换 数据清洗 数据装载
在线阅读 下载PDF
面向数据集成的ETL系统设计与实现 被引量:21
11
作者 钟华 冯文澜 +1 位作者 谭红星 黄涛 《计算机科学》 CSCD 北大核心 2004年第9期87-89,F004,共4页
ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了... ETL是一类用于从一个或多个业务数据库中抽取数据,进行清理转换并加截到数据仓库中的工具。这个数据抽取、转换和加载的过程能够很好地应用于数据集成领域中,实现不同机构之间数据的交换与整合。通过分析数据集成的一些特点,我们提出了一个ETL过程模型,开发了一个面向数据集成的ETL系统DataIntegrator。本文对ETL过程模型、系统总体结构及若干关键技术进行论述。DataIntegrator已经应用于信息系统的建设中,为企业应用集成提供了很好的支持。 展开更多
关键词 etl 数据集成 过程模型 数据抽取 企业应用集成 数据仓库 转换 系统总体结构 业务数据 信息系统
在线阅读 下载PDF
增量ETL过程自动化产生方法的研究 被引量:19
12
作者 张旭峰 孙未未 +2 位作者 汪卫 冯雅慧 施伯乐 《计算机研究与发展》 EI CSCD 北大核心 2006年第6期1097-1103,共7页
ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自... ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自动化产生方法进行了研究,根据已有的全量ETL过程,可以自动产生增量ETL过程,从而降低设计增量ETL过程的代价·利用已有的物化视图增量维护的方法,给出了根据全量ETL过程自动产生增量ETL过程的方法·但是已有的研究集中在包含选择、投影、联接和聚合运算情况下物化视图的增量维护,未见对包括差运算情况下的讨论·作为研究工作的基础,还详细讨论了包含差运算情况下物化视图的增量维护问题· 展开更多
关键词 etl 数据仓库 增量维护 物化视图 自维护
在线阅读 下载PDF
面向数据质量的ETL过程建模与实现 被引量:23
13
作者 贾自艳 黄友平 +3 位作者 罗平 李嘉佑 秦亮曦 史忠植 《系统仿真学报》 CAS CSCD 2004年第5期907-911,914,共6页
为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程... 为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。 展开更多
关键词 数据仓库 数据质量 抽取-转换-装载(etl) 数据挖掘 数据清洗
在线阅读 下载PDF
数据仓库中ETL技术的探讨与实践 被引量:32
14
作者 王克龙 王玲 +1 位作者 王平立 宋斌 《计算机应用与软件》 CSCD 北大核心 2005年第11期30-31,78,共3页
支持数据抽取、转换、清洗和装载的工具集对任何数据仓库工程都是一个必不可少的关键部件。本文重点探讨了ETL技术以及ETL工具的选择原则,并结合具体实例详细介绍了ETL过程的设计和实现方法。
关键词 数据仓库 etl技术 数据抽取 数据挖掘 联机分析 可靠性
在线阅读 下载PDF
数据ETL工具通用框架设计 被引量:27
15
作者 周宏广 周继承 +1 位作者 彭银桥 龙思锐 《计算机应用》 CSCD 北大核心 2003年第12期96-98,共3页
异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架,使用通用数据访问接口来屏蔽各种数据源之间的差异,并以数据清洗为主要目的,为消除多数据源的模式冲突和数据冲突提... 异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架,使用通用数据访问接口来屏蔽各种数据源之间的差异,并以数据清洗为主要目的,为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。 展开更多
关键词 数据etl 数据集成 数据清洗
在线阅读 下载PDF
一种元数据驱动的ETL方法的研究 被引量:15
16
作者 宋杰 王大玲 +1 位作者 鲍玉斌 于戈 《小型微型计算机系统》 CSCD 北大核心 2007年第12期2167-2173,共7页
数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明... 数据仓库研究中最重要的问题之一是对ETL方法的研究.本研究提出ETL工具是元数据驱动的,以提供更好的柔性机制、扩展能力和可操作性.本文给出了一种基于SQL的元数据驱动的ETL方法的设计和实现细节,并且以国家海洋环境数据仓库为例,证明了这种方法的高效性. 展开更多
关键词 etl 数据仓库 元数据
在线阅读 下载PDF
基于CEP引擎的配电网运行监控信号大数据ETL方法 被引量:14
17
作者 葛贤军 艾明浩 +2 位作者 李志宏 汪旭 陈乃仕 《电工电能新技术》 CSCD 北大核心 2017年第9期36-42,共7页
电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机... 电力系统规模在不断扩大,配电网电气设备数量急剧增长且趋于精细化。大量且散乱的运行监控数据使得主动配电网各应用无法快速有效地提取有用信息以形成决策支持。本文利用复杂事件处理(CEP)引擎作为运行监控信号处理核心,通过Apriori机器学习算法定义和完善规则库,通过核心算法库对信号数据流进行规范化处理。整体采用ETL(Extract-Transform-Load)框架,将主动配电网中分散、零乱、标准不统一的信号数据整合、清洗后加载到数据仓库,并以多种数据接口输出至不同介质,供不同应用调用。基于CEP引擎的大数据ETL方法,可对运行监控信号进行快速、精确、有效的规范化处理,实现多数据源集成与输出,为主动配电网设备仿真、故障分析、状态估计等多种重要应用提供数据准备。 展开更多
关键词 CEP引擎 运行监控 大数据 etl 主动配电网 规范化
在线阅读 下载PDF
地理编码在空间数据仓库ETL中的应用 被引量:11
18
作者 陈细谦 迟忠先 +1 位作者 昃宗亮 苏立强 《小型微型计算机系统》 CSCD 北大核心 2005年第4期628-630,共3页
空间数据仓库可以有效地管理和利用空间信息以便支持空间分析和决策支持.在空间数据的抽取、转换和加载中如何有效地把非空间信息与空间信息融合起来,是空间数据仓库ETL实现的难点.将地理编码技术引入到空间数据仓库ETL中,给出了融合地... 空间数据仓库可以有效地管理和利用空间信息以便支持空间分析和决策支持.在空间数据的抽取、转换和加载中如何有效地把非空间信息与空间信息融合起来,是空间数据仓库ETL实现的难点.将地理编码技术引入到空间数据仓库ETL中,给出了融合地理编码模块的ETL体系机构.同时为了提高地址匹配能力,将动态规划算法应用到地理编码地址匹配中,并对算法做了改进,给出了完整的应用示例. 展开更多
关键词 地理编码 空间数据仓库 etl 动态规划
在线阅读 下载PDF
数据ETL研究综述 被引量:112
19
作者 徐俊刚 裴莹 《计算机科学》 CSCD 北大核心 2011年第4期15-20,共6页
数据抽取、转换和装载(Extraction,Transformation and Loading,简称ETL)是数据仓库化的关键环节,对数据仓库数据质量有着至关重要的影响。随着信息化的发展,ETL已经成为当前较活跃的研究领域之一,但是ETL理论和技术的发展还不成熟。针... 数据抽取、转换和装载(Extraction,Transformation and Loading,简称ETL)是数据仓库化的关键环节,对数据仓库数据质量有着至关重要的影响。随着信息化的发展,ETL已经成为当前较活跃的研究领域之一,但是ETL理论和技术的发展还不成熟。针对当前ETL研究中存在的一些问题和需要考虑的各种因素,从ETL各个阶段存在的主要问题出发,列举了各种研究方法及研究成果,并进行了分析。最后,总结并提出了ETL的未来研究方向和今后工作的建议。 展开更多
关键词 etl 数据仓库 数据质量 元数据
在线阅读 下载PDF
数据仓库ETL中相似重复记录的检测方法及应用 被引量:15
20
作者 张永 迟忠先 闫德勤 《计算机应用》 CSCD 北大核心 2006年第4期880-882,共3页
检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的主要问题之一。将位置编码技术引入到数据仓库ETL中,提出了一种相似重复记录的检测算法PCM(位置编码方法)。该算法不仅可以应用到西文字符集中,而且也成功的应用到... 检测和消除数据仓库中的相似重复记录是数据清洗和提高数据质量要解决的主要问题之一。将位置编码技术引入到数据仓库ETL中,提出了一种相似重复记录的检测算法PCM(位置编码方法)。该算法不仅可以应用到西文字符集中,而且也成功的应用到了中文字符集中,实例表明该算法具有很好的效果。 展开更多
关键词 位置编码 数据仓库 etl 相似重复记录
在线阅读 下载PDF
上一页 1 2 48 下一页 到第
使用帮助 返回顶部