期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
基于大数据处理的ETL框架的研究与设计 被引量:20
1
作者 沈琦 陈博 《电子设计工程》 2016年第2期25-27,34,共4页
针对传统抽取、转换、装载(ETL)架构在数据处理过程控制方面和数据产品开发效率方面的不足,提出一种基于大数据处理的ETL架构。通过分析主流的ETL工具--Datastage的工作原理和ETL过程的特点,设计ETL元数据描述模块、ETL任务描述模块、... 针对传统抽取、转换、装载(ETL)架构在数据处理过程控制方面和数据产品开发效率方面的不足,提出一种基于大数据处理的ETL架构。通过分析主流的ETL工具--Datastage的工作原理和ETL过程的特点,设计ETL元数据描述模块、ETL任务描述模块、配置解析模块和数据任务调度模块等。使用该框架处理数据任务时,以配置文件的方式开发,使工作效率得到了极大的提升。基于该设计思想开发一款基于大数据处理的ETL工具,在对数据处理过程(E、T、L)的控制方面得到了改进,同时也可以使数据开发人员从大量重复的操作中解脱出来,将更多的精力放在数据的逻辑处理方面。 展开更多
关键词 大数据处理 数据抽取 数据转换 数据加载 etl框架
在线阅读 下载PDF
一种金融系统专用ETL工具的研究与实现 被引量:2
2
作者 屈志毅 张延堂 王戈 《计算机工程》 CAS CSCD 北大核心 2008年第20期80-81,85,共3页
实现了一种基于Spring框架的商业银行专用ETL程序。该程序利用Spring框架的控制反转技术,基于Ibatis的数据访问对象技术和Spring JDBC,以及Spring对Timer的支持,解决了ETL过程中的数据转换、数据载入、生命周期管理、任务调度等关键问... 实现了一种基于Spring框架的商业银行专用ETL程序。该程序利用Spring框架的控制反转技术,基于Ibatis的数据访问对象技术和Spring JDBC,以及Spring对Timer的支持,解决了ETL过程中的数据转换、数据载入、生命周期管理、任务调度等关键问题。该程序在IBM System x3850(8864I02)上运行,载入数据的平均速度达到每秒900条记录。 展开更多
关键词 etl工具 SPRING框架 数据转换 任务调度
在线阅读 下载PDF
基于自主式ETL的煤炭企业统一数据交换平台的设计与实现 被引量:1
3
作者 潘涛 王志东 解海东 《中国煤炭》 北大核心 2014年第8期68-71,121,共5页
提出了基于自主式ETL的煤炭企业统一数据交换平台的总体设计,详细阐述了自主式ETL的工作实现原理,给出了面向大型煤炭企业数据交换平台的横向部门架构、纵向部门架构及总体设计框架,同时提出了统一的数据交换平台的建设关键点。实际应... 提出了基于自主式ETL的煤炭企业统一数据交换平台的总体设计,详细阐述了自主式ETL的工作实现原理,给出了面向大型煤炭企业数据交换平台的横向部门架构、纵向部门架构及总体设计框架,同时提出了统一的数据交换平台的建设关键点。实际应用表明,该平台方便了煤炭企业部门之间以及总部与子公司之间各业务系统之间数据的交换和共享,提高了企业的运营效率。 展开更多
关键词 数据交换平台 架构 元数据 数据中心
在线阅读 下载PDF
基于大数据平台化的ETL可复用框架设计 被引量:2
4
作者 何壮 苏瑀 《无线互联科技》 2021年第18期66-67,共2页
为了在大数据处理下提高ETL开发效率、任务维护及监控能力、减少人工操作、在多种相似数据存储过程中共享ETL过程,文章提出一种基于大数据平台化的ETL可复用框架。根据ETL工作原理、数据存储过程以及任务特点,在任务调度开发、数据存储... 为了在大数据处理下提高ETL开发效率、任务维护及监控能力、减少人工操作、在多种相似数据存储过程中共享ETL过程,文章提出一种基于大数据平台化的ETL可复用框架。根据ETL工作原理、数据存储过程以及任务特点,在任务调度开发、数据存储过程方面进行了改进,以配置文件方式进行自动化开发模式,从而构建基于大数据平台化ETL可复用框架。 展开更多
关键词 大数据处理 etl框架 平台配置化 可复用
在线阅读 下载PDF
基于BusinessObjects的报表系统优化与实现
5
作者 车蕊 苏通 段季芳 《自动化技术与应用》 2019年第1期156-159,共4页
TFT-LCD生产中,BusinessObjects作为企业决策的重要窗口,其数据的完善性和系统的最大连接数直接影响到高峰期用户的报表访问,随着生产业务增长,报表系统用户并发访问需求开始迫切。为了满足数据的可追溯性、提高用户访问量,通过加载彩... TFT-LCD生产中,BusinessObjects作为企业决策的重要窗口,其数据的完善性和系统的最大连接数直接影响到高峰期用户的报表访问,随着生产业务增长,报表系统用户并发访问需求开始迫切。为了满足数据的可追溯性、提高用户访问量,通过加载彩膜生产数据到数据仓库,设计了一种服务器分离、多节点负载均衡的架构,实现了多用户的并发访问和数据共享,提高用户访问报表速度的同时,提升了报表系统对生产决策的支持。 展开更多
关键词 BUSINESSOBJECTS 架构 数据仓库 etl 报表
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部