期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到7篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于Datax的数据同步方案研究 被引量：6
1
作者 陈宇收 《电脑编程技巧与维护》 2018年第9期97-98,131,共3页
随着人们对数据互联互通分析应用要求的提高,使得其对原本孤立存储的数据资源进行整合、汇总的愿望逐渐提高,然而在早期的数据存储建设时,存储的数据类型大多不同,包括关系型数据库系统RDBMS、分布式数据库系统Hdfs以及本地文件Local fi... 随着人们对数据互联互通分析应用要求的提高,使得其对原本孤立存储的数据资源进行整合、汇总的愿望逐渐提高,然而在早期的数据存储建设时,存储的数据类型大多不同,包括关系型数据库系统RDBMS、分布式数据库系统Hdfs以及本地文件Local filesystem等,将这些异构的数据资源进行统一汇总存储,并同时满足新增增量数据的动态同步,已经成为当前数据同步研究的重点。由于传统的数据同步方案针对任意两个数据源之间的数据同步需要进行插件开发方能辅助同步完成,所以针对多数据源的异构数据同步会带来严重的工作负荷及质量问题。为了进一步提升数据同步的效率及质量,需要更为先进的技术手段,而Datax技术与Quartz技术的出现及应用,恰好能够满足这一需求,所以其也成为当前数据同步研究的新方案。 展开更多
关键词 datax技术 数据同步 Quartz技术
在线阅读 下载PDF
基于DataX的异构教学数据同步研究和应用 被引量：3
2
作者 屠增辉 刘淼 陈小丽 《中国现代教育装备》 2021年第19期114-115,118,共3页
目前高校仍存在不同业务系统多数据源的异构数据,在“智能化校园”建设中需要实现及时高效的共享。原有的异构数据同步方式存在操作复杂、复用性差等缺点。通过对学校教学数据分析,针对其中价值度高且隐私度低的数据,采用“开放共享,主... 目前高校仍存在不同业务系统多数据源的异构数据,在“智能化校园”建设中需要实现及时高效的共享。原有的异构数据同步方式存在操作复杂、复用性差等缺点。通过对学校教学数据分析,针对其中价值度高且隐私度低的数据,采用“开放共享,主动同步”的方式,将DataX技术应用于异构教学数据的同步,为高校异构数据治理提供有益参考。 展开更多
关键词 datax技术 异构数据 教务系统 智能化校园
在线阅读 下载PDF
基于微服务的研究生信息系统数据同步方案研究与设计 被引量：5
3
作者 陶慧玲 马依琳 +1 位作者 王晔 董启文 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第2期42-52,共11页
随着高校信息系统应用的普及以及使用频率的提高,师生对数据一致性、准确性、及时性和完整性提出了更高的要求,原数据同步方案中使用XML(extensible markup language)进行数据同步具有同步效率低下、难以扩展的缺点.考虑到开源工具Data... 随着高校信息系统应用的普及以及使用频率的提高,师生对数据一致性、准确性、及时性和完整性提出了更高的要求,原数据同步方案中使用XML(extensible markup language)进行数据同步具有同步效率低下、难以扩展的缺点.考虑到开源工具DataX可以完成多种异构数据库之间的数据同步且不会对源数据库造成破坏,本文使用DataX对原数据同步方案进行改进,并针对高校研究生信息系统建设过程中存在的多个业务需求和应用场景,提出了不同的数据同步方案.同时,针对DataX在启动和执行过程中一次读只能进行一次写的缺点,设计了一次读可以多次写的方案.对比实验表明,优化后的方案可以提高数据同步效率,具有较好的扩展性,能够满足高校数据同步需求. 展开更多
关键词 微服务 数据同步 datax
在线阅读 下载PDF
跨平台信息系统数据迁移技术研究与应用 被引量：1
4
作者 胡庆 任仕辉 《电子技术与软件工程》 2024年第4期8-13,共6页
结合最新时代背景,本文深入探讨了跨平台信息系统数据迁移中的技术难点,如数据兼容性、完整性、安全性以及性能问题等,并结合现实企业数据迁移的实际案例,提出有效的解决方案和最佳实践策略。同时论述了如何利用最新的云计算技术与大数... 结合最新时代背景,本文深入探讨了跨平台信息系统数据迁移中的技术难点,如数据兼容性、完整性、安全性以及性能问题等,并结合现实企业数据迁移的实际案例,提出有效的解决方案和最佳实践策略。同时论述了如何利用最新的云计算技术与大数据技术来优化数据迁移流程,提高数据迁移效率,提升数据迁移质量。本文还重点阐述了基于DataX的数据迁移平台的开发与应用,介绍了数据迁移平台面对现代技术在简化复杂迁移任务中具有的独特优势,不仅使数据迁移更加高效准确和稳定,还为企业提供了丰富的日志信息和性能指标,帮助企业管理者进行辅助分析和决策。展望未来,我们将继续深入优化数据迁移平台,以期为企业在数据迁移过程中提供更加全面的指导和参考。 展开更多
关键词 数据迁移 跨平台 datax 数据安全
在线阅读 下载PDF
企业级异构数据集成平台的设计与实现 被引量：5
5
作者 吕悦 《电脑知识与技术》 2023年第30期44-47,共4页
数据已成为一种关键新型生产要素,战略价值越来越重要。然而,企业内部存在数据源繁杂、数据集成流程复杂、数据开发效率低下等问题。为了充分释放数据价值,文章基于SpringBoot框架和微服务架构,集成Kafka和DataX等开源工具,设计并实现... 数据已成为一种关键新型生产要素,战略价值越来越重要。然而,企业内部存在数据源繁杂、数据集成流程复杂、数据开发效率低下等问题。为了充分释放数据价值,文章基于SpringBoot框架和微服务架构,集成Kafka和DataX等开源工具,设计并实现了一套异构数据源、灵活任务设计、双重调度的企业级数据集成平台,包括数据源管理、集成任务设计、任务调度、告警管理、用户管理和数据大屏等六大模块,满足不同场景下的数据需求,降低数据应用成本,提升企业的数据开发效率。 展开更多
关键词 数据集成 企业级 异构数据源 datax Kafka
在线阅读 下载PDF
基于大数据技术的铁路工务检测数据平台方案研究
6
作者 许丹亚 欧阳慎 +2 位作者 齐晨虹 朱志 尹文志 《电脑知识与技术》 2023年第13期76-78,共3页
当前,普速铁路故障点检测手段多样,各种检测数据的类型多样,数据量大,查询分析逻辑复杂。不同于以往基于关系型数据库的数据处理,方案基于Hadoop大数据集群,采用低代码的形式和多种数据处理工具,设计实现工务数据同步、存储、查询、共... 当前,普速铁路故障点检测手段多样,各种检测数据的类型多样,数据量大,查询分析逻辑复杂。不同于以往基于关系型数据库的数据处理,方案基于Hadoop大数据集群,采用低代码的形式和多种数据处理工具,设计实现工务数据同步、存储、查询、共享流程,降低了数据存储成本,提高了数据查询效率。同时,有助于后续其他业务系统的海量数据开发流程优化,为铁路各项业务提供稳定、高效数据处理方案。 展开更多
关键词 大数据 PHOENIX datax 铁路 HADOOP
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部