期刊文献+
共找到195篇文章
< 1 2 10 >
每页显示 20 50 100
DataSend:一种因特网环境下的数据库数据同步软件
1
作者 刘风略 饶若楠 《微型电脑应用》 2007年第6期53-55,5,共3页
在稳定性不好的网络环境下利用SQL SERVER数据库的复制功能进行数据同步容易造成数据的不完全一致。本文讨论了一个基于SQL SERVER复制方法和压缩技术的数据同步软件DataSend的设计和应用。DataSend通过建设中间层缓解了源数据库和目标... 在稳定性不好的网络环境下利用SQL SERVER数据库的复制功能进行数据同步容易造成数据的不完全一致。本文讨论了一个基于SQL SERVER复制方法和压缩技术的数据同步软件DataSend的设计和应用。DataSend通过建设中间层缓解了源数据库和目标数据库的压力;对传输数据进行压缩处理后再传输;通过状态来控制传输的准确性。从而提高了数据同步的传输效率、灵活性、安全性和准确性。 展开更多
关键词 数据同步 Agent 触发器 序列化 反序列化 数据抽取 数据转换 数据装载
在线阅读 下载PDF
Refreshing File Aggregate of Distributed Data Warehouse in Sets of Electric Apparatus
2
作者 于宝琴 王太勇 +3 位作者 张君 周明 何改云 李国琴 《Transactions of Tianjin University》 EI CAS 2006年第3期174-179,共6页
Integrating heterogeneous data sources is a precondition to share data for enterprises. Highly-efficient data updating can both save system expenses, and offer real-time data. It is one of the hot issues to modify dat... Integrating heterogeneous data sources is a precondition to share data for enterprises. Highly-efficient data updating can both save system expenses, and offer real-time data. It is one of the hot issues to modify data rapidly in the pre-processing area of the data warehouse. An extract transform loading design is proposed based on a new data algorithm called Diff-Match,which is developed by utilizing mode matching and data-filtering technology. It can accelerate data renewal, filter the heterogeneous data, and seek out different sets of data. Its efficiency has been proved by its successful application in an enterprise of electric apparatus groups. 展开更多
关键词 distributed data warehouse Diff-Match algorithm KMP algorithm file aggregates extract transform loading
在线阅读 下载PDF
基于MFI-MCP-ResNet18的滚动轴承故障诊断 被引量:4
3
作者 汤伟 杨亦君 《轴承》 北大核心 2025年第3期70-78,共9页
针对传统滚动轴承故障诊断模型存在的特征提取不充分,故障诊断准确率低的问题,提出了一种基于多特征输入和多通道并行残差卷积网络(MFI-MCP-ResNet18)的滚动轴承故障诊断方法。将轴承振动信号分别转换为相应的格拉姆角场、马尔科夫变迁... 针对传统滚动轴承故障诊断模型存在的特征提取不充分,故障诊断准确率低的问题,提出了一种基于多特征输入和多通道并行残差卷积网络(MFI-MCP-ResNet18)的滚动轴承故障诊断方法。将轴承振动信号分别转换为相应的格拉姆角场、马尔科夫变迁场和欧氏距离矩阵,对这3种矩阵进行逐行交叉组合得到一个二维矩阵并作为神经网络的输入,通过多通道并行的ResNet18网络实现对轴承故障特征的自动提取和分类。借助公开数据集以及自建试验平台数据进行MFI-MCP-ResNet18模型的有效性和泛化性验证,结果表明MFI-MCPResNet18模型能够有效提取轴承振动信号中的故障特征,实现对轴承故障的高效诊断,具有比单输入单通道方法更高的判断精度以及更好的泛化性。 展开更多
关键词 滚动轴承 特征提取 卷积网络 数据转换 欧氏距离 多通道
在线阅读 下载PDF
融合XGBoost和逻辑回归算法的电信客户流失预测模型 被引量:1
4
作者 吕宁 罗倩 《现代电子技术》 北大核心 2025年第11期136-143,共8页
为应对大规模、高维度且分布不均衡的企业数据环境下客户流失预测难题,文中提出一种融合极端梯度提升树与逻辑回归(XG-LR)的集成学习算法。该方法利用XGBoost算法构建决策树集成,将样本在树结构中的叶节点映射为新特征并输入LR模型,实... 为应对大规模、高维度且分布不均衡的企业数据环境下客户流失预测难题,文中提出一种融合极端梯度提升树与逻辑回归(XG-LR)的集成学习算法。该方法利用XGBoost算法构建决策树集成,将样本在树结构中的叶节点映射为新特征并输入LR模型,实现树模型非线性特征提取能力与LR模型解释性优势的有效结合。实验结果表明,在Teclo电信流失数据集上,XG-LR算法的预测精确率达到94.55%,较传统统计学习方法有显著提升。该模型可为企业客户关系管理提供高精度的流失预警工具,支持数据驱动的客户价值评估与营销策略优化。 展开更多
关键词 客户流失预测 统计学习模型 极端梯度提升树 逻辑回归 特征转换 数据平衡 特征提取
在线阅读 下载PDF
计及异常场景数据缺失的负荷超短期预测
5
作者 李加文 孙永辉 +2 位作者 王森 章子玮 王瑶 《电力系统自动化》 北大核心 2025年第15期133-143,共11页
受能源转型和极端天气频发等因素影响,包含特殊模式的异常场景对电力系统的稳定性影响日益严重。为此,文中提出一种计及异常场景数据缺失的负荷超短期预测方法。该方法首先通过基于局部差异和全局差异的多尺度框架提取异常场景,根据异... 受能源转型和极端天气频发等因素影响,包含特殊模式的异常场景对电力系统的稳定性影响日益严重。为此,文中提出一种计及异常场景数据缺失的负荷超短期预测方法。该方法首先通过基于局部差异和全局差异的多尺度框架提取异常场景,根据异常场景日期信息引入缺失值,并使用二元掩码矩阵控制缺失率,仿真异常场景数据缺失;然后,结合时序相关性,通过改进后的截断反距离权重(CIDW)插补方法自动识别缺失数据进行插补;最后,针对插补后数据,构建基于时域卷积网络(TCN)与标量长短期记忆(sLSTM)网络的模型进行特征提取和预测,并设置数据随机缺失场景下不同缺失率来验证模型泛化能力。通过不同场景和不同模型对比分析,验证了所提模型部分指标相较于对比模型均有所提升。 展开更多
关键词 负荷预测 异常场景 数据缺失 插补 多尺度提取框架 特征提取
在线阅读 下载PDF
钢管柱桩基础自平衡静载试验及数据分析研究 被引量:1
6
作者 刘佳杰 冀大亨 《广东交通职业技术学院学报》 2025年第2期27-32,共6页
自平衡静载检测方法可以在受限场地内完成对桩基承载力的检测,适用于轨道交通新建地铁车站桩基承载力检测。结合实际桩基检测试验,总结自平衡静载检测方法的实施要点,通过计算公式将检测试验数据等效转换为桩基础受到桩顶荷载时对应的... 自平衡静载检测方法可以在受限场地内完成对桩基承载力的检测,适用于轨道交通新建地铁车站桩基承载力检测。结合实际桩基检测试验,总结自平衡静载检测方法的实施要点,通过计算公式将检测试验数据等效转换为桩基础受到桩顶荷载时对应的位移变化,并对计算公式进行了详细说明。通过回归分析,发现试验桩基础累计位移与荷载的关系与抛物线基本一致;数据等效转换后,试验桩基础等效位移与等效桩顶荷载之间关系为线性关系。 展开更多
关键词 桩基础 自平衡静载试验 数据分析 回归分析 等效转换
在线阅读 下载PDF
基于多源电力传感器网络与聚类特征提取的非典型日负荷高精度预测方法
7
作者 张健 宋建永 +2 位作者 傅文进 王雨桐 陈双印 《国外电子测量技术》 2025年第6期104-109,共6页
为解决传统负荷预测方法在非典型日表现不佳的问题,研究提出了融合多源电力传感器网络与聚类特征提取的高精度预测方法。该方法基于信息增益优化传感器网络,采用自适应滤波提升数据质量,并运用改进的动态时间扭曲算法进行时序聚类,构建... 为解决传统负荷预测方法在非典型日表现不佳的问题,研究提出了融合多源电力传感器网络与聚类特征提取的高精度预测方法。该方法基于信息增益优化传感器网络,采用自适应滤波提升数据质量,并运用改进的动态时间扭曲算法进行时序聚类,构建预测模型。实验结果表明,优化后的传感器网络节点数量减少31.7%,部署成本降低27.3%。预测性能方面,模型在法定节假日的平均绝对百分比误差为2.13%,多种非典型日的均方根误差平均值为135.5 kW,均显著优于传统方法。同时数据获取时间比行业平均少53.8%,用户满意度评分提升了13.7%。以上结果表明该方法在技术指标上表现出色,同时具备实用价值。研究为电力系统在非典型日的经济调度与安全运行提供了支持,对提升电网智能化水平有重要意义。 展开更多
关键词 传感器网络 数据特征提取 优化配置 负荷预测
原文传递
基于数据压缩的web电网点云数据轻量化加载
8
作者 高超 武永泉 +1 位作者 刘欣厚 黄郑 《计算机仿真》 2025年第11期196-200,共5页
电网各设施的分布及关联性较为复杂,致使点云数据量大且在空间分布上没有规律可循,在数据解析加载过程中易出现数据丢失,无法保持数据间的关联性,进而影响了加载效果。为此,研究提出基于数据压缩的web电网点云数据轻量化加载方法。首先... 电网各设施的分布及关联性较为复杂,致使点云数据量大且在空间分布上没有规律可循,在数据解析加载过程中易出现数据丢失,无法保持数据间的关联性,进而影响了加载效果。为此,研究提出基于数据压缩的web电网点云数据轻量化加载方法。首先,使用激光雷达对电网展开扫描,获取电网点云数据;然后,通过提取数据关键点的形式,实现点云数据分层压缩,以渐进加载的方式避免一次性加载大量数据而造成的数据丢失风险,再利用改进KMC算法进一步简化点云数据,完成数据轻量化处理,使点云数据能够更好地适应web环境,确保数据能够及时加载;最后,将点云数据压缩结果传输至web页面,以提取的点云关键点作为特征点,对特征点连接处理有效生成三角网格化处理,再以此构建出电网的三维表面模型,实现点云数据轻量化加载。实验结果表明,使用该方法开展电网点云数据轻量化加载后,加载精度高,且不存在数据丢失的情况。 展开更多
关键词 数据压缩 电网点云数据 轻量化加载 关键点云提取
在线阅读 下载PDF
数据仓库中ETL技术的研究 被引量:120
9
作者 张宁 贾自艳 史忠植 《计算机工程与应用》 CSCD 北大核心 2002年第24期213-216,共4页
作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL... 作为数据仓库的关键部件,支持数据抽取、清洗、转换和装载的工具集对任何数据仓库工程都是一个必不可少的成功因素。该文简单介绍了ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位以及现有的研究成果,然后重点介绍了ETL的具体设计和实现方法。 展开更多
关键词 数据仓库 ETL 数据库 数据模型 数据抽取 数据转换 数据清洗 数据装载
在线阅读 下载PDF
数据仓库中ETL技术的探讨与实践 被引量:32
10
作者 王克龙 王玲 +1 位作者 王平立 宋斌 《计算机应用与软件》 CSCD 北大核心 2005年第11期30-31,78,共3页
支持数据抽取、转换、清洗和装载的工具集对任何数据仓库工程都是一个必不可少的关键部件。本文重点探讨了ETL技术以及ETL工具的选择原则,并结合具体实例详细介绍了ETL过程的设计和实现方法。
关键词 数据仓库 ETL技术 数据抽取 数据挖掘 联机分析 可靠性
在线阅读 下载PDF
面向数据质量的ETL过程建模与实现 被引量:23
11
作者 贾自艳 黄友平 +3 位作者 罗平 李嘉佑 秦亮曦 史忠植 《系统仿真学报》 CAS CSCD 2004年第5期907-911,914,共6页
为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程... 为了给数据仓库提供高质量的数据,在数据装载到数据仓库之前必须经过数据的抽取-转换-装载(Extraction-Transformation-loading,ETL)这一系列的预处理工作。复杂性和可用性是制约ETL系统的两大基本问题。为解决这些问题,给出了ETL过程统一的体系结构设计,包括ETL元数据对象建模、ETL转换函数设计、ETL任务建模以及ETL任务模型的描述语言(XTDL)。基于该体系结构和设计思想开发出一个ETL系统—MSETL,目的是为多策略数据挖掘平台(MSMiner)提供高质量的数据。它提供友好界面并对ETL过程进行统一的元数据管理,包括:ETL转换函数的注册和删除;任务模型的生成、执行和删除等功能。 展开更多
关键词 数据仓库 数据质量 抽取-转换-装载(ETL) 数据挖掘 数据清洗
在线阅读 下载PDF
基于Fisher有监督判别的非侵入式居民负荷辨识方法 被引量:53
12
作者 祁兵 程媛 武昕 《电网技术》 EI CSCD 北大核心 2016年第8期2484-2490,共7页
居民负荷监测是需求侧管理的重要部分,为实现居民非侵入负荷监测与跟踪,研究了非侵入式负荷监测系统物理架构与工作原理,提出一种基于家电负荷主用电特征的负荷辨识方法。以非侵入环境下不同家电负荷的实测电能数据为先验训练样本,利用... 居民负荷监测是需求侧管理的重要部分,为实现居民非侵入负荷监测与跟踪,研究了非侵入式负荷监测系统物理架构与工作原理,提出一种基于家电负荷主用电特征的负荷辨识方法。以非侵入环境下不同家电负荷的实测电能数据为先验训练样本,利用主成分分析法对8种典型电器的负荷特征样本进行降维处理,得到最优辨识特征,获取综合评估值并结合样本排序图将负荷分为2类。结合Fisher有监督判别准则将2类数据投影到一维空间,实现不同类型负荷的分离。实验证明该方法对不同家电负荷分类和辨识具有良好效果,能够在获取负荷有效特征的基础上实现对不同负荷的有效分辨。 展开更多
关键词 Fisher有监督判别 主成分分析 数据采集 负荷分类 特征提取
原文传递
一种可靠的数据仓库中ETL策略与架构设计 被引量:46
13
作者 尤玉林 张宪民 《计算机工程与应用》 CSCD 北大核心 2005年第10期172-174,229,共4页
作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地... 作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。 展开更多
关键词 数据仓库 ETL 数据抽取 数据转换 数据清洗 数据装载
在线阅读 下载PDF
一种通用的多数据库间数据抽取方法及应用 被引量:16
14
作者 刘如九 张振山 柴天佑 《北京交通大学学报》 EI CAS CSCD 北大核心 2008年第4期14-18,共5页
为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽... 为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQL Server,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作. 展开更多
关键词 数据仓库 数据的抽取转换加载 数据迁移 关系型数据库
在线阅读 下载PDF
数据清理及其在数据仓库中的应用 被引量:17
15
作者 庄晓青 徐立臻 董逸生 《计算机应用研究》 CSCD 北大核心 2003年第6期147-149,共3页
数据仓库是为决策服务的,这里的数据是从各种异构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性,因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中... 数据仓库是为决策服务的,这里的数据是从各种异构的数据源中采集过来的。由于各个数据源中的数据可能存在错误以及种种不一致性,因而为了确保决策数据的质量必须要对各个数据源中抽取出来的数据进行清理转换。数据清理就是发现数据源中数据的错误并加以清除或修改,发现和纠正数据源之间数据的不一致性。分析了数据清理概念和方法以及在数据仓库中的应用。 展开更多
关键词 数据仓库 数据清理 模式冲突 ETL(extraction Transformation loading)
在线阅读 下载PDF
通用ETL工具的研究与实现 被引量:10
16
作者 孙安健 王星 闫晓瑜 《计算机应用与软件》 CSCD 北大核心 2012年第12期175-178,210,共5页
ETL(Extraction-Transformation-Loading)是建立数据仓库的重要一环。通用应用ETL工具应能够适应不同领域不同需求的业务,无论是针对多样化异构的数据源,还是针对复杂变化的转换逻辑,都能够给予很好的支持。研究ETL工具的技术难点,提出... ETL(Extraction-Transformation-Loading)是建立数据仓库的重要一环。通用应用ETL工具应能够适应不同领域不同需求的业务,无论是针对多样化异构的数据源,还是针对复杂变化的转换逻辑,都能够给予很好的支持。研究ETL工具的技术难点,提出一种通用ETL工具的设计框架,并对每个模块做了详细分析,在所承担项目中给出了具体实现。 展开更多
关键词 数据仓库 数据抽取 数据转换 数据加载
在线阅读 下载PDF
基于工作流的数据抽取转换加载 被引量:5
17
作者 谭支鹏 冯丹 +1 位作者 吴永英 彭峰 《华中科技大学学报(自然科学版)》 EI CAS CSCD 北大核心 2006年第2期61-63,69,共4页
将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法... 将数据的抽取转换加载(ETL)过程和工作流技术结合起来,研究了ETL过程的工作流调度问题,设计了一种简单串行和稳定可靠的循环遍历算法.为了提高ETL效率,将并行机制引入到节点访问算法中,对节点访问算法进行了改进,设计了新的节点访问算法,并讨论了加入并行机制后可能会遇到的数据源并发控制等问题,并给出了解决方法.所提出的方法对提高数据集成效率很有效,在国产数据库系统的应用中可起到积极推动作用. 展开更多
关键词 数据的抽取转换加载 数据仓库 数据迁移 工作流
在线阅读 下载PDF
数据字典在转换工具中的应用设计 被引量:3
18
作者 刘宏波 鲁杰 +1 位作者 王永斌 禹华钢 《计算机工程与设计》 CSCD 北大核心 2009年第24期5612-5614,5642,共4页
因各系统记录的二进制数据的数据格式不同,为开发系统耦合度低、可重用性好的转换工具,结合树型结构数据字典和模块化设计思想,利用XML文档存储和维护数据字典内容,设计了基于XML存储的数据字典的转换工具系统框架。将转换工具划分为预... 因各系统记录的二进制数据的数据格式不同,为开发系统耦合度低、可重用性好的转换工具,结合树型结构数据字典和模块化设计思想,利用XML文档存储和维护数据字典内容,设计了基于XML存储的数据字典的转换工具系统框架。将转换工具划分为预处理模块、提取载荷模块、读取XML文件模块、数据字典模块和解析结果显示模块共5个功能模块,完成了二进制数据的译码过程。使用XML数据字典设计转换工具系统框架,结构清晰,可维护性好。 展开更多
关键词 数据字典 转换工具 可扩展标记语言 载荷 解析
在线阅读 下载PDF
基于任务的数据交换平台 被引量:5
19
作者 贾燚星 陈梦东 刘连忠 《计算机工程》 CAS CSCD 北大核心 2008年第19期61-63,66,共4页
上下级单位以及同级单位之间的数据交换日渐频繁,这些单位采用的数据库多种多样,数据定义在语义、内容上存在冲突,需要交换的数据格式并不固定,随着业务的变化而变化。该文设计并实现了一个基于任务的数据交换系统,以端到端交换模型为基... 上下级单位以及同级单位之间的数据交换日渐频繁,这些单位采用的数据库多种多样,数据定义在语义、内容上存在冲突,需要交换的数据格式并不固定,随着业务的变化而变化。该文设计并实现了一个基于任务的数据交换系统,以端到端交换模型为基础,使其可以支持多种数据库之间数据交换和并发的数据交换任务,并通过配置满足交换内容变化的需求。 展开更多
关键词 数据交换 交换引擎 数据抽取 数据加载
在线阅读 下载PDF
基于无监督学习的数据清洗算法 被引量:3
20
作者 孙铁民 于杰 +2 位作者 尚程 田大新 张丽华 《吉林大学学报(信息科学版)》 CAS 2008年第6期599-604,共6页
为了解决数据仓库中相似重复记录的数据问题,提出了基于无监督学习的数据清洗算法。该算法采用基于Hebb ian假设的自适应学习方法,并通过相似度确定奖励和惩罚等级。在学习过程中根据需要增加新的聚类,在学习结束后,通过分析聚类情况删... 为了解决数据仓库中相似重复记录的数据问题,提出了基于无监督学习的数据清洗算法。该算法采用基于Hebb ian假设的自适应学习方法,并通过相似度确定奖励和惩罚等级。在学习过程中根据需要增加新的聚类,在学习结束后,通过分析聚类情况删除错误的聚类,从而避免了死神经元问题并使聚类更加准确。实验表明,该算法能准确地完成实体识别。 展开更多
关键词 数据仓库 数据抽取 数据转换 数据清洗 数据装载
在线阅读 下载PDF
上一页 1 2 10 下一页 到第
使用帮助 返回顶部