期刊文献+
共找到2,703篇文章
< 1 2 136 >
每页显示 20 50 100
DH-LDA:A Deeply Hidden Load Data Attack on Electricity Market of Smart Grid
1
作者 Yunhao Yu Meiling Dizha +6 位作者 Boda Zhang Ruibin Wen FuhuaLuo Xiang Guo Junjie Song Bingdong Wang Zhenyong Zhang 《Computers, Materials & Continua》 2025年第11期3861-3877,共17页
The load profile is a key characteristic of the power grid and lies at the basis for the power flow control and generation scheduling.However,due to the wide adoption of internet-of-things(IoT)-based metering infrastr... The load profile is a key characteristic of the power grid and lies at the basis for the power flow control and generation scheduling.However,due to the wide adoption of internet-of-things(IoT)-based metering infrastructure,the cyber vulnerability of load meters has attracted the adversary’s great attention.In this paper,we investigate the vulnerability of manipulating the nodal prices by injecting false load data into the meter measurements.By taking advantage of the changing properties of real-world load profile,we propose a deeply hidden load data attack(i.e.,DH-LDA)that can evade bad data detection,clustering-based detection,and price anomaly detection.The main contributions of this work are as follows:(i)We design a stealthy attack framework that exploits historical load patterns to generate load data with minimal statistical deviation from normalmeasurements,thereby maximizing concealment;(ii)We identify the optimal time window for data injection to ensure that the altered nodal prices follow natural fluctuations,enhancing the undetectability of the attack in real-time market operations;(iii)We develop a resilience evaluation metric and formulate an optimization-based approach to quantify the electricity market’s robustness against DH-LDAs.Our experiments show that the adversary can gain profits from the electricity market while remaining undetected. 展开更多
关键词 Smart grid security load redistribution data electricity market deeply hidden attack
在线阅读 下载PDF
Review of Load Balancing Mechanisms in SDN-Based Data Centers
2
作者 Qin Du Xin Cui +1 位作者 Haoyao Tang Xiangxiao Chen 《Journal of Computer and Communications》 2024年第1期49-66,共18页
With the continuous expansion of the data center network scale, changing network requirements, and increasing pressure on network bandwidth, the traditional network architecture can no longer meet people’s needs. The... With the continuous expansion of the data center network scale, changing network requirements, and increasing pressure on network bandwidth, the traditional network architecture can no longer meet people’s needs. The development of software defined networks has brought new opportunities and challenges to future networks. The data and control separation characteristics of SDN improve the performance of the entire network. Researchers have integrated SDN architecture into data centers to improve network resource utilization and performance. This paper first introduces the basic concepts of SDN and data center networks. Then it discusses SDN-based load balancing mechanisms for data centers from different perspectives. Finally, it summarizes and looks forward to the study on SDN-based load balancing mechanisms and its development trend. 展开更多
关键词 Software Defined Network data Center load Balancing Traffic Conflicts Traffic Scheduling
在线阅读 下载PDF
L2-LBMT:A Layered Load Balance Routing Protocol for Underwater Multimedia Data Transmission 被引量:2
3
作者 LV Ze TANG Ruichun +2 位作者 TAO Ye SUN Xin XU Xiaowei 《Journal of Ocean University of China》 SCIE CAS CSCD 2017年第6期1018-1026,共9页
Providing highly efficient underwater transmission of mass multimedia data is challenging due to the particularities of the underwater environment. Although there are many schemes proposed to optimize the underwater a... Providing highly efficient underwater transmission of mass multimedia data is challenging due to the particularities of the underwater environment. Although there are many schemes proposed to optimize the underwater acoustic network communication protocols, from physical layer, data link layer, network layer to transport layer, the existing routing protocols for underwater wireless sensor network(UWSN) still cannot well deal with the problems in transmitting multimedia data because of the difficulties involved in high energy consumption, low transmission reliability or high transmission delay. It prevents us from applying underwater multimedia data to real-time monitoring of marine environment in practical application, especially in emergency search, rescue operation and military field. Therefore, the inefficient transmission of marine multimedia data has become a serious problem that needs to be solved urgently. In this paper, A Layered Load Balance Routing Protocol(L2-LBMT) is proposed for underwater multimedia data transmission. In L2-LBMT, we use layered and load-balance Ad Hoc Network to transmit data, and adopt segmented data reliable transfer(SDRT) protocol to improve the data transport reliability. And a 3-node variant of tornado(3-VT) code is also combined with the Ad Hoc Network to transmit little emergency data more quickly. The simulation results show that the proposed protocol can balance energy consumption of each node, effectively prolong the network lifetime and reduce transmission delay of marine multimedia data. 展开更多
关键词 UNDERWATER wireless MULTICAST multimedia data TRANSMISSION load BALANCE
在线阅读 下载PDF
Research on Rolling Load Distribution Method based on Data Mining 被引量:1
4
作者 ZHANG Yan-hua LIU Xiang-hua WANG Guo-dong 《Journal of Iron and Steel Research International》 SCIE CAS CSCD 2005年第6期30-32,53,共4页
A new method of establishing rolling load distribution model was developed by online intelligent information-processing technology for plate rolling. The model combines knowledge model and mathematical model with usin... A new method of establishing rolling load distribution model was developed by online intelligent information-processing technology for plate rolling. The model combines knowledge model and mathematical model with using knowledge discovery in database (KDD) and data mining (DM) as the start. The online maintenance and optimization of the load model are realized. The effectiveness of this new method was testified by offline simulation and online application. 展开更多
关键词 rolling load distribution information processing knowledge discovery data mining
在线阅读 下载PDF
Load Balance Strategy of Data Routing Algorithm Using Semantics for Deduplication Clusters
5
作者 Ze-Jun Jiang Zhi-Ke Zhang +2 位作者 Li-Fang Wang Chin-Chen Chang Li Liu 《Journal of Electronic Science and Technology》 CAS CSCD 2017年第3期277-282,共6页
The backup requirement of data centres is tremendous as the size of data created by human is massive and is increasing exponentially.Single node deduplication cannot meet the increasing backup requirement of data cent... The backup requirement of data centres is tremendous as the size of data created by human is massive and is increasing exponentially.Single node deduplication cannot meet the increasing backup requirement of data centres.A feasible way is the deduplication cluster,which can meet it by adding storage nodes.The data routing strategy is the key of the deduplication cluster.DRSS(data routing strategy using semantics) improves the storage utilization of MCS(minimum chunk signature) data routing strategy a lot.However,for the large deduplication cluster,the load balance of DRSS is worse than MCS.To improve the load balance of DRSS,we propose a load balance strategy used for DRSS,namely DRSSLB.When a node is overloaded,DRSSLB iteratively migrates the current smallest container of the node to the smallest node in the deduplication cluster until this overloaded node becomes non-overloaded.A container is the minimum unit of data migration.Similar files sharing the same features or file names are stored in the same container.This ensures the similar data groups are still in the same node after rebalancing the nodes.We use the dataset from the real world to evaluate DRSSLB.Experimental results show that,for various numbers of nodes of the deduplication cluster,the data skews of DRSSLB are under predefined value while the storage utilizations of DRSSLB do not nearly increase compared with DRSS,with the low penalty(the data migration rate is only6.5% when the number of nodes is 64). 展开更多
关键词 Index Terms--data routing strategy deduplicationcluster SEMANTICS load balance.
在线阅读 下载PDF
Load Shedding Strategy Based on Combined Feed-Forward Plus Feedback Control over Data Streams
6
作者 Donghong Han Yi Fang +3 位作者 Daqing Yi Yifei Zhang Xiang Tang Guoren Wang 《Journal of Beijing Institute of Technology》 EI CAS 2019年第3期437-446,共10页
In data stream management systems (DSMSs), how to maintain the quality of queries is a difficult problem because both the processing cost and data arrival rates are highly unpredictable. When the system is overloaded,... In data stream management systems (DSMSs), how to maintain the quality of queries is a difficult problem because both the processing cost and data arrival rates are highly unpredictable. When the system is overloaded, quality degrades significantly and thus load shedding becomes necessary. Unlike processing overloading in the general way which is only by a feedback control (FB) loop to obtain a good and stable performance over data streams, a feedback plus feed-forward control (FFC) strategy is introduced in DSMSs, which have a good quality of service (QoS) in the aspects of miss ratio and processing delay. In this paper, a quality adaptation framework is proposed, in which the control-theory-based techniques are leveraged to adjust the application behavior with the considerations of the current system status. Compared to previous solutions, the FFC strategy achieves a good quality with a waste of fewer resources. 展开更多
关键词 data STREAM management systems (DSMSs) load SHEDDING feedback CONTROL FEED-FORWARD CONTROL quality of service (QoS)
在线阅读 下载PDF
Load Balancing Fat-Tree on Long-Lived Flows:Avoiding Congestion in a Data Center Network
7
作者 Wen Gao Xuyan Li +1 位作者 Boyang Zhou Chunming Wu 《ZTE Communications》 2014年第2期57-62,共6页
In a data center network (DCN), load balancing is required when servers transfer data on the same path. This is necessary to avoid congestion. Load balancing is challenged by the dynamic transferral of demands and c... In a data center network (DCN), load balancing is required when servers transfer data on the same path. This is necessary to avoid congestion. Load balancing is challenged by the dynamic transferral of demands and complex routing control. Because of the distributed nature of a traditional network, previous research on load balancing has mostly focused on improving the performance of the local network; thus, the load has not been optimally balanced across the entire network. In this paper, we propose a novel dynamic load-balancing algorithm for fat-tree. This algorithm avoids congestions to the great possible extent by searching for non-conflicting paths in a centralized way. We implement the algorithm in the popular software-defined networking architecture and evaluate the algorithm' s performance on the Mininet platform. The results show that our algorithm has higher bisection band- width than the traditional equal-cost multi-path load-balancing algorithm and thus more effectively avoids congestion. 展开更多
关键词 data center network software-defined networking load balancing network management
在线阅读 下载PDF
A Strategy for Loading Oblique Photogrammetry Models and Multilayer Basemap Data 被引量:2
8
作者 Weiye Zhang Zhiqing Tang +3 位作者 Guangyang Zhu Bing Dai Zhuorong Song Jun Li 《Journal of Computer and Communications》 2019年第7期1-8,共8页
With the development of drone technology and oblique photogrammetry technology, the acquisition of oblique photogrammetry models and basemap becomes more and more convenient and quickly. The increase in the number of ... With the development of drone technology and oblique photogrammetry technology, the acquisition of oblique photogrammetry models and basemap becomes more and more convenient and quickly. The increase in the number of basemap leads to excessively redundant basemap tiles requests in 3D GIS when loading oblique photogrammetry models, which slows down the system. Aiming at improving the speed of running system, this paper proposes a dynamic strategy for loading basemap tiles. Different from existing 3D GIS which loading oblique photogrammetry models and basemap tiles inde-pendently, this strategy dynamically loads basemap tiles depending on different height of view and the range of loaded oblique photogrammetry models. We achieve dynamic loading of basemap tiles by predetermining whether the basemap tiles will be covered by the oblique photogrammetry models. The experimental results show that this strategy can greatly reduce the num-ber of redundant requests from the client to the server while ensuring the user’s visual requirements for the oblique photogrammetric model. 展开更多
关键词 Dynamic loadING of Basemap Tiles OBLIQUE PHOTOGRAMMETRY Model data Visualization 3D TILE CESIUM
在线阅读 下载PDF
面向源网荷的智能化数据协同推断技术研究综述
9
作者 张辉 颜星雨 +3 位作者 毛建旭 别克扎提·巴合提 杜瑞 王耀南 《自动化学报》 北大核心 2025年第11期2387-2411,共25页
随着可再生能源并网比例的持续提升,风电、光伏等新能源发电形式对电力系统的稳定性与调度智能化提出更高要求.源网荷储一体化背景下,如何高效利用多源异构电力数据实现精准预测与协同分析,已成为关键问题.近年来,深度学习、大数据、大... 随着可再生能源并网比例的持续提升,风电、光伏等新能源发电形式对电力系统的稳定性与调度智能化提出更高要求.源网荷储一体化背景下,如何高效利用多源异构电力数据实现精准预测与协同分析,已成为关键问题.近年来,深度学习、大数据、大模型等技术推动智能化推断技术取得飞跃式进展.本文首先结合深度学习技术,对时间序列数据协同推断共性技术研究现状进行阐述,重点分析趋势-季节性分解、频域建模、外生变量融合等关键方法,分析基于不同架构的时间序列模型的研究现状.其次针对源网荷智能化关键技术进行阐述,进一步梳理源网荷系统中智能预测、状态评估与负荷调度等典型场景中的关键技术路径,并对其具体应用场景进行分析.最后,结合日益复杂的电力系统背景,对数据协同推断技术的发展方向进行展望. 展开更多
关键词 源网荷智能化 数据协同推断 时间序列分析 深度学习
在线阅读 下载PDF
基于主从机分流的流程生产安全监测数据流调度方法
10
作者 张伟 张业成 +1 位作者 张充 赵挺生 《科学技术与工程》 北大核心 2025年第5期2175-2183,共9页
流程生产安全监测是其安全风险控制和事故预防的主要技术手段,而监测数据是安全管控与决策的重要依据。现有的安全监测组网架构中,传感器节点多、数据量大,使得无线传感网络的信道负载较重,容易出现数据时延、丢失等问题,影响安全管控... 流程生产安全监测是其安全风险控制和事故预防的主要技术手段,而监测数据是安全管控与决策的重要依据。现有的安全监测组网架构中,传感器节点多、数据量大,使得无线传感网络的信道负载较重,容易出现数据时延、丢失等问题,影响安全管控决策的及时性和准确性。为此,针对典型流程生产场景的安全风险因素,明确其传感器部署方案及无线传感网络数据传输架构,提出基于主从机分流的安全监测数据流调度机制和方法,采用数据的拥堵指数与频率异常指数作为数据流性能评估的主要指标。以化工聚合反应釜为工程场景,检验了当反应釜数量和安全监测数据量增加时启动从机为主机分担数据流量后的性能改进,有利于保障安全监测数据有序传输和风险控制的有效性。 展开更多
关键词 流程生产 无线传感网络 安全监测 信道负载 数据流调度
在线阅读 下载PDF
基于网络大数据的办公建筑楼面活荷载调查方法研究
11
作者 陈隽 吴文瀚 +2 位作者 窦凯 徐迟 李杰 《土木工程学报》 北大核心 2025年第6期1-9,共9页
荷载取值是结构设计的基本前提,也是当前研究的薄弱环节。传统采用的抽样入户称重的方式调查建筑物活荷载,存在效率低、成本高、周期长、时效性差、干扰住户隐私以及大件物品现场称重困难等问题,严重制约了活荷载建模研究。为此,提出基... 荷载取值是结构设计的基本前提,也是当前研究的薄弱环节。传统采用的抽样入户称重的方式调查建筑物活荷载,存在效率低、成本高、周期长、时效性差、干扰住户隐私以及大件物品现场称重困难等问题,严重制约了活荷载建模研究。为此,提出基于网络大数据的办公建筑持久性活荷载新型研究方式:通过二手房产交易平台的3D看房功能,首先确定房间尺寸、家具种类及数量,进而利用图片及商标等多源异构数据,结合网络爬虫获得建筑物室内物品的重量。采用新方法在全国范围内调查了7个城市的1883个房间,总建筑面积约90000m^(2)。据此建立了设计基准期T=50年时持久性活荷载任意时间和最大值的概率分布模型,并通过Turkstra组合规则得到办公活荷载标准值,与荷载规范给出的标准值进行对比表明了基于网络大数据的建筑活荷载调查方法的可行性。 展开更多
关键词 持久性活荷载 活荷载调查 楼面活荷载 大数据
原文传递
基于5G网络的设备大数据传输负载优化算法 被引量:1
12
作者 李民 陈普建 +1 位作者 陈秀云 贺佳彦 《吉林大学学报(信息科学版)》 2025年第2期445-450,共6页
为确保大数据稳定传输,提出基于5G网络的设备大数据传输负载优化算法。分析大数据传输性能影响因素,包括数据时延、平均带宽利用率和吞吐量。采用形态学滤波算法对大数据进行低通滤波处理,消除数据中存在的噪声,降低数据传输时延。动态... 为确保大数据稳定传输,提出基于5G网络的设备大数据传输负载优化算法。分析大数据传输性能影响因素,包括数据时延、平均带宽利用率和吞吐量。采用形态学滤波算法对大数据进行低通滤波处理,消除数据中存在的噪声,降低数据传输时延。动态选择大数据传输信道,避免网络中出现数据拥塞现象,提高网络吞吐量。在信息传输矩阵映射的基础上提高数据传输精度,同时设计了容量扩充机制,以此提高网络带宽利用率,完成负载优化。实验结果表明,采用所提算法优化后,提高了带宽利用率,降低了网络能耗和数据传输时延。 展开更多
关键词 5G网络 形态学滤波 设备大数据 容量扩充机制 传输负载优化
在线阅读 下载PDF
高维变量下电力系统不确定性分析的快速Nataf变换方法
13
作者 汤奕 王洪儒 《电网技术》 北大核心 2025年第7期2671-2679,I0003-I0005,共12页
电力系统中不确定性变量如新能源、负荷,易受到气象、人类活动等相似因素的影响而产生变化上的相关性,是电力系统不确定性分析面临的关键挑战之一。Nataf变换是电力系统不确定性分析中处理相关性的基本范式之一,但存在计算效率问题,在... 电力系统中不确定性变量如新能源、负荷,易受到气象、人类活动等相似因素的影响而产生变化上的相关性,是电力系统不确定性分析面临的关键挑战之一。Nataf变换是电力系统不确定性分析中处理相关性的基本范式之一,但存在计算效率问题,在高维电力系统应用中耗时可长达数小时。为提升Nataf转换的计算效率,提出了一种快速Nataf计算方法,通过数据驱动技术从历史计算数据提取相关系数的映射规律,将其继承到新的Nataf计算应用中以实现新计算应用的加速。为保证数值的精确性,该方法在保留传统数值逼近法的核心原理之上,对其中的初值点和积分环节进行针对性优化,实现了数值方法的精确性和数据驱动方法的快速性的结合。为解决不确定性变量边缘分布类型对Nataf计算结果的影响,采用了多阶统计矩来向量化异质概率分布特征,使得异质概率分布的数据经验可进行融合。所提出的快速Nataf方法在应用时,可在保障同数值方法计算精度的基础上加速计算流程达95%以上,可为大型电力系统不确定性分析缩减计算时间和计算成本带来显著增益。 展开更多
关键词 不确定性分析 Nataf 电力系统 新能源 负荷 数据驱动
原文传递
基于数据分解的多区域个性化联邦负荷预测方法 被引量:1
14
作者 焦润海 褚佳杰 +1 位作者 李俊良 张炜杰 《中国电机工程学报》 北大核心 2025年第5期1691-1703,I0005,共14页
开放电力市场中的小规模主体由于缺乏数据导致负荷预测准确度低,联邦学习在保证数据隐私前提下利用多方数据训练得到考虑多方共性的全局模型,但该模型由于忽略了个性特征无法保证在每个参与方都达到最优预测效果。为此,提出一种基于数... 开放电力市场中的小规模主体由于缺乏数据导致负荷预测准确度低,联邦学习在保证数据隐私前提下利用多方数据训练得到考虑多方共性的全局模型,但该模型由于忽略了个性特征无法保证在每个参与方都达到最优预测效果。为此,提出一种基于数据分解的多区域个性化联邦负荷预测方法(personalized federated multi-region load forecasting method based on data decomposition,pFedD)。首先,对原始负荷数据序列分解得到包含不同数据特征的本征模态函数(intrinsic mode functions,IMF);其次,中央服务器根据信号过零率将所有IMF分为高频、低频和趋势分量;最后,根据分量相关性分析,客户端将高频和趋势分量作为个性化分量进行本地模型训练,将低频分量作为联邦分量参与全局模型训练。在中国北方10个地区的真实负荷数据上进行实验,结果表明,pFedD的平均绝对百分比误差(mean absolute percentage error,MAPE)为3.09%,比经典的联邦平均(federated averaging,FedAvg)方法降低了1.67%。 展开更多
关键词 负荷预测 联邦学习 个性化 数据分解 分量选择
原文传递
基于动态融合注意力机制的电力负荷缺失数据填充模型
15
作者 赵冬 李亚瑞 +1 位作者 王文相 宋伟 《郑州大学学报(工学版)》 北大核心 2025年第2期111-118,共8页
为了提高电力负荷数据的缺失值填充精度,保障后续数据分析与应用的高效进行,首先,提出一种基于动态融合注意力机制的填充模型(DFAIM),该模型由注意力机制模块和动态加权融合模块构成,通过注意力机制模块的两种不同注意力机制挖掘特征与... 为了提高电力负荷数据的缺失值填充精度,保障后续数据分析与应用的高效进行,首先,提出一种基于动态融合注意力机制的填充模型(DFAIM),该模型由注意力机制模块和动态加权融合模块构成,通过注意力机制模块的两种不同注意力机制挖掘特征与时间戳之间的深层关联;其次,通过动态加权融合模块将可学习的权重赋予注意力机制模块的两个输出以得到特征表示;最后,利用特征表示来替换缺失位置的值,从而得到准确的填充结果。使用纽约市某地区的气象及负荷数据集及UCI电力负荷数据集对提出的模型进行验证,实验结果表明:相较于统计学、机器学习和深度学习填充模型,DFAIM在评价指标MAE、RMSE和MRE上均具有一定优势。 展开更多
关键词 缺失值填充 注意力机制 电力负荷 时序特征
在线阅读 下载PDF
基于道路载荷的副车架台架试验载荷谱编制研究
16
作者 杨军 《汽车实用技术》 2025年第1期75-79,共5页
某轻型商用车在整车道路耐久测试中出现副车架开裂失效问题,针对该问题,采集控制臂球销处的道路载荷谱,按虚拟S-N曲线计算球销载荷谱的伪损伤,根据Miner线性疲劳损伤累积原则,计算得到球销处的全寿命损伤。选取合适的多级载荷幅值,并根... 某轻型商用车在整车道路耐久测试中出现副车架开裂失效问题,针对该问题,采集控制臂球销处的道路载荷谱,按虚拟S-N曲线计算球销载荷谱的伪损伤,根据Miner线性疲劳损伤累积原则,计算得到球销处的全寿命损伤。选取合适的多级载荷幅值,并根据损伤等效原则,得到各级载荷幅值的循环次数。按照损伤等效计算得到的多级载荷谱对副车架和控制臂进行台架试验,台架试验结果复现了副车架的路试开裂问题,且失效台架失效模式、寿命与整车路试结果有很好的关联性。后续优化后的副车架用该多级载荷谱进行台架验证通过后同样通过了路试耐久考核。 展开更多
关键词 道路载荷谱 损伤等效 副车架 多级谱
在线阅读 下载PDF
导管架平台生活楼振动原因分析与改进方案设计
17
作者 王延林 袁嘉诚 +2 位作者 胡洲 樊哲良 贾子光 《船舶与海洋工程》 2025年第5期28-34,共7页
针对某导管架平台的生活楼在大风天气下振动较为剧烈的问题,通过现场监测并构建精确的导管架平台有限元模型,分析该平台的生活楼振动剧烈的原因。针对现场实际情况,提出增加连接固件、增加结构刚度和改变生活楼位置的改进方案。通过数... 针对某导管架平台的生活楼在大风天气下振动较为剧烈的问题,通过现场监测并构建精确的导管架平台有限元模型,分析该平台的生活楼振动剧烈的原因。针对现场实际情况,提出增加连接固件、增加结构刚度和改变生活楼位置的改进方案。通过数值方法对这3种方案的减振效果进行对比,结果表明:3种方案均能有效减小振动,其中改变生活楼位置的减振效果最显著,但在现实中该方案的操作难度较大。 展开更多
关键词 导管架平台 生活楼 实测数据 模型修正 风荷载 振动原因分析
在线阅读 下载PDF
电力大数据在分布式能源资源调度中的应用
18
作者 杨新华 吴斌 孙乐 《通信电源技术》 2025年第5期110-112,共3页
随着分布式能源资源在电力系统中的广泛应用,电力大数据技术为其高效调度提供了有力支持。文章详细阐述电力大数据与分布式能源资源的概念,深入探讨分布式能源资源调度中的关键技术,包括数据采集与传输、存储与管理、分析与挖掘等。通... 随着分布式能源资源在电力系统中的广泛应用,电力大数据技术为其高效调度提供了有力支持。文章详细阐述电力大数据与分布式能源资源的概念,深入探讨分布式能源资源调度中的关键技术,包括数据采集与传输、存储与管理、分析与挖掘等。通过具体分析电力大数据在能源负荷预测与需求响应、分布式能源发电计划优化、电网运行状态监测与故障预警、能源交易与市场运营支持等场景中的应用,展示了电力大数据在提高分布式能源资源调度水平与电力系统整体性能方面的重要作用。 展开更多
关键词 电力大数据 分布式能源 资源调度 负荷预测
在线阅读 下载PDF
面向深度学习的数据存储技术综述 被引量:1
19
作者 贺巩山 赵传磊 +2 位作者 蒋金虎 张为华 陈左宁 《计算机学报》 北大核心 2025年第5期1013-1064,共52页
随着数据总量和计算能力的不断提升,以深度学习和大模型为代表的人工智能技术获得了迅速的发展,并成功应用于计算机视觉和自然语言处理等领域。然而,随着GPU等加速器运算速度的提高,数据存储已经成为了深度学习训练和推理的主要瓶颈之一... 随着数据总量和计算能力的不断提升,以深度学习和大模型为代表的人工智能技术获得了迅速的发展,并成功应用于计算机视觉和自然语言处理等领域。然而,随着GPU等加速器运算速度的提高,数据存储已经成为了深度学习训练和推理的主要瓶颈之一,主要表现为:(1)数据集的规模快速增长,无法完全缓存在内存中;(2)若无额外处理,数据集主要由小文件组成。在每轮训练中,训练任务会随机读取训练集中的文件;(3)与GPU等加速器相比,存储设备的带宽增长缓慢,二者之间的差距正在不断变大;(4)模型参数和中间数据等模型状态非常大,经常超过GPU等加速器的存储容量,出现了内存墙的问题;(5)为了实现容错,训练任务通常会执行检查点操作,保存最新的模型状态,但这引入了较高的性能开销。因此,面向人工智能(尤其是深度学习)的数据存储技术成为了热门的研究领域,受到了学术界和工业界的广泛关注。本文首先介绍了深度学习的相关背景,包括流程、模型以及分布式训练。其次,本文总结了深度学习的数据特点,包括数据集和模型的规模与类型,以及数据准备(包括数据加载和数据预处理)和模型计算(包括模型训练和模型推理)的数据访问模式。接着,本文分析了深度学习在数据加载、数据预处理以及模型计算阶段的数据存储需求,提出了面向深度学习的数据存储技术研究框架。然后,本文梳理了现有的相关工作,并根据针对的阶段不同将其分为3类:(1)面向数据加载的存储优化技术关注于如何加速数据加载阶段,包括数据集存储格式、数据集存储系统、数据集缓存系统以及数据加载器;(2)面向数据预处理的存储优化技术关注于如何加速数据预处理阶段,包括数据预处理流水线、分离式数据预处理、数据预处理缓存以及近存储数据预处理;(3)面向模型计算的存储优化技术关注于如何加速模型计算阶段,包括模型状态存储技术、模型训练容错技术、模型存储系统以及性能测试与分析工具。最后,本文讨论了现有工作存在的问题,提出了未来可能的研究方向。 展开更多
关键词 深度学习 数据存储技术 数据加载优化 数据预处理优化 模型计算优化
在线阅读 下载PDF
混合云中面向多目标的工作流数据放置策略 被引量:2
20
作者 林兵 汪昕隆 +2 位作者 苏明辉 郑裕恒 卢宇 《计算机集成制造系统》 北大核心 2025年第1期219-234,共16页
针对混合云环境下工业软件工作流的数据放置问题,如何在保证数据安全的前提下平衡用户和服务提供商的利益,综合考虑数据的传输时延,工业软件工作流执行代价以及数据中心间的负载是一个重要的挑战。为此,提出一种安全等级分级机制,并设... 针对混合云环境下工业软件工作流的数据放置问题,如何在保证数据安全的前提下平衡用户和服务提供商的利益,综合考虑数据的传输时延,工业软件工作流执行代价以及数据中心间的负载是一个重要的挑战。为此,提出一种安全等级分级机制,并设计出一种基于改进的多目标优化进化算法(IO-MOEA)的数据放置策略。该策略在传统非支配排序遗传算法(NSGA-II)中对选择算子进行自适应改进,提高了算法的收敛性和种群的多样性,之后结合熵权法和理想解相似性排序偏好技术(TOPSIS)法,客观评估Pareto最优解集中解的优劣,从而找到最佳方案。实验结果表明,所提算法能够有效降低工业软件工作流传输时间和执行代价,同时兼顾数据中心间的负载均衡。相比于改进前的算法,改进后的IO-MOEA算法在超平面指标上提高了约3%~19%,在空间指标上改善了11%~21%。 展开更多
关键词 云计算 工业软件工作流 多目标优化 数据放置 负载均衡
在线阅读 下载PDF
上一页 1 2 136 下一页 到第
使用帮助 返回顶部