基于Q-Learning长尾延迟优化的SSD-SMR写缓存策略研究

1

作者 刘健 章步镐 +4 位作者 方匡弛 刘宣锋 孙国道 梁荣华 梁浩然 《计算机工程》 北大核心 2026年第3期287-298,共12页

随着全球数据规模的不断增大,如何以低成本的方式有效提升数据的访问性能是存储系统面临的一项重要挑战,使用低延迟、高带宽的固态硬盘(SSD)和低成本、高存储密度的叠瓦式磁盘(SMR)来构建缓存系统,成为一种有效的解决方案。但是,SMR固... 随着全球数据规模的不断增大,如何以低成本的方式有效提升数据的访问性能是存储系统面临的一项重要挑战,使用低延迟、高带宽的固态硬盘(SSD)和低成本、高存储密度的叠瓦式磁盘(SMR)来构建缓存系统,成为一种有效的解决方案。但是,SMR固有的机械运动和多磁道堆叠的特性导致其写性能较差,SSD中的脏数据频繁写回SMR所导致的大量读-合并-写(RMW)操作可能会引起严重的长尾延迟现象。为此,基于SSD-SMR混合存储架构提出一种结合强化学习Q-Learning算法的缓存替换优化策略。通过学习SMR设备的I/O负载状况与延迟之间的经验知识来控制对SMR的写入,当SMR负载较大时,通过控制缓存中脏数据的逐出来减少SMR因写回而产生的大量RMW操作,从而优化系统在不同负载下的尾部延迟开销。将Q-Learning算法与基于数据流行度的缓存算法LRU以及SMR感知的缓存算法SAC进行结合,使用真实企业Trace和YCSB生成的模拟Trace进行测试,实验结果表明,所提方法能够有效提升现有缓存算法的性能,可以降低57.06%的平均延迟和87.49%的尾部延迟。 展开更多

关键词 Q-Learning算法 i/o负载 长尾延迟 缓存替换算法 混合存储

在线阅读 下载PDF 职称材料

高性能计算环境下基于远程I/O负载平衡调度算法 被引量：2

2

作者 刘海龙 张延园 汤小春 《计算机应用研究》 CSCD 北大核心 2005年第10期56-58,共3页

在高性能计算环境中数据和应用程序往往分散在不同的节点,远程I/O的效率成为影响高性能计算性能的一个重要因素。为了提高系统的I/O效率,引入了一种基于远程I/O负载平衡调度算法。该算法采用了一种预约机制,可以对节点I/O负载进行动态... 在高性能计算环境中数据和应用程序往往分散在不同的节点,远程I/O的效率成为影响高性能计算性能的一个重要因素。为了提高系统的I/O效率,引入了一种基于远程I/O负载平衡调度算法。该算法采用了一种预约机制,可以对节点I/O负载进行动态调整、更好地利用网络带宽。详细介绍了该算法的实现过程,并且在一个模拟环境下对该算法的效果进行了评测。 展开更多

关键词 i/o负载 预约 负载迁移

在线阅读 下载PDF 职称材料

叠前偏移计算中多文件并行I/O技术 被引量：3

3

作者 孔祥宁 赵改善 +1 位作者 王华忠 程玖兵 《物探化探计算技术》 CAS CSCD 2005年第2期97-101,共5页

这里针对波动方程叠前深度偏移计算所涉及的数据,设计相应的数据文件格式,快速有效地从多文件海量数据中获取所需信息;根据不同的输入/输出数据,采用不同读写方式(串行/并行);解决了并行计算时的负载平衡以及计算中断后的数据恢复,充分... 这里针对波动方程叠前深度偏移计算所涉及的数据,设计相应的数据文件格式,快速有效地从多文件海量数据中获取所需信息;根据不同的输入/输出数据,采用不同读写方式(串行/并行);解决了并行计算时的负载平衡以及计算中断后的数据恢复,充分提高了波动方程叠前深度偏移计算效率。 展开更多

关键词 数据管理 多文件并行处理 负载平衡 输入/输出

在线阅读 下载PDF 职称材料

分散控制系统中I/O模件通信实现方法分析 被引量：4

4

作者 吴胜华 王丹麟 《华电技术》 CAS 2011年第11期61-62,87,共2页

介绍了分散控制系统中过程控制站和现场I/O模件之间的4种通信实现方法,分析了各种方法的优、缺点,供具体应用时参考。

关键词 分散控制系统 过程控制站 i/o模件 负荷

在线阅读 下载PDF 职称材料

一种分布式并行I/O中新型动态数据调度算法 被引量：1

5

作者 曾碧卿 陈志刚 陈恒法 《微电子学与计算机》 CSCD 北大核心 2007年第7期119-121,共3页

在研究并行I/O数据调度策略的基础上,提出了一种应用于分布式计算系统中的二次调度自主维护负载平衡的动态I/O调度算法(DIO_TSMB),实验结果表明了算法的有效性,最后指出了并行I/O数据调度的发展趋势。

关键词 分布式 并行i/o 数据调度 负载平衡 二次调度

在线阅读 下载PDF 职称材料

基于FPGA的智能化I/O接口在飞机测控系统中的应用 被引量：3

6

作者 吴建军 姬劳 谢拴勤 《计算机测量与控制》 CSCD 2005年第7期668-670,706,共4页

介绍了基于FPGA技术的智能化I/O接口技术的实现原理及其在飞机电气负载管理中心中的应用。并对整个系统的结构进行了分析,给出了系统实现原理图、一些关键环节的VHDL代码和部分功能的时序图。以此设计的I/O接口卡,其电路简单可靠,容易扩... 介绍了基于FPGA技术的智能化I/O接口技术的实现原理及其在飞机电气负载管理中心中的应用。并对整个系统的结构进行了分析,给出了系统实现原理图、一些关键环节的VHDL代码和部分功能的时序图。以此设计的I/O接口卡,其电路简单可靠,容易扩展,能够满足飞机测控系统的要求,并在试验样机中成功引用。 展开更多

关键词 飞机电气负载管理中心 FPGA i/o接口 双口RAM 固态功率控制器

在线阅读 下载PDF 职称材料

集群计算并行I/O中动态文件分配策略

7

作者 曾碧卿 陈志刚 +1 位作者 吕西红 邓晓衡 《计算机工程》 EI CAS CSCD 北大核心 2005年第21期53-54,71,共3页

针对集群计算系统中并行I/O文件分配问题进行了研究,提出一种新的动态文件分配算法——启发式负载与服务时间变化综合平衡策略。该策略将所需要的访问服务时间相似的文件分配到集群系统的同一结点磁盘上,并保证每个磁盘上的负载值不超... 针对集群计算系统中并行I/O文件分配问题进行了研究,提出一种新的动态文件分配算法——启发式负载与服务时间变化综合平衡策略。该策略将所需要的访问服务时间相似的文件分配到集群系统的同一结点磁盘上,并保证每个磁盘上的负载值不超过负载平衡的极限值,从而在所有结点磁盘间既基本实现负载均衡,又使每个磁盘上文件间的服务时间变化最小化。实验结果表明了该策略在性能提高方面的有效性。 展开更多

关键词 集群计算 并行i/o 文件分配 负载均衡 服务时间变化

在线阅读 下载PDF 职称材料

DSP并行I/O自举加载方法研究 被引量：2

8

作者 陈启兴 于红兵 祁秋红 《通信技术》 2012年第5期95-97,共3页

分析了TMS320VC5402二次引导法的特点,明确了该方法对用户程序大小的要求。结合工作实际,提出了一种切实可行的并行I/O空间自举加载方法。对于并行I/O空间自举加载方法,如果TMS320VC5402有扩展RAM,则用户程序最多为36 kW(微计算机模式)... 分析了TMS320VC5402二次引导法的特点,明确了该方法对用户程序大小的要求。结合工作实际,提出了一种切实可行的并行I/O空间自举加载方法。对于并行I/O空间自举加载方法,如果TMS320VC5402有扩展RAM,则用户程序最多为36 kW(微计算机模式)或略小于48 kW(微处理器模式);如果TMS320VC5402无扩展RAM,则用户程序的最多为15.875 kW。实践证明,该方法构思新颖、操作简单,并能简化系统软硬件设计工作,具有很高的实用价值。 展开更多

关键词 自举加载 TMS320VC5402 并行i/o空间

原文传递

iSCSISAN中高速虚拟网络I/O通道技术研究

9

作者 周敬利 王克朝 +1 位作者 余胜生 姜明华 《计算机应用研究》 CSCD 北大核心 2006年第4期13-15,共3页

针对目前iSCSI SAN中网络链路的性能瓶颈和单点故障问题,研究了虚拟网络I/O通道技术。将多个物理网络接口绑定为一个虚拟网络接口,使得多条物理链路整合为一个逻辑网络I/O通道,数据包按照负载均衡算法通过多条链路并行传输,大大提高iSCS... 针对目前iSCSI SAN中网络链路的性能瓶颈和单点故障问题,研究了虚拟网络I/O通道技术。将多个物理网络接口绑定为一个虚拟网络接口,使得多条物理链路整合为一个逻辑网络I/O通道,数据包按照负载均衡算法通过多条链路并行传输,大大提高iSCSI SAN吞吐率和系统的可用性。最后通过性能分析和实验测试得以验证。 展开更多

关键词 虚拟网络i/o通道 虚拟网络接口 负载均衡 可用性

在线阅读 下载PDF 职称材料

pGTIOL:GeoTIFF数据并行I/O库 被引量：2

10

作者 胡树坚 关庆锋 +3 位作者 龚君芳 刘洋 范天恒 云硕 《地球信息科学学报》 CSCD 北大核心 2015年第5期575-582,共8页

在地理栅格并行计算处理中,数据I/O已成为制约计算性能的主要瓶颈之一。本文针对该问题,首先分析广泛应用于GIS栅格数据存储的Geo TIFF格式,重点研究数据的2种存储模式(即条带存储与块状存储),并根据这2种存储方式,分别构建了栅格数据... 在地理栅格并行计算处理中,数据I/O已成为制约计算性能的主要瓶颈之一。本文针对该问题,首先分析广泛应用于GIS栅格数据存储的Geo TIFF格式,重点研究数据的2种存储模式(即条带存储与块状存储),并根据这2种存储方式,分别构建了栅格数据从逻辑结构向物理存储结构的映射模型。然后,针对地理空间并行计算的需要,提出了栅格数据的并行读写框架,并利用MPI并行I/O技术的文件视图方法,实现了Geo TIFF数据并行I/O库(p GTIOL)。结果表明,对比开源栅格空间数据转换库(GDAL)的主从I/O模式,本文提出的p GTIOL准确读写数据,具有更高的性能。该库隐藏了底层并行I/O的细节,提供简单易用的并行读写Geo TIFF栅格数据的接口,支持多数据类型和多种空间分割,实现了对条带存储与块状存储数据的异步并行读写,从而满足动态负载均衡的需求。 展开更多

关键词 GEoTIFF MPI 并行i/o 异步 动态负载均衡

原文传递

并行文件系统扩容与I/O节点负载平衡策略

11

作者 曲凤山 黄刘生 +2 位作者 黄刘生 吴雪梅 李家俊 《计算机工程》 CAS CSCD 北大核心 2000年第10期121-123,共3页

在大规模并行处理系统ＭＰＰ商业化应用中，并行文件系统容量与Ｉ／Ｏ节点的负载平衡一直是挖掘整个系统并行性，进而提高系统性能的关键问题之一．本文从分析Ｐａｒａｇｏｎ大规模并行处理系统的体系结构和并行文件系统的体系结构出发... 在大规模并行处理系统ＭＰＰ商业化应用中，并行文件系统容量与Ｉ／Ｏ节点的负载平衡一直是挖掘整个系统并行性，进而提高系统性能的关键问题之一．本文从分析Ｐａｒａｇｏｎ大规模并行处理系统的体系结构和并行文件系统的体系结构出发，给出了并行文件系统的扩容策略，使用ＭＰＰ系统的Ｉ／Ｏ节点平衡负载理论模型，给出了实际工程应用中的负载平衡策略． 展开更多

关键词 并行文件系统 负载平衡 i/o节点 操作系统

在线阅读 下载PDF 职称材料

核电厂非安全级DCS系统输入输出(I/O)分配方案 被引量：2

12

作者 相溢炯 冯坚 《科技视界》 2012年第24期303-304,263,共3页

本文对核电厂非安全级DCS系统输入输出(I/O)分配的需求进行分析,结合Foxboro I/A平台提出了非安全级DCS系统的输入输出分配方案,并对实际工作中遇到的问题给出了解决方法。

关键词 核电厂 非安全级DCS系统 输入输出(i/o)分配

在线阅读 下载PDF 职称材料

一种面向边缘计算的可扩展网络I/O框架

13

作者 宋平 毕立波 《信息通信技术与政策》 2021年第3期33-40,共8页

作为当前的研究热点,边缘计算可以在网络边缘部署计算、存储和网络资源,为用户提供云化服务,以满足新兴应用的处理需求。但是,当前网络I/O模型的扩展性问题使得运行在边缘节点上的边缘应用难以有效地利用丰富的边缘物理资源处理海量用... 作为当前的研究热点,边缘计算可以在网络边缘部署计算、存储和网络资源,为用户提供云化服务,以满足新兴应用的处理需求。但是,当前网络I/O模型的扩展性问题使得运行在边缘节点上的边缘应用难以有效地利用丰富的边缘物理资源处理海量用户的网络请求。针对边缘计算场景下网络I/O模型的数据竞争和负载不均衡问题,提出了一种新的可扩展网络I/O模型。通过试验可以看出,利用该模型的边缘应用具有良好的性能和可扩展性。 展开更多

关键词 边缘计算 网络i/o 数据竞争 负载均衡

在线阅读 下载PDF 职称材料

对象存储系统中一种高效的分层对象布局算法 被引量：4

14

作者 陈涛 肖侬 刘芳 《计算机研究与发展》 EI CSCD 北大核心 2012年第4期887-899,共13页

在对象存储系统中,如何有效地在对象存储设备上分布对象是其面临的重大挑战.需要一个能够常数时间内定位对象,同时能公平地分布对象以及自适应存储规模变化的对象布局算法.目前大部分布局算法只能适应单层模式,少数的多层模式对设备配... 在对象存储系统中,如何有效地在对象存储设备上分布对象是其面临的重大挑战.需要一个能够常数时间内定位对象,同时能公平地分布对象以及自适应存储规模变化的对象布局算法.目前大部分布局算法只能适应单层模式,少数的多层模式对设备配置有严格的要求,而且无法在常数时间内定位对象,自适应性较差.提出了一种新的分层对象布局算法,首先使用最大最小聚类算法将设备集合进行分类,支持灵活的设备配置.然后使用提出的EFAH Hashing算法在集群间和集群内分布对象.理论和实验证明,新的分层对象布局算法可以在常数时间内定位对象,从而减轻元数据服务器的计算量.同时可以在设备之间较公平地分布对象,达到I/O负载均衡的目的.而且在设备集合变化时,迁移较少的对象数以满足对象再次分布的公平性. 展开更多

关键词 对象存储系统 对象布局算法 i/o负载均衡 层次化 自适应

在线阅读 下载PDF 职称材料

一种网络存储技术新方案--智能网络磁盘集群存储系统 被引量：3

15

作者 王文丰 赵跃龙 +1 位作者 曾文英 余斌 《小型微型计算机系统》 CSCD 北大核心 2008年第7期1211-1214,共4页

针对网络存储技术中存在的一些问题,提出一种网络存储技术新方案——智能网络磁盘集群存储系统.通过"分散服务、集中管理"模式,有效解决了普遍存在的单点失效问题;通过设计一种虚拟文件系统,将多个存储节点虚拟成一个超大容... 针对网络存储技术中存在的一些问题,提出一种网络存储技术新方案——智能网络磁盘集群存储系统.通过"分散服务、集中管理"模式,有效解决了普遍存在的单点失效问题;通过设计一种虚拟文件系统,将多个存储节点虚拟成一个超大容量、集中化的数据存储中心,满足了海量信息存储的大容量、可扩展性等要求;通过多数据布局方法,满足了数据完整性和吞吐率等不同数据存储要求;最后分别提出了一种智能I/O调度和自适应负载均衡方案. 展开更多

关键词 智能网络磁盘集群存储系统(INDCSS) FARP表 智能i/o调度 负载均衡

在线阅读 下载PDF 职称材料

分布式供电系统中负载变换器的输入阻抗分析 被引量：32

16

作者 吴涛 阮新波 《中国电机工程学报》 EI CSCD 北大核心 2008年第12期20-25,共6页

直流分布式供电系统由多个子系统组合而成,子系统之间的相互作用容易导致系统稳定程度和动态性能降低,甚至于不稳定。通常,恒功率负载具有的负阻抗输入特性是导致级联系统不稳定的主要原因。该文针对直流变换器在恒功率负载的情况下,以... 直流分布式供电系统由多个子系统组合而成,子系统之间的相互作用容易导致系统稳定程度和动态性能降低,甚至于不稳定。通常,恒功率负载具有的负阻抗输入特性是导致级联系统不稳定的主要原因。该文针对直流变换器在恒功率负载的情况下,以分布式供电系统中负载变换器的输入阻抗作为标准化研究的对象。该文以分布式供电系统中常见的同步整流Buck变换器为例,详细分析了变换器的输入阻抗随功率等级、开关频率和控制方式变化时的规律。并进一步通过实验验证了理论分析的正确性。实验结果为将来制定出Buck类DC-DC模块的输入阻抗的标准打下基础。 展开更多

关键词 输入/输出阻抗 分布式供电系统 负载变换器 稳定性分析 标准化

在线阅读 下载PDF 职称材料

一种不依赖访问热度信息的分布式文件放置算法 被引量：2

17

作者 薛弘晔 田治武 +2 位作者 罗香玉 冯健 王丹 《科学技术与工程》 北大核心 2018年第2期285-289,共5页

文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测... 文件放置问题一直是分布式存储领域的研究热点。分布式文件存储系统HDFS随机选择节点完成文件放置,存在访问负载分布不均衡的缺点。研究人员提出大量基于文件访问热度信息的放置算法;但是,文件的访问热度信息是动态变化的,难以准确预测。提出一种不依赖访问热度信息的分布式文件放置算法;该算法仅使用文件的创建时间信息,利用文件已创建时间与访问热度之间的相关性,首先将时间进行区间划分,然后统计出各节点在不同时间区间内所创建文件的数据量,放置过程中保持同一时间区间的数据量在不同节点间大致相同。实验结果表明,该算法不仅可以使各节点的存储负载达到均衡,还能够提升访问负载的均衡,消除因文件访问热度不均而导致的性能瓶颈。 展开更多

关键词 分布式文件存储系统 文件访问热度 文件放置 负载均衡

在线阅读 下载PDF 职称材料

基于MapReduce的多元连接优化方法 被引量：3

18

作者 李甜甜 于戈 +1 位作者 郭朝鹏 宋杰 《计算机研究与发展》 EI CSCD 北大核心 2016年第2期467-478,共12页

多元连接是数据分析最常用的操作之一,MapReduce是广泛用于大规模数据分析处理的编程模型,它给多元连接优化带来新的挑战:传统的优化方法不能简单地适用到MapReduce中;MapReduce连接执行算法尚存优化空间.针对前者,考虑到I/O代价是连接... 多元连接是数据分析最常用的操作之一,MapReduce是广泛用于大规模数据分析处理的编程模型,它给多元连接优化带来新的挑战:传统的优化方法不能简单地适用到MapReduce中;MapReduce连接执行算法尚存优化空间.针对前者,考虑到I/O代价是连接运算的主要代价,首先以降低I/O代价为目标提出一种启发式算法确定多元连接执行顺序,并在此基础上进一步优化,最后针对MapReduce设计一种并行执行策略提高多元连接的整体性能.针对后者,考虑到负载均衡能够有效减少MapReduce的"木桶效应",通过任务公平分配算法提高连接内部的并行度,并在此基础上给出Reduce任务个数的确定方法.最后,通过实验验证本文提出的执行计划确定方法以及负载均衡算法的优化效果.该研究对大数据环境下MapReduce多元连接的应用具有指导意义,可以优化如OLAP分析中的星型连接、社交网络中社团发现的链式连接等应用的性能. 展开更多

关键词 多元连接 执行计划 i/o代价 性能优化 MapReduce编程模型 负载均衡

在线阅读 下载PDF 职称材料

存储区域网络基于主机接口卡的负载均衡

19

作者 谭毓安 曹元大 王佐 《北京理工大学学报》 EI CAS CSCD 北大核心 2005年第11期954-957,共4页

为提高存储区域网络中主机的I/O吞吐能力,在主机上加入冗余路径驱动程序,对逻辑单元(LUN)的I/O请求进行处理.将LUN的I/O请求分配到它的所有路径上,使主机的负载均匀地分布在存储网络中.应用排队理论的多服务员聚集模型,分析了总吞吐能... 为提高存储区域网络中主机的I/O吞吐能力,在主机上加入冗余路径驱动程序,对逻辑单元(LUN)的I/O请求进行处理.将LUN的I/O请求分配到它的所有路径上,使主机的负载均匀地分布在存储网络中.应用排队理论的多服务员聚集模型,分析了总吞吐能力与主机负载、主机接口卡(HBA)数目、HBA性能之间的关系.实现了基于HBA的负载均衡算法,提高了主机的吞吐能力,缩短了I/O平均响应时间. 展开更多

关键词 负载均衡 i/o路径 性能评价 存储区域网络

在线阅读 下载PDF 职称材料