基于同步引擎的分布式文件缓存系统设计 被引量：6

1

作者 汤丹 匡晓红 胡志刚 《计算机应用》 CSCD 北大核心 2006年第12期2994-2997,共4页

针对集中式数据管理的网络带宽和运行效率问题,提出了基于同步引擎的分布式文件缓存系统。考虑到分布式部署以及有效同步数据中心和众多分支机构之间频繁更新的文件等因素,系统将文件同步功能拆分到同步引擎、文件传输服务和同步控制台... 针对集中式数据管理的网络带宽和运行效率问题,提出了基于同步引擎的分布式文件缓存系统。考虑到分布式部署以及有效同步数据中心和众多分支机构之间频繁更新的文件等因素,系统将文件同步功能拆分到同步引擎、文件传输服务和同步控制台三个关键组件上。两年的实际运行表明,系统能够实现提供可靠和有效的文件同步服务。 展开更多

关键词 同步引擎 文件缓存 用例 时序图 管理支撑系统 多线程

在线阅读 下载PDF 职称材料

分类的缓存数据延迟写技术 被引量：3

2

作者 魏文国 张凌 +1 位作者 董守斌 陈国华 《小型微型计算机系统》 CSCD 北大核心 2006年第11期2138-2141,共4页

根据缓存数据在缓冲区的活动性不同而设计和实现了一个分类的延迟写(Writebehind)技术.通过将不同活动性的数据分类缓存,并延迟刷新到磁盘来减少、合并写磁盘的次数,从而改进文件系统的写性能.初步的实现结果表明,分类的缓存延迟写技术... 根据缓存数据在缓冲区的活动性不同而设计和实现了一个分类的延迟写(Writebehind)技术.通过将不同活动性的数据分类缓存,并延迟刷新到磁盘来减少、合并写磁盘的次数,从而改进文件系统的写性能.初步的实现结果表明,分类的缓存延迟写技术比LRU的缓存策略有更短的系统响应时间,写文件的反馈时间减少了11.3%,并且使用RWB策略的缓存命中率比使用LRU策略高. 展开更多

关键词 文件系统 缓存 延迟写 算法

在线阅读 下载PDF 职称材料

农业搜索引擎倒排索引缓冲机制研究 被引量：2

3

作者 薛煜阳 张太红 +4 位作者 张晓明 冯向萍 陈燕红 白涛 马健 《新疆农业大学学报》 CAS 北大核心 2011年第2期161-164,共4页

为了解决ASPSeek倒排索引直接采用操作系统文件缓冲访问机制带来的效率问题,本研究以125万张中文农业网页为样本,采用块大小可变的倒排索引存储结构,设计了基于LRU、MRU、LFU、MFU、Clock、Random、FPA替代策略的专用缓冲管理机制。对这... 为了解决ASPSeek倒排索引直接采用操作系统文件缓冲访问机制带来的效率问题,本研究以125万张中文农业网页为样本,采用块大小可变的倒排索引存储结构,设计了基于LRU、MRU、LFU、MFU、Clock、Random、FPA替代策略的专用缓冲管理机制。对这7种替代策略的缓冲命中率及查询访问时间对比测试表明,当所有词条以相同的概率进行检索时,Clock算法为较好的缓冲替代策略,当词条以特定差别概率进行检索时,本研究提出的FPA算法为较好的缓冲替代策略。 展开更多

关键词 农业搜索引擎 倒排索引 缓冲替换策略

在线阅读 下载PDF 职称材料

面向分层混合存储架构的协同式突发缓冲技术 被引量：3

4

作者 周恩强 张伟 +1 位作者 董勇 卢宇彤 《国防科技大学学报》 EI CAS CSCD 北大核心 2015年第1期47-52,共6页

科学计算产生和分析的数据规模日益增长,高性能计算机的存储系统在体系架构和软件管理方法上面临重大挑战。针对天河-2系统的新型分层混合存储架构,提出一种由应用程序耦合的协同式突发缓冲技术来有效利用其存储资源优势。该方法采用运... 科学计算产生和分析的数据规模日益增长,高性能计算机的存储系统在体系架构和软件管理方法上面临重大挑战。针对天河-2系统的新型分层混合存储架构,提出一种由应用程序耦合的协同式突发缓冲技术来有效利用其存储资源优势。该方法采用运行时动态耦合的方法,将临近计算任务的分布式高速存储资源聚合成为一个的巨大的协同式突发缓冲区,通过采用文件命名空间投影的映射方法组织全局数据视图,利用位置亲和和感知数据意图的方法来挖掘空间局部性和时间局部性,并利用应用并发度感知的策略优化数据移动效率。天河-2系统的测试结果表明,该方法能够有效优化多种典型应用场景,可获得高可扩展的突发并行输出带宽和稳定的持续并行输出带宽,可显著提升数据分析场景的输入/输出性能,适合应用于大规模超级计算机的存储系统。 展开更多

关键词 超级计算机 存储架构 并行文件系统 突发缓冲区

在线阅读 下载PDF 职称材料

一种基于文件缓冲方式的操作大数据量数据的方法 被引量：3

5

作者 方旺盛 郑剑 邵利平 《计算技术与自动化》 2004年第4期90-92,共3页

行缓冲和表缓冲是对数据库中记录操作的常用方法,但在处理大数据量数据的时候其效果通常不很理想。为有效的对大数据量数据进行处理,本文介绍了一种用文件缓冲的方式来处理大数据量数据的方法。

关键词 数据量 文件 缓冲 数据库 操作 记录 方式 常用方法 对数 理想

在线阅读 下载PDF 职称材料

并行文件系统研究综述 被引量：5

6

作者 霍严梅 杨可新 +1 位作者 胡亮 鞠九滨 《小型微型计算机系统》 CSCD 北大核心 2008年第9期1631-1636,共6页

对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的... 对于运行在机群上的一类I/O密集型应用,I/O成为整个系统的瓶颈,并行文件系统是解决I/O瓶颈问题的重要方法.但如何实现高性价比且高可用的并行文件系统,目前还没有一个成形完整的解决方案.本文阐述了并行文件系统的功能和模型,对现存的并行文件系统从三个不同的角度进行了分类,详细分析了设计并行文件系统的5个关键技术,分析评价了具有代表性的并行文件系统优缺点,最后讨论了进一步的研究工作. 展开更多

关键词 并行文件系统 体系结构 数据存储 数据缓冲和预取 一致性策略 容错

在线阅读 下载PDF 职称材料

基于可执行文件的缓冲区溢出检测模型 被引量：12

7

作者 黄玉文 刘春英 李肖坚 《计算机工程》 CAS CSCD 北大核心 2010年第2期130-131,134,共3页

给出缓冲区溢出的基本原理和现有检测技术,针对二进制可执行文件中存在的缓冲区溢出漏洞,提出一种缓冲区溢出检测模型,该模型采用静态检测和动态检测相结合的方法。对检测结果采取污点跟踪法进行人工分析,采用插件技术给出缓冲区溢出检... 给出缓冲区溢出的基本原理和现有检测技术,针对二进制可执行文件中存在的缓冲区溢出漏洞,提出一种缓冲区溢出检测模型,该模型采用静态检测和动态检测相结合的方法。对检测结果采取污点跟踪法进行人工分析,采用插件技术给出缓冲区溢出检测模型的具体设计。实验结果证明该模型的设计是有效的。 展开更多

关键词 缓冲区溢出 可执行文件 静态检测 动态检测 人工分析

在线阅读 下载PDF 职称材料

GIS中一种改进的Dijsktra算法及其实现 被引量：5

8

作者 张成花 《计算机应用与软件》 CSCD 2011年第5期275-277,共3页

针对传统Dijsktra算法运算需耗费大量的内存空间和运算时间,难以满足GIS这种大数据量的路径选择要求,提出一种改进的Dijsktra算法。该算法采用利于实现的结点-关联弧段优化存储结构,从传统算法的临时结点中,将大量与永久结点不直接连通... 针对传统Dijsktra算法运算需耗费大量的内存空间和运算时间,难以满足GIS这种大数据量的路径选择要求,提出一种改进的Dijsktra算法。该算法采用利于实现的结点-关联弧段优化存储结构,从传统算法的临时结点中,将大量与永久结点不直接连通的点划分为未标记结点,很大程度上减少了临时结点的数量,提高了算法的搜索效率,同时,运算时通过拓扑索引和临时文件缓冲,大大节省了内存空间,使得算法的空间复杂度为O(n)。试验和实际应用结果证明了算法的有效性。 展开更多

关键词 地理信息系统 路径分析 最短路径 Dijsktra算法 文件缓冲

在线阅读 下载PDF 职称材料

事务型文件系统存储管理机制的研究与实现 被引量：3

9

作者 杨琼 崔西宁 周波 《航空计算技术》 2011年第5期81-84,共4页

论述了事务型文件系统,提出了能够确保文件系统高效性的缓冲管理机制,结合LRU算法和高效的写合并策略,通过专用的写合并缓冲区极大地提高了数据的平均写回速率;提出了能够保证文件系统一致性的外存管理机制,采用灵活的写保护策略,通过... 论述了事务型文件系统,提出了能够确保文件系统高效性的缓冲管理机制,结合LRU算法和高效的写合并策略,通过专用的写合并缓冲区极大地提高了数据的平均写回速率;提出了能够保证文件系统一致性的外存管理机制,采用灵活的写保护策略,通过对外存数据块进行状态标识,确保写回数据不会覆盖原有数据,保证了事务点回滚时的数据一致性。通过在嵌入式实时操作系统环境中的测试,证明了上述机制有效提升了事务型文件系统的时效性和可靠性。 展开更多

关键词 事务型文件系统 缓冲管理 外存管理 可靠性

在线阅读 下载PDF 职称材料

基于对象存储系统的对象文件系统设计 被引量：4

10

作者 冯丹 史伟 +1 位作者 覃灵军 关卿 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2006年第12期47-49,共3页

基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文... 基于对象文件系统是建立在对象存储系统上的一种应用,它利用对象的特点对数据进行存储和管理.基于对象文件系统由客户端、元数据服务器和基于对象存储设备组成,通过对系统的各部分进行分析,设计并实现了基于对象文件系统.通过对不同文件大小、不同文件分块大小条件下文件系统的性能进行测试分析,找出系统的数据传输瓶颈,使用以对象属性为导向的缓存和预取技术以及聚合读写的方法对文件系统进行了优化.优化后读写吞吐率分别提高了60 Mbyte/s和40 Mbyte/s. 展开更多

关键词 对象存储 基于对象文件系统 预取与缓存 聚合读写

在线阅读 下载PDF 职称材料

一个分布式文件系统及多缓存数据－致性策略 被引量：2

11

作者 黄仲伟 李莲治 《小型微型计算机系统》 CSCD 北大核心 1995年第6期43-47,共5页

本文介绍了我们设计实现的一个分布式操作系统ＨＩＴ－ＤＵＮＩＸ中分布式文件系统的实现要点，给出了维护分布式文件多缓存数据一致性的ＭＢＣ策略并讨论了ＭＢＣ策略中防止死锁的技术。

关键词 操作系统 分布式文件系统 多缓存 MBC

在线阅读 下载PDF 职称材料

并行文件系统的框架设计和性能研究 被引量：1

12

作者 谢桂园 魏文国 《计算机工程》 CAS CSCD 北大核心 2009年第11期40-42,共3页

利用InfiniBand技术特征实现高效的并行文件系统(EPFS),设计一个高性能的透明传输层,对数据流的缓存管理、动态和公平的缓存共享,以及有效的内存注册和注销进行研究。实验表明,当I/O节点足够多时,随着计算节点的增加,基于InfiniBand技术... 利用InfiniBand技术特征实现高效的并行文件系统(EPFS),设计一个高性能的透明传输层,对数据流的缓存管理、动态和公平的缓存共享,以及有效的内存注册和注销进行研究。实验表明,当I/O节点足够多时,随着计算节点的增加,基于InfiniBand技术的EPFS比基于TCP/IP的EPFS的读写性能增长更快。并且,两级别的内存注册和注销方法AFMRD比受约束的缓存技术更好地改进I/O性能。 展开更多

关键词 并行文件系统 缓存管理 InfiniBand技术

在线阅读 下载PDF 职称材料

一种用于多媒体流处理器的缓冲器体系结构设计 被引量：1

13

作者 王光 沈绪榜 《黑龙江大学自然科学学报》 CAS 北大核心 2005年第2期248-253,共6页

通过分析传统处理器针对媒体处理应用的通讯瓶颈以及媒体处理应用的特点,得出了Cache结构并不适合现代媒体处理应用的结论,并提出了一种新的、适合于媒体处理应用的存储器体系结构来作为媒体处理器中的缓冲器。该体系结构具有三级并行... 通过分析传统处理器针对媒体处理应用的通讯瓶颈以及媒体处理应用的特点,得出了Cache结构并不适合现代媒体处理应用的结论,并提出了一种新的、适合于媒体处理应用的存储器体系结构来作为媒体处理器中的缓冲器。该体系结构具有三级并行数据带宽存储层次,即片外DRAM、全局寄存器堆和局部寄存器堆,三级并行存储层次依次提高一个数量级的带宽,所能提供的带宽之比为1:16:256。从而可以有效地支持卫星遥感图像预处理对数据带宽的需求。 展开更多

关键词 媒体处理应用 存储带宽 存储层次 流寄存器堆 流缓冲器

在线阅读 下载PDF 职称材料

基于Visual C++的成像测井图像双缓存视图显示 被引量：5

14

作者 闫建平 蔡进功 +2 位作者 首祥云 邵在平 李尊芝 《测井技术》 CAS CSCD 2007年第6期567-570,共4页

成像测井图像显示程序的设计中,由于测井井段范围大,需要显示的图像也相应较长,常常会出现严重的闪屏问题。双缓存技术是解决该问题的有效方法,即先在内存中画图,然后把图像拷贝到屏幕上。在介绍位图文件格式及Windows环境下图像显示基... 成像测井图像显示程序的设计中,由于测井井段范围大,需要显示的图像也相应较长,常常会出现严重的闪屏问题。双缓存技术是解决该问题的有效方法,即先在内存中画图,然后把图像拷贝到屏幕上。在介绍位图文件格式及Windows环境下图像显示基本原理的基础上,使用Visual C++6.0平台实现了成像测井BMP图像的双缓存显示。结果表明该方法能够有效地解决由于图像太大而产生的闪屏问题,为进一步提高成像解释工作效率奠定了基础。 展开更多

关键词 成像测井 图像 Visual C++ 双缓存技术 BMP位图文件

在线阅读 下载PDF 职称材料

Linux终端设备连接属性控制及应用 被引量：1

15

作者 屈志强 乔静 姚青 《电脑知识与技术》 2010年第8X期6881-6883,共3页

终端是对Linux系统进行控制和管理的重要方式,在Linux系统中,终端被视作文件,像普通的磁盘文件一样,终端与系统的连接同样具有一组属性,属性规定了终端的工作方式,Linux提供了修改终端属性的方法,提高了终端的灵活性。该文介绍了修改终... 终端是对Linux系统进行控制和管理的重要方式,在Linux系统中,终端被视作文件,像普通的磁盘文件一样,终端与系统的连接同样具有一组属性,属性规定了终端的工作方式,Linux提供了修改终端属性的方法,提高了终端的灵活性。该文介绍了修改终端连接属性的方法,并通过实例来具体说明使用方法。 展开更多

关键词 LINUX 终端 终端驱动

在线阅读 下载PDF 职称材料

一种面向实时数据库存储引擎的设计与实现 被引量：2

16

作者 刘波 范士明 刘华 《计算机技术与发展》 2011年第8期34-38,共5页

卫星地面设备监控中,需研究实时数据库技术来管理大量的分布式环境下的实时数据。为此文章设计了一种实时数据存储引擎。该引擎借助内存文件映射机制实现内存表,以LRU算法和页面缓冲池实现了磁盘表,通过位图方法管理数据库表的文件空间... 卫星地面设备监控中,需研究实时数据库技术来管理大量的分布式环境下的实时数据。为此文章设计了一种实时数据存储引擎。该引擎借助内存文件映射机制实现内存表,以LRU算法和页面缓冲池实现了磁盘表,通过位图方法管理数据库表的文件空间,以影子页面法实现了事务的提交与回滚,并设计了数据库表的逻辑结构。通过使内存表和磁盘表结构保持一致,确保了数据库运行时内存表和磁盘表的灵活转换,影子页面法确保了数据库具有实时的故障恢复速度。结果表明,该引擎适用于存储卫星地面设备监控中的大量实时数据。 展开更多

关键词 实时数据库 存储引擎 内存文件映射 LRU算法 页面缓冲池 影子页面法

在线阅读 下载PDF 职称材料

虚地址空间基于文件的操作系统中的主动网络

17

作者 李顺增 刘福岩 《计算机工程与应用》 CSCD 北大核心 2002年第14期173-175,224,共4页

首先介绍了主动网络及其实现原理,然后讨论了在虚地址空间基于文件的操作系统中,计算机存储系统层次性和网络互连的关系,同时讨论了跨域调用和文件操作的关系,最后研究了虚地址空间基于文件的操作系统中主动网络的实现原理,分析了该主... 首先介绍了主动网络及其实现原理,然后讨论了在虚地址空间基于文件的操作系统中,计算机存储系统层次性和网络互连的关系,同时讨论了跨域调用和文件操作的关系,最后研究了虚地址空间基于文件的操作系统中主动网络的实现原理,分析了该主动网络具有的优点和存在的问题。 展开更多

关键词 虚地址空间 文件 操作系统 主动网络 文件缓冲代理 计算机网络

在线阅读 下载PDF 职称材料

高效的自适应文件系统的原型设计

18

作者 谢桂园 魏文国 《计算机工程与设计》 CSCD 北大核心 2009年第10期2597-2598,F0003,共3页

为了改进文件系统的性能,提出的文件系统既具有自适应的RAID3和RAID5混合结构,又能根据缓存数据在缓冲区的活动性不同而分类缓存,数据被延迟刷新到磁盘来减少、合并写磁盘的次数,进一步采用自适应的文件条带策略来优化文件访问性能。研... 为了改进文件系统的性能,提出的文件系统既具有自适应的RAID3和RAID5混合结构,又能根据缓存数据在缓冲区的活动性不同而分类缓存,数据被延迟刷新到磁盘来减少、合并写磁盘的次数,进一步采用自适应的文件条带策略来优化文件访问性能。研究结果表明,该文件系统能按需自适应地读写多媒体数据和事务处理数据,当文件系统负载低时,可以尽量积极地将文件分布到所有磁盘来最小化I/O的反馈时间;反之,在系统负载高时,将文件分布的范围小一些以便最大化文件系统整体的吞吐量。 展开更多

关键词 文件系统 缓存 延迟写 文件条带化 自适应 RAID

在线阅读 下载PDF 职称材料

重定向内存资源B^+树索引文件缓冲区策略

19

作者 陆志峰 《计算机工程》 EI CAS CSCD 北大核心 2006年第19期40-42,共3页

在作者研究的鉴定古陶瓷的专家系统(Expert System for Appraising Pottery and Porcelain,ESAPP)中,需要使用一个大型的数据库管理系统,如何合理而有效地使用内存资源,是进行系统设计时需要考虑的一个重要因素。在该系统中,设计了一种... 在作者研究的鉴定古陶瓷的专家系统(Expert System for Appraising Pottery and Porcelain,ESAPP)中,需要使用一个大型的数据库管理系统,如何合理而有效地使用内存资源,是进行系统设计时需要考虑的一个重要因素。在该系统中,设计了一种“可重定向内存资源的B+树索引文件缓冲区管理策略”,它把文件缓冲区中的内存页面定义为一种可以重定义的系统资源,极大地提高了系统的运行效率。 展开更多

关键词 页面 重定向 内存资源 B^+树索引文件 缓冲区

在线阅读 下载PDF 职称材料

基于NTFS大目录的文件创建方法 被引量：1

20

作者 吴伟民 林水宾 +2 位作者 江达强 黎海明 苏庆 《计算机应用》 CSCD 北大核心 2014年第2期417-420,共4页

在已有文献中,由于不依赖Windows应用程序编程接口(API)调用的在新技术文件系统(NTFS)下的文件创建都是在小目录下实现的,因此将对在大目录下创建文件的方法进行研究。运用B+树遍历,找到索引缓冲区,通过判断所找的索引缓冲区是否存在索... 在已有文献中,由于不依赖Windows应用程序编程接口(API)调用的在新技术文件系统(NTFS)下的文件创建都是在小目录下实现的,因此将对在大目录下创建文件的方法进行研究。运用B+树遍历,找到索引缓冲区,通过判断所找的索引缓冲区是否存在索引节点,分别将创建好的索引项插入到指定的索引缓冲区位置,将插入索引项的索引缓冲区写入磁盘,完成在大目录下对文件的创建。通过实验,实现了在大目录下的文件创建,证明了方法在不依赖于Windows API而实现文件创建的正确性。 展开更多

关键词 新技术文件系统 大目录 B+树 索引缓冲区 索引节点

在线阅读 下载PDF 职称材料