一种结合SSD特征的分布式文件系统元数据优化技术 被引量：8

1

作者 罗圣美 陆游游 +3 位作者 秦雄军 杨洪章 张佳程 舒继武 《小型微型计算机系统》 CSCD 北大核心 2018年第5期930-937,共8页

分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特性... 分布式文件系统的元数据性能是制约系统整体性能的关键瓶颈.尽管固态盘(Solid State Drive,SSD)提供高速的数据访问,但是由于元数据呈现粒度小、更新频繁的特征,SSD的性能表现仍然较差,同时导致寿命损耗加速.基于SSD存储介质的写入特性,提出了面向分布式文件系统元数据的数据管理机制和更新方法,包括元数据内存页面的重新组织和管理、多次变化数据的迭代更新、元数据写入方式的进一步优化等.所提方法减少了元数据更新的写入频次和实际写入量,减少了随机写操作,提高了元数据写入性能. 展开更多

关键词 固态盘 分布式文件系统 元数据 数据管理

在线阅读 下载PDF 职称材料

LCFS中元数据服务器的可靠性分析模型 被引量：3

2

作者 王召福 章文嵩 刘仲 《计算机工程与科学》 CSCD 2005年第5期54-55,58,共3页

可靠性问题是研究大规模集群存储系统的一个重要方面,元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案,采用马尔可夫补偿模型研究元数据服务器的状态迁移概率,分析了元数据服务器集群的可靠性以... 可靠性问题是研究大规模集群存储系统的一个重要方面,元数据服务器是大规模集群存储的中心。本文针对基于镜像复制和共享存储的服务器实现方案,采用马尔可夫补偿模型研究元数据服务器的状态迁移概率,分析了元数据服务器集群的可靠性以及数据一致性对可靠性的影响,对实现大规模集群文件系统中的元数据服务器有重要的指导意义。 展开更多

关键词 存储系统 可靠性分析模型 元数据服务器 LCFS 马尔可夫模型

在线阅读 下载PDF 职称材料

分布式协同建模仿真环境中的文档管理系统 被引量：2

3

作者 杨磊 陈琪锋 戴金海 《计算机仿真》 CSCD 北大核心 2009年第2期166-169,207,共5页

电子文档管理系统(EDMS)负责在分布式协同建模仿真环境(DCMSE)中以统一的方式处理不同格式文件的保存与共享。版本控制是EDMS的核心内容,对于保证文件更新的合法性与使用的统一性至关重要。针对目前EDMS系统中管理信息不足、流程缺失、... 电子文档管理系统(EDMS)负责在分布式协同建模仿真环境(DCMSE)中以统一的方式处理不同格式文件的保存与共享。版本控制是EDMS的核心内容,对于保证文件更新的合法性与使用的统一性至关重要。针对目前EDMS系统中管理信息不足、流程缺失、权限不明的问题,提出了基于三层框架的文档全生命周期管理方法、基于流程的审批以及基于文档状态的访问控制方法。设计并实现了分布式协同建模环境中的文档管理系统软件,经使用证明该系统能够较好的满足分布式协同建模环境中的文档管理需求。 展开更多

关键词 电子文档管理 文件元数据 版本控制 审批流程 分布式建模仿真环境 基于状态的访问控制

在线阅读 下载PDF 职称材料

Readdir++:一种并行网络文件系统中海量小文件读优化技术 被引量：1

4

作者 杨洪章 张军伟 +1 位作者 刘振军 张建刚 《小型微型计算机系统》 CSCD 北大核心 2014年第11期2402-2409,共8页

高效管理海量小文件,提供低延时的小文件访问服务,是并行网络文件系统的研究热点.p NFS采用数据带外访问模式,元数据的访问频率高,对海量小文件的访问性能造成了很大影响.本文扩展了p NFS中的读目录授权机制,并在其框架下提出了一种Read... 高效管理海量小文件,提供低延时的小文件访问服务,是并行网络文件系统的研究热点.p NFS采用数据带外访问模式,元数据的访问频率高,对海量小文件的访问性能造成了很大影响.本文扩展了p NFS中的读目录授权机制,并在其框架下提出了一种Readdir++技术,用于批量预取layout等元数据,并确保预取元数据的有效性.Readdir++技术避免了小文件读取过程中同步的元数据获取开销,有效降低了访问延迟,提升了海量小文件的读取访问性能.典型应用环境实测表明,对比p NFS系统,Readdir++技术可将海量小文件读取访问过程中元数据性能提升到14.27倍,总体性能提升到1.78倍. 展开更多

关键词 海量小文件 并行网络文件系统 元数据 预取技术

在线阅读 下载PDF 职称材料

大规模集群文件系统LCFS的元数据管理与访问机制 被引量：2

5

作者 王召福 章文嵩 刘仲 《计算机工程与科学》 CSCD 2005年第8期103-105,共3页

文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中,有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上,提出了集群化的元数据服务器实现模型,并分析和比较了... 文件系统的元数据包括文件基本属性信息和目录结构信息。在基于集群技术的大规模文件系统中,有效的元数据管理是系统实现的核心。本文在设计了与元数据管理相关的三类协议的基础上,提出了集群化的元数据服务器实现模型,并分析和比较了各种实现方式的优缺点。 展开更多

关键词 集群 元数据 文件系统 目录

在线阅读 下载PDF 职称材料

结合隐式元数据和List IO的并行文件系统 被引量：2

6

作者 罗秋明 雷海军 《微计算机信息》 北大核心 2006年第06X期246-248,共3页

并行文件系统中的文件数据与元数据分离管理和分离存储使得系统复杂性上升,可靠性下降,采用将两种数据结合的隐式的元数据管理与存储则可以避免上述问题,而且可以获得元数据的并行服务能力,将Expand隐式元数据管理的简单可靠及元数据并... 并行文件系统中的文件数据与元数据分离管理和分离存储使得系统复杂性上升,可靠性下降,采用将两种数据结合的隐式的元数据管理与存储则可以避免上述问题,而且可以获得元数据的并行服务能力,将Expand隐式元数据管理的简单可靠及元数据并发服务和PVFS高效的ListI/O非连续数据访问的能力相结合,可以同时获得两者的优点。 展开更多

关键词 隐式元数据 LIST I/O EXPAND file—system

在线阅读 下载PDF 职称材料

PVFS客户端目录缓存设计与实现

7

作者 伍卫国 方敏 +2 位作者 吴小康 万群 胡雷钧 《计算机工程》 EI CAS CSCD 北大核心 2005年第23期206-207,213,共3页

缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存,不仅可以减轻目录服务器的压力,避免目录服务器成为系统瓶颈,而且可以简化客户端操作过程,提高并行文件系统的性能。该文对PVFS并行文件系统进行了分... 缓存技术是提高并行文件系统性能的关键性技术。在并行文件系统中实现客户端目录缓存,不仅可以减轻目录服务器的压力,避免目录服务器成为系统瓶颈,而且可以简化客户端操作过程,提高并行文件系统的性能。该文对PVFS并行文件系统进行了分析,建立了客户端目录缓存模型;就客户端目录缓存实现的一些关键性问题,如缓存池开辟位置、一致性等问题进行了研究,给出了解决方法,并在此基础上实现了一个客户端目录缓存的原型系统。测试结果表明,加入缓存后,PVFS系统性能有所提高。 展开更多

关键词 并行文件系统 目录缓存 元数据 PVFS

在线阅读 下载PDF 职称材料

网络文件系统中的元数据存取优化研究

8

作者 贺劲 吴思宁 +1 位作者 孟丹 徐志伟 《微电子学与计算机》 CSCD 北大核心 2003年第3期41-47,共7页

文章研究了客户机/元数据服务器/存储服务器三层结构网络文件系统中,针对改善元数据服务效率的优化策略,包括客户节点接口中的路径解析加速、元数据服务器上的元数据存取优化及元数据服务器组的结构支持等几部分,作者通过建立分析模型... 文章研究了客户机/元数据服务器/存储服务器三层结构网络文件系统中,针对改善元数据服务效率的优化策略,包括客户节点接口中的路径解析加速、元数据服务器上的元数据存取优化及元数据服务器组的结构支持等几部分,作者通过建立分析模型与实际系统模拟的方法,证明这些策略的确可改善系统性能,优化系统效率。 展开更多

关键词 网络文件系统 元数据存取 优化 计算机网络

在线阅读 下载PDF 职称材料

基于MDI的异构数据格式转换和远程文件传输机制研究

9

作者 桂小林 钱德沛 《小型微型计算机系统》 CSCD 北大核心 2002年第8期955-959,共5页

元计算系统的节点间具有多方面的异构性 ,当数据在这些节点间传输时 ,会发生理解或判断上的歧义性 .为了实现数据和文件在异构节点间传输的一致性 ,分析了校园网络内的几种典型计算机系统的数据类型及其存储格式 ,研究了不同数据格式之... 元计算系统的节点间具有多方面的异构性 ,当数据在这些节点间传输时 ,会发生理解或判断上的歧义性 .为了实现数据和文件在异构节点间传输的一致性 ,分析了校园网络内的几种典型计算机系统的数据类型及其存储格式 ,研究了不同数据格式之间的转换算法和远程文件传输机制 .格式转换算法使用元数据信息作为数据信包转换和解压缩的依据 . 展开更多

关键词 MDI 异构数据格式转换 远程文件传输机制 校园网 数据压缩 元数据信息 元计算

在线阅读 下载PDF 职称材料

用VC实现基于DXF文件的AutoCAD数据共享接口 被引量：6

10

作者 李晨 《工业控制计算机》 2010年第4期76-77,共2页

较为详细地介绍了DXF文件格式,并由此推导出AutoCAD外部数据接口的框架。使用Visual C++语言实现了基于DXF文件的AutoCAD数据接口,建立了自主应用软件与AutoCAD之间的共享数据通道。

关键词 AUTOCAD DXF文件.数据接口 图元

在线阅读 下载PDF 职称材料

高性能分布计算的数据管理与优化

11

作者 魏文国 谢桂园 《计算机工程》 CAS CSCD 北大核心 2008年第13期64-66,共3页

在高性能计算程序对海量分布存储数据的操控中,有效的数据管理很重要。该文提出一个新的高性能分布计算的数据管理与优化系统,它包含一个元数据管理系统和存储系统,提供一个容易使用且能自动进行存储访问优化的平台。该平台采用的多存... 在高性能计算程序对海量分布存储数据的操控中,有效的数据管理很重要。该文提出一个新的高性能分布计算的数据管理与优化系统,它包含一个元数据管理系统和存储系统,提供一个容易使用且能自动进行存储访问优化的平台。该平台采用的多存储资源体系结构能够满足性能和存储容量需求,并能自适应地利用当前的I/O优化方法。 展开更多

关键词 高性能计算 海量存储 并行文件系统 元数据管理 访问优化

在线阅读 下载PDF 职称材料

面向大数据分布式存储的动态负载均衡算法 被引量：25

12

作者 张栗粽 崔园 +3 位作者 罗光春 陈爱国 卢国明 王晓雪 《计算机科学》 CSCD 北大核心 2017年第5期178-183,共6页

随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDF... 随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Federation)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。 展开更多

关键词 大数据 分布式存储 元数据管理 HDFS

在线阅读 下载PDF 职称材料

基于对象存储文件系统研究综述

13

作者 方圆 杜祝平 胡永奎 《计算机光盘软件与应用》 2010年第5期43-45,共3页

网络数据信息爆炸性的增长，使网络存储技术变得越来越重要，已成为Interne汲其相关行业进一步发展的关键。近年来，存储技术的发展日新月异，已经由后台走到了前台，从而引发了数字技术的第三次浪潮。本文结合网络存储研究现状，将介... 网络数据信息爆炸性的增长，使网络存储技术变得越来越重要，已成为Interne汲其相关行业进一步发展的关键。近年来，存储技术的发展日新月异，已经由后台走到了前台，从而引发了数字技术的第三次浪潮。本文结合网络存储研究现状，将介绍一些热点网络存储技术及其新进展。 展开更多

关键词 网络存储 文件系统 MDS 对象存储 元数据服务器

在线阅读 下载PDF 职称材料

一种SAN环境下集群文件系统的元数据缓存研究 被引量：3

14

作者 许祥 罗宇 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期240-244,共5页

为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃... 为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃了原有的管理方法,尽可能地保证其在客户端是可缓冲的;针对可能引起客户端与服务器端元数据不一致的情况进行了分析,并提出了解决方法;最后通过测试进行了初步验证. 展开更多

关键词 SAN 集群文件系统 元数据缓存 一致性

在线阅读 下载PDF 职称材料

高性能逻辑文件系统设计与实现 被引量：1

15

作者 赵奕 唐荣锋 +2 位作者 陈欢 熊劲 马捷 《计算机工程》 CAS CSCD 北大核心 2008年第6期74-76,共3页

服务器端文件系统不仅需要很大的容量,而且要为大量并发访问提供很高的I/O性能。该文提出一种把多个物理文件系统通过软件集成为一个逻辑文件系统的技术,很好地聚合了各个文件系统所在磁盘设备的带宽和容量,综合了不同文件系统在元数据... 服务器端文件系统不仅需要很大的容量,而且要为大量并发访问提供很高的I/O性能。该文提出一种把多个物理文件系统通过软件集成为一个逻辑文件系统的技术,很好地聚合了各个文件系统所在磁盘设备的带宽和容量,综合了不同文件系统在元数据和数据处理性能上的优势。性能测试结果表明,逻辑文件系统技术是一种构造支持高度并发访问的高性能文件系统的有效方法。 展开更多

关键词 文件系统 数据布局 元数据

在线阅读 下载PDF 职称材料

单一系统映象机群文件系统可扩展元数据服务器的设计与实现 被引量：1

16

作者 史小冬 祝明发 叶庆华 《微电子学与计算机》 CSCD 北大核心 2002年第2期20-23,39,共5页

文章介绍了曙光3000超级服务器机群文件系统COSMOS中元数据服务器的设计与实现。针对机群文件系统对单一系统映象和可扩展性的要求,分析了机群文件系统元数据服务器基本操作的特点,找出了多个不同的元数据操作进行并行处理的可行办法,... 文章介绍了曙光3000超级服务器机群文件系统COSMOS中元数据服务器的设计与实现。针对机群文件系统对单一系统映象和可扩展性的要求,分析了机群文件系统元数据服务器基本操作的特点,找出了多个不同的元数据操作进行并行处理的可行办法,并给出了实现方案及系统性能的测试模型和测试结果。 展开更多

关键词 机群文件系统 元数据服务器 可扩展性 单一系统映象 设计

在线阅读 下载PDF 职称材料

多维元数据索引文件系统设计与实现

17

作者 史军勇 李文静 《电脑知识与技术》 2021年第16期26-29,共4页

容量庞大的磁盘外部存储设备导致文件检索性能下降,传统的“按名检索”方法已经无法满足海量文件系统检索需求,面向近些年流行的多维索引技术,应用R树设计和实现一个基于文件属性的多维元数据索引文件系统MIFS,分析了MIFS目录树多属性... 容量庞大的磁盘外部存储设备导致文件检索性能下降,传统的“按名检索”方法已经无法满足海量文件系统检索需求,面向近些年流行的多维索引技术,应用R树设计和实现一个基于文件属性的多维元数据索引文件系统MIFS,分析了MIFS目录树多属性索引结构和插入、删除、分裂操作算法,阐述了MIFS索引结构的物理实现及其用户接口,最后,实验测试了MIFS和Ext 3文件系统用户接口的周转时间,结果表明MIFS文件检索性能得到了显著提高。 展开更多

关键词 多维元数据索引 文件系统 R树 降维 用户接口

在线阅读 下载PDF 职称材料

可扩展单一映象文件系统的设计、实现及评价 被引量：1

18

作者 祝明发 徐志伟 +1 位作者 朱宁宁 张弛 《计算机研究与发展》 EI CSCD 北大核心 1999年第12期1502-1509,共8页

曙光超级服务器是典型的机群系统，ＣＯＳＭＯＳ是为其研制开发的可扩展的单一映象文件系统． 文中主要描述了ＣＯＳＭＯＳ原型系统的设计、实现及评价．其中重点介绍了双粒度合作式缓存、分布式元数据管理及网络磁盘存储分组等关键技... 曙光超级服务器是典型的机群系统，ＣＯＳＭＯＳ是为其研制开发的可扩展的单一映象文件系统． 文中主要描述了ＣＯＳＭＯＳ原型系统的设计、实现及评价．其中重点介绍了双粒度合作式缓存、分布式元数据管理及网络磁盘存储分组等关键技术，并利用Ｉ／Ｏ基准程序对原型文件系统进行了性能评价，测试结果表明了该原型系统在保证系统单一映象的基础上。 展开更多

关键词 局域网 磁盘分组 可扩展性 文件系统

在线阅读 下载PDF 职称材料

一种海量小文件对象存储优化方案 被引量：5

19

作者 屠雪真 黄震江 《计算机技术与发展》 2019年第8期31-36,共6页

在海量小文件存储场景下,传统分布式文件系统存在元数据服务器性能瓶颈、存储空间浪费严重、磁盘I/O效率低等问题。业界主要采用小文件聚合的方法解决这个问题,但现有研究依赖于从聚合结构到小文件的二次映射和查表检索等传统方法。文... 在海量小文件存储场景下,传统分布式文件系统存在元数据服务器性能瓶颈、存储空间浪费严重、磁盘I/O效率低等问题。业界主要采用小文件聚合的方法解决这个问题,但现有研究依赖于从聚合结构到小文件的二次映射和查表检索等传统方法。文中提出一种基于对象文件系统的海量小文件优化方案,根据局部性特征将小文件聚合为文件组,使用算法直接进行对象数据存储位置的分布与定位,将低效的查表检索方式改变为高效快捷的“计算检索”方式,这更加适合大规模分布式系统的设计;在客户端采用小文件数据大粒度预读技术,聚合小粒度I/O为大粒度I/O,提升了磁盘访问效率,使用页面热缓存和温缓存两级队列管理及识别热数据,并利用文件的局部性特征提升缓存命中率。实验结果表明,在海量小文件随机读写场景下性能提升50%左右。 展开更多

关键词 对象文件系统 小文件 元数据 聚合结构 查表索引 预读

在线阅读 下载PDF 职称材料

网络文件系统的数据一致性研究

20

作者 刘湛 钱薇 李斯波 《舰船电子工程》 2008年第7期157-161,共5页

针对网络文件系统中存在的三种主要的数据一致性问题:缓存一致性、元数据一致性和节点间数据一致性,分别设计和总结了相应的解决方案。

关键词 网络文件系统 数据一致性 缓存 元数据

在线阅读 下载PDF 职称材料