DFS元数据缓存一致性的轻量级维护机制

1

作者 吴雨飞 李诚 +1 位作者 李嘉豪 王一多 《计算机系统应用》 2025年第10期101-109,共9页

分布式文件系统(DFS)能够高效管理数据中心的存储资源,已经成为支撑众多数据密集型应用的核心基础设施.为了降低执行文件系统操作时路径解析的开销,分布式文件系统普遍采用了客户端元数据缓存,同时在客户端之间同步元数据修改以保证元... 分布式文件系统(DFS)能够高效管理数据中心的存储资源,已经成为支撑众多数据密集型应用的核心基础设施.为了降低执行文件系统操作时路径解析的开销,分布式文件系统普遍采用了客户端元数据缓存,同时在客户端之间同步元数据修改以保证元数据缓存的一致性.但是现有的元数据缓存一致性方案在引入了高昂性能开销的情况下,仍然未能正确同步全部的目录树修改,导致正确性问题.针对这一现状,本文提出了一种维护元数据缓存一致性的轻量级机制,通过基于并发广播机制的目录树修改方法以及基于惰性广播和墓碑机制的目录删除方法,既突破了现有方案的性能瓶颈又解决了正确性缺陷.实验结果表明,这种机制使得分布式文件系统中目录树修改操作的延迟降低了65.8%–66.9%,吞吐量提升了2.94–4.53倍.此外,在运行Spark作业时,作业提交的延迟下降了43.6%. 展开更多

关键词 存储系统 分布式文件系统 元数据 缓存 一致性

在线阅读 下载PDF 职称材料

基于ARINC661的DF文件验证平台

2

作者 唐乐 孙永荣 许舒晨 《兵工自动化》 北大核心 2024年第11期21-25,共5页

针对DF文件的高效验证需求,对陆空兼容的DF文件验证平台进行设计。通过对静态预检测、窗体部件的激励代理、激励实时响应和动态渲染置顶技术进行研究,并对平台进行测试验证。实际运行结果表明:该平台能提高DF文件的验证效率,为各类装备... 针对DF文件的高效验证需求,对陆空兼容的DF文件验证平台进行设计。通过对静态预检测、窗体部件的激励代理、激励实时响应和动态渲染置顶技术进行研究,并对平台进行测试验证。实际运行结果表明:该平台能提高DF文件的验证效率,为各类装备系统显示模块的开发与验证提供便利。 展开更多

关键词 df文件 静态预检测 激励代理 实时响应 动态渲染置顶

在线阅读 下载PDF 职称材料

基于支持向量机的HDFS副本放置改进策略 被引量：8

3

作者 罗军 陈仕强 《计算机工程》 CAS CSCD 北大核心 2015年第11期114-119,共6页

为实现超大规模数据的存储并提高容错性,Hadoop分布式文件系统(HDFS)采用一种机架感知的多副本放置策略。但在放置过程中没有综合考虑各节点服务器的差异性,导致集群出现负载失衡。由于放置时采用随机方式,造成节点之间的网络距离过长,... 为实现超大规模数据的存储并提高容错性,Hadoop分布式文件系统(HDFS)采用一种机架感知的多副本放置策略。但在放置过程中没有综合考虑各节点服务器的差异性,导致集群出现负载失衡。由于放置时采用随机方式,造成节点之间的网络距离过长,使得传输数据会消耗大量时间。针对以上问题,提出一种基于SVM的副本放置策略。通过综合考虑节点负载情况、节点硬件性能、节点网络距离为副本找到最佳的放置节点。实验结果表明,与HDFS原有的副本放置策略相比,该策略能更有效地实现负载均衡。 展开更多

关键词 支持向量机 云存储 副本放置策略 分布式文件系统 负载均衡 机架感知

在线阅读 下载PDF 职称材料

使用公式划分文件的DF-Sort算法 被引量：1

4

作者 徐绪松 周建钦 《微电子学与计算机》 CSCD 北大核心 1991年第5期30-33,共4页

本文提出了一个新的排序算法DF-Son.该算法使用公式j=[(-min)*ak/(max-min)](a>0),将原数据文件划分成m+1个子文件F_1(t=1,…,m),且,F_0<F_1<…<F.再使用公式j_1=R_1-min_1将子文件F_1划分成s+1个子文件F(1=0,1,…,s),且F&l... 本文提出了一个新的排序算法DF-Son.该算法使用公式j=[(-min)*ak/(max-min)](a>0),将原数据文件划分成m+1个子文件F_1(t=1,…,m),且,F_0<F_1<…<F.再使用公式j_1=R_1-min_1将子文件F_1划分成s+1个子文件F(1=0,1,…,s),且F<F<…<F此时,子文件的长度基本上等于1.若不等于1,则该子文件中的元素全是相同的.该算法的期望复杂性为O(n). 展开更多

关键词 公式划分文件 df-Sort算法 排序算法 随机数据 计算机

全文增补中

机载显示软件DF验证方法

5

作者 李建平 《民用飞机设计与研究》 2015年第2期15-17,共3页

对A661机载显示软件中的DF文件的原理和验证机理进行了分析,并提出了一种新型的DF验证方法。该方法基于自动化分析技术,能够提供基于数据的验证结果,为机载显示软件研制人员提供了一种客观、高效的DF验证方法。

关键词 显示系统 A661 df 验证

在线阅读 下载PDF 职称材料

日志结构云存储中缓存的设计与实现 被引量：6

6

作者 陈莉君 王森 康华 《西安邮电大学学报》 2013年第5期76-80,共5页

日志结构分布式文件系统(HDFS-based Log-structured File System,HLFS)是基于Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)构建的云存储平台,为了提高其数据读写性能,结合HLFS客户端与后台存储集群相分离的特点,利用最... 日志结构分布式文件系统(HDFS-based Log-structured File System,HLFS)是基于Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)构建的云存储平台,为了提高其数据读写性能,结合HLFS客户端与后台存储集群相分离的特点,利用最近最久未使用算法作为缓存策略,在HLFS客户端内存中设计并实现HLFS缓存,并采用固定时间间隔刷新缓存的策略来保证数据一致性。在集群系统上对所设计的缓存进行了数据读写测试,结果表明,该设计能够有效地降低HLFS与后台集群的交互频率,减少用户感知的数据读写时间。 展开更多

关键词 分布式文件系统(dfS) 缓存技术 日志结构文件系统(LFS)

在线阅读 下载PDF 职称材料

基于云计算的在线操作系统研究 被引量：6

7

作者 滕云 唐新国 罗宇 《西华师范大学学报（自然科学版）》 2010年第3期314-318,共5页

云计算成为近年来研究的热点.本文提出了基于云计算和网格计算的网络环境,即是使用基于云计算和网格计算的Web OS.使用云计算可以把整个操作系统移动网络上,而网格计算作为附加特性以增强云计算的性能和效率.用户只需一台可连接互联网... 云计算成为近年来研究的热点.本文提出了基于云计算和网格计算的网络环境,即是使用基于云计算和网格计算的Web OS.使用云计算可以把整个操作系统移动网络上,而网格计算作为附加特性以增强云计算的性能和效率.用户只需一台可连接互联网的最小配置的计算机,通过浏览器访问运行在服务器上的所有基于网络的应用,即可达到最容易、最高效的使用方式. 展开更多

关键词 云计算 网格计算 在线操作系统 分布文件系统

在线阅读 下载PDF 职称材料

PetroV分布式文件系统的设计与实现 被引量：3

8

作者 盛秀杰 金之钧 +1 位作者 彭成 景妍 《石油地球物理勘探》 EI CSCD 北大核心 2019年第3期641-649,489,共10页

为了实现可存储ZB级文件数量、单一文件TB级大小的行业基础数据的需求,以及利于实践'端到端'的、驱动油气重大发现的'地质智能'深度学习解决方案,本文设计、开发并验证了一种充分考虑油气勘探行业基础数据特点的分布式... 为了实现可存储ZB级文件数量、单一文件TB级大小的行业基础数据的需求,以及利于实践'端到端'的、驱动油气重大发现的'地质智能'深度学习解决方案,本文设计、开发并验证了一种充分考虑油气勘探行业基础数据特点的分布式文件系统(PetroV Distributed File System,PetroV DFS)。结合全球地理网格剖分编码和地质信息编码,PetroV DFS建立了基于空间位置索引的分布式文件命名、分配与管理机制,可高效管理ZB级数量的文件并快速定位;基于ST-Based KIDA元数据建模下的本地空间数据库集成机制和空间索引、八叉树切分、空间键值对等三种分布式数据子块存储机制,可快速读写一个TB量级基础数据。PetroV DFS具有'地理位置相近、存储位置相近'的特点——同一地理区域的基础数据存储于同一数据中心的同一批机柜,在提升本地基础数据的访问和计算速度的基础上,能'就近'高效利用不同类型基础数据。以440GB叠前地震数据文件的分布式存储、全时窗频率振幅属性分布式计算为例,利用C++泛化编程技术实现的PetroV DFS可有效部署于当前普通计算机中,为后续深入实践不同类型深度学习解决方案提供新的、可行的大数据存储模式。 展开更多

关键词 地质智能 地理网格剖分 八叉树子块 空间键值对 PetroV dfS

在线阅读 下载PDF 职称材料

应用级分布式文件系统接口标准化探索

9

作者 陈文捷 蔡立志 +2 位作者 楼志斌 王洁萍 李海波 《信息技术与标准化》 2012年第10期28-32,共5页

回顾了分布式文件系统的发展,分析了已有标准和分布式文件系统的通用体系架构,从接口类型、数据操作接口、管理接口等方面对主流的分布式文件系统的应用接口的特点与异同进行比较,结果表明分布式文件系统的标准化研究是必要的和可行的。

关键词 文件系统 分布式文件系统 体系结构 应用接口 标准化

在线阅读 下载PDF 职称材料

基于集群系统的空间数据并行处理策略研究 被引量：1

10

作者 刘旭辉 韩冀中 +1 位作者 贺劲 韩承德 《高技术通讯》 EI CAS CSCD 北大核心 2009年第10期991-997,共7页

为了解决单节点的WebGIS系统存储能力和计算能力受限的问题,提出了一种利用分布式文件系统(DFS)和MapReduce分布式计算框架在集群环境中并行处理空间数据的方法。还特别针对分布式文件系统,结合WebGIS的应用模式,提出了小文件优化策略... 为了解决单节点的WebGIS系统存储能力和计算能力受限的问题,提出了一种利用分布式文件系统(DFS)和MapReduce分布式计算框架在集群环境中并行处理空间数据的方法。还特别针对分布式文件系统,结合WebGIS的应用模式,提出了小文件优化策略。该策略的核心思想是通过将小文件合并为大文件来有效降低文件的数目。试验结果表明,在使用了小文件优化策略后,分布式文件系统中的节点平均内存占用率从55.78%降至 18.36%,文件的存储和读取性能分别提高了63.3倍和2.0倍。其次,基于经过优化后的分布式文件系统和MapReduce计算框架,设计并且实现了HDWebGIS原型系统,试验结果表明,使用了小文件优化策略后,HDWebGIS系统性能比优化前提升了78.11%。 展开更多

关键词 网络地理信息系统(WebGIS) 集群 分布式文件系统(dfS) MAPREDUCE 小文 件优化

在线阅读 下载PDF 职称材料

基于可变长分块的分布式文件系统设计与实现 被引量：4

11

作者 许艳艳 雷迎春 龚奕利 《计算机工程》 CAS CSCD 北大核心 2016年第5期80-84,101,共6页

分布式文件系统受传统磁盘文件系统影响，大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写，开销大且性能差，但典型的用户约有25％的文件操作是随机写。针对上述现状，提出一种基于内容的可变长文件分... 分布式文件系统受传统磁盘文件系统影响，大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写，开销大且性能差，但典型的用户约有25％的文件操作是随机写。针对上述现状，提出一种基于内容的可变长文件分块方法，使用拉宾指纹算法对文件进行分块，并根据文件的内容标识文件块。为更准确地指定写类型，提高写性能，给出与POSIX语义兼容的写接口。通过修改Ceph实现一种新的分布式文件系统VarFS，提供文件的可变长分块并支持新的写接口。实验结果表明，由于减少网络数据传输量，VarFS在随机写延迟和带宽消耗量上比Ceph减少了1个～2个数量级。 展开更多

关键词 固定长分块 可变长分块 分布式文件系统 随机写 元数据服务器

在线阅读 下载PDF 职称材料

基于概率的大数据查询系统——Probery 被引量：2

12

作者 伍晋博 宋杰 +1 位作者 张莉 鲍玉斌 《计算机应用》 CSCD 北大核心 2016年第1期8-12,共5页

针对大数据环境下完整性查询时间代价消耗过高的问题,提出了一种采用近似完整性查询方法的系统——Probery。Probery所采用的近似完整性查询方法不同于传统的近似查询,其近似性主要体现为数据查全的可能性,是一种新型的数据查询方法。Pr... 针对大数据环境下完整性查询时间代价消耗过高的问题,提出了一种采用近似完整性查询方法的系统——Probery。Probery所采用的近似完整性查询方法不同于传统的近似查询,其近似性主要体现为数据查全的可能性,是一种新型的数据查询方法。Probery首先将存入系统的数据划分为多个数据分段;然后,根据概率放置模型将各个数据分段的数据存储在分布式文件系统中;最后,对于给定的查询条件,Probery采用一种启发式查询方法进行概率查询。通过与其他主流的非关系型数据管理系统的查询性能进行比较,对Probery进行验证,Probery在损失8%查询完整性的情形下,查询时间较HBase相比节约了51%,较Cassandra相比节约了23%,较Mongo DB相比节约了12%,较Hive相比节约了3%。实验结果表明,Probery可以适当地损失查询完整性来提高数据的查询性能,具有较好的通用性、适应性和可扩展性。 展开更多

关键词 大数据 概率查询 查全概率 分布式文件系统 MAPREDUCE

在线阅读 下载PDF 职称材料

基于软件定义网络的分布式文件系统设计 被引量：2

13

作者 权恒星 魏学才 王漫 《计算机工程》 CAS CSCD 北大核心 2016年第5期47-53,共7页

传统的分布式文件系统未考虑底层网络的情况,因此其读写性能以及在异构网络环境中的文件修复性能都有较大的提升空间。利用软件定义网络(SDN)提供的底层网络的动态数据资源,计算出数据传输的实时最佳路径。对分布式文件系统中的大数据... 传统的分布式文件系统未考虑底层网络的情况,因此其读写性能以及在异构网络环境中的文件修复性能都有较大的提升空间。利用软件定义网络(SDN)提供的底层网络的动态数据资源,计算出数据传输的实时最佳路径。对分布式文件系统中的大数据流进行流量导引,从而提高分布式文件系统的性能。在仿真的SDN环境中设计并实现一个分布式文件系统原型,对读文件、写文件和文件修复3种基本操作进行对比测试,结果表明,在SDN网络环境中的分布式文件系统,相对于传统网络环境,在读写和修复方面都有不同程度的性能提升。尤其是在数据流量非常大、网络流量异构明显的情况下,提升效果更为明显。 展开更多

关键词 分布式文件系统 软件定义网络 数据中心网络 再生码 异构网络

在线阅读 下载PDF 职称材料

基于ARINC661的火控系统UA设计 被引量：2

14

作者 雷雨能 孙磊 +2 位作者 魏正兵 梁群 张毅 《兵工自动化》 2022年第12期13-15,共3页

为解决火炮火控系统混合编写用户界面和用户应用程序所带来的显示系统设计复杂、开发难度大、维护性差等问题,对显控终端用户界面和用户应用(userapplication,UA)的设计进行分离,重点进行UA的设计研究。对火控系统的总体框架和复杂界面... 为解决火炮火控系统混合编写用户界面和用户应用程序所带来的显示系统设计复杂、开发难度大、维护性差等问题,对显控终端用户界面和用户应用(userapplication,UA)的设计进行分离,重点进行UA的设计研究。对火控系统的总体框架和复杂界面进行分析,对多定义文件(definitionfile,DF)文件和多UA进行分析和设计,给出UA设计流程。测试验证结果表明:该设计能实现UA与座舱显示系统(cockpit display system,CDS)的动态交互,达到火控系统用户界面和用户应用的分离。 展开更多

关键词 ARINC661 CDS UA 火控系统 df文件

在线阅读 下载PDF 职称材料

基于热度分析的动态副本创建算法 被引量：5

15

作者 饶磊 杨凡德 +1 位作者 李新明 刘东 《计算机应用》 CSCD 北大核心 2014年第A02期130-134,共5页

在分布式文件系统(DFS)中,副本的数量通常预先配置,不能适应文件访问需求的动态变化。针对该问题,提出了基于热度分析的动态副本创建算法(DRCA),优化副本的管理方式。动态副本创建算法通过分析文件在给定时间内的访问频率,推算文件的访... 在分布式文件系统(DFS)中,副本的数量通常预先配置,不能适应文件访问需求的动态变化。针对该问题,提出了基于热度分析的动态副本创建算法(DRCA),优化副本的管理方式。动态副本创建算法通过分析文件在给定时间内的访问频率,推算文件的访问热度,并综合考虑统计周期、文件大小、工作环境等多种因素,按需动态地调整文件副本的数量,以减少文件访问的平均响应时间,提高数据服务性能。基于Hadoop的分布式文件系统(HDFS)开发了DRCA模块,并进行了性能测试,结果表明DRCA提供数据服务的性能优于HDFS自带的副本创建算法。 展开更多

关键词 分布式文件系统 副本 创建 热度 访问频率 HdfS

在线阅读 下载PDF 职称材料

数字化教学资源存储方案设计 被引量：4

16

作者 张俊飞 吴小玲 《实验室研究与探索》 CAS 北大核心 2019年第4期115-118,226,共5页

教学信息化的发展,预示着数字化教学资源大数据时代的到来。面对海量数字化资源,利用分布式处理技术从资源的大小出发,设计了针对大文件资源的HDFS存储方案和小文件资源的DFS存储方案。详细分析了HDFS和DFS的工作原理,介绍了针对大文件... 教学信息化的发展,预示着数字化教学资源大数据时代的到来。面对海量数字化资源,利用分布式处理技术从资源的大小出发,设计了针对大文件资源的HDFS存储方案和小文件资源的DFS存储方案。详细分析了HDFS和DFS的工作原理,介绍了针对大文件和小文件资源的存储方案,并在教学实践中分别分析了其文件传输速率,证实了存储方案设计的可用性。 展开更多

关键词 数字化教学资源 Handoop分布式文件系统 分布式文件系统

在线阅读 下载PDF 职称材料

ＷindowsNT分布式文件系统服务及应用

17

作者 郭屹 《绍兴文理学院学报（哲学社会科学版）》 2000年第6期51-53,共3页

就ＷindowsNT分布式文件系统服务在企业局域网中的应用进行了论述，提供了Ｄfs在企业局域网中的应用实例，并分析了应用中的实际问题。

关键词 dfS 共享 目录 分布式文件系统 企业局域网 WINDOWSNT

在线阅读 下载PDF 职称材料

基于分级安全局域网的分布式文件系统模型 被引量：3

18

作者 张云亮 冯小平 戴一奇 《清华大学学报（自然科学版）》 EI CAS CSCD 北大核心 2011年第7期937-941,共5页

分布式文件系统是云计算研究领域内一个重要的分支,尽管分布式系统的分级安全功能的重要性很早就被意识到,但是在安全网络下进行分布式文件系统工作却极少。该文提出并设计基于分级安全局域网的分布式文件系统。采用主从式的结构,通过... 分布式文件系统是云计算研究领域内一个重要的分支,尽管分布式系统的分级安全功能的重要性很早就被意识到,但是在安全网络下进行分布式文件系统工作却极少。该文提出并设计基于分级安全局域网的分布式文件系统。采用主从式的结构,通过在客户端采取驱动式编程,用Reed-Solomen算法进行数据拆分存储,实现安全分布式文件系统的基本功能,包括数据传输、存储、数据加密、数据拆分、访问控制等。该系统性能测试实验结果满足多级安全局域网的性能要求。 展开更多

关键词 分级安全局域网 分布式文件系统 数据拆分 数据加密

原文传递

分布式文件系统在线性能测试平台研究与实现

19

作者 刘忠新 张海明 黎建辉 《科研信息化技术与应用》 2015年第2期11-18,共8页

目前由于缺乏针对分布式文件系统的性能测试工具,在很多研究中依然照搬传统的文件系统性能测试工具和方法,很难满足分布式文件系统性能测试的需求(如避免缓存的影响、多客户端并发测试等)。因此,我们研发了一个分布式文件系统在线性能... 目前由于缺乏针对分布式文件系统的性能测试工具,在很多研究中依然照搬传统的文件系统性能测试工具和方法,很难满足分布式文件系统性能测试的需求(如避免缓存的影响、多客户端并发测试等)。因此,我们研发了一个分布式文件系统在线性能测试平台,此平台通过提供多种大数据量测试负载,有效地避免了系统缓存和系统老化对测试结果的影响,同时支持在线对分布式文件系统执行性能测试,支持多客户端并发测试,并能够对测试结果进行可视化展示和分析。此外,平台也提供了很好的扩展性,满足多种测试需求。 展开更多

关键词 分布式文件系统 大测试数据 在线测试平台

原文传递