基于MooseFS的纠错码存储方法设计和实现 被引量：5

1

作者 刘海波 董玉杰 《计算机工程与应用》 CSCD 北大核心 2017年第6期91-95,110,共6页

在云存储技术中,云存储系统的数据容错十分重要,直接关系到整个系统的可用性。当前多数分布式存储系统通过多副本来保证数据的可用性,然而,多副本存储方式也使得数据存储空间翻倍增加,为了降低存储空间,提高数据可用性,有些分布式存储... 在云存储技术中,云存储系统的数据容错十分重要,直接关系到整个系统的可用性。当前多数分布式存储系统通过多副本来保证数据的可用性,然而,多副本存储方式也使得数据存储空间翻倍增加,为了降低存储空间,提高数据可用性,有些分布式存储系统开始采用纠错码技术来提高数据可用性和降低数据存储空间占用。通过对MooseFS分布式文件系统进行分析,提出了一种基于MooseFS的纠错码实现方法。通过数据存储效率测试,该方法能够保证常用的"热数据"按照多副本存储,不常用的"冷数据"按照纠错码方式存储,在保证可靠性的同时极大地降低了多副本方式空间占用量。 展开更多

关键词 分布式文件系统 数据容错 moosefs 纠错码

在线阅读 下载PDF 职称材料

基于MooseFS的分布式共享存储技术的研究与应用 被引量：1

2

作者 李仕梅 姚世东 《广东轻工职业技术学院学报》 2015年第2期23-26,31,共5页

为解决了在Unix/Linux系统中在访问量剧增的情况下,NFS服务器成为系统的性能瓶颈问题,采用Moose FS部署方法,建立了基于Moose FS的分布式共享存储平台,并进行了性能测试。性能测试结果表明,基于Moose FS的分布式共享存储平台不仅性能优... 为解决了在Unix/Linux系统中在访问量剧增的情况下,NFS服务器成为系统的性能瓶颈问题,采用Moose FS部署方法,建立了基于Moose FS的分布式共享存储平台,并进行了性能测试。性能测试结果表明,基于Moose FS的分布式共享存储平台不仅性能优于单台NFS服务器,而且具有高可靠、可扩展、恢复容易等特性。 展开更多

关键词 moosefs 分布式文件系统 分布式共享存储

在线阅读 下载PDF 职称材料

基于MooseFS的高校云存储系统的研究与构建 被引量：1

3

作者 崔海莉 黄戈 《合肥学院学报（自然科学版）》 2015年第4期44-49,共6页

为了满足高校对信息化建设中积累的大量办公、教学和科研数据的高效存储、管理与共享需求,针对传统存储在成本、管理、扩容等方面的局限性和存在单点故障隐患的缺陷,基于分布式文件系统MooseFS的架构,设计实现了高校私有云存储系统.经验... 为了满足高校对信息化建设中积累的大量办公、教学和科研数据的高效存储、管理与共享需求,针对传统存储在成本、管理、扩容等方面的局限性和存在单点故障隐患的缺陷,基于分布式文件系统MooseFS的架构,设计实现了高校私有云存储系统.经验证,该系统具有数据可靠性高、系统动态可扩展性好、系统访问性能高等特性,能满足广大师生的使用需求. 展开更多

关键词 moosefs 分布式文件系统 云存储 高可用

在线阅读 下载PDF 职称材料

MooseFS中chunkserver负载均衡算法研究 被引量：2

4

作者 艾云霄 谭跃生 王静宇 《微型机与应用》 2013年第5期1-3,共3页

作为云存储的核心基础平台,分布式文件系统的重要性日益凸显。分布式文件系统中数据存储在多台计算机节点上,必然会出现负载均衡问题。首先,对MooseFS的系统架构进行了研究,然后分析了MooseFS分布式文件系统中chunkserver选择算法,研究... 作为云存储的核心基础平台,分布式文件系统的重要性日益凸显。分布式文件系统中数据存储在多台计算机节点上,必然会出现负载均衡问题。首先,对MooseFS的系统架构进行了研究,然后分析了MooseFS分布式文件系统中chunkserver选择算法,研究了chunkserver算法的负载均衡性能,最后对其进行了改进。经过实验测试对比,实验结果显示改进算法能显著提高chunkserver的负载均衡性能。 展开更多

关键词 分布式文件系统 moosefs 数据存储 负载均衡

在线阅读 下载PDF 职称材料

MooseFS热备元数据节点设计与实现 被引量：1

5

作者 林炳东 赵旦谱 台宪青 《计算机工程与应用》 CSCD 北大核心 2019年第13期72-77,共6页

针对MooseFS元数据节点的单点故障问题,对MooseFS源码进行改造,为其增加一个热备的备元数据节点,并通过主备之间同步元数据,备节点回放操作日志等技术使得备元数据节点内存中的元数据时刻跟主元数据节点保持一致。当主元数据节点发生故... 针对MooseFS元数据节点的单点故障问题,对MooseFS源码进行改造,为其增加一个热备的备元数据节点,并通过主备之间同步元数据,备节点回放操作日志等技术使得备元数据节点内存中的元数据时刻跟主元数据节点保持一致。当主元数据节点发生故障切换到备元数据节点后,备元数据节点无需从本地加载元数据即可快速接替主元数据节点对外提供服务。测试结果表明,备元数据节点本地和内存中的元数据均与主元数据节点保持一致,且故障恢复时间小于1s。 展开更多

关键词 moosefs元数据节点 热备 元数据 数据一致性 日志回放

在线阅读 下载PDF 职称材料

MooseFS分布式文件系统及应用

6

作者 乔鑫 《科技浪潮》 2009年第5期9-10,共2页

随着互联网及海量存储的迅猛发展,分布式文件系统越来越受到各行业用户的青睐,同时也得到了更加广泛的应用。浪潮作为国内最大的服务器供应商。

关键词 分布式文件系统 moosefs 海量存储 存储介质 NTFS RAID 文化共享工程 设备安装调试

原文传递

服务器多冲突风暴节点的检测器设计与实现

7

作者 史宝会 李勇 《现代电子技术》 北大核心 2017年第18期26-28,共3页

随着服务器系统节点数量和用户任务的不断增多,使得风暴节点出现冲突问题。在此背景下,通过分析服务器系统的节点连接架构,将检测器部署在其通信平台上,对用于检测服务器多冲突风暴节点的MooseFS检测器进行设计与实现。当风暴节点中存... 随着服务器系统节点数量和用户任务的不断增多,使得风暴节点出现冲突问题。在此背景下,通过分析服务器系统的节点连接架构,将检测器部署在其通信平台上,对用于检测服务器多冲突风暴节点的MooseFS检测器进行设计与实现。当风暴节点中存在较多冲突时,MooseFS检测器采用动态冗余分布策略与硬件平台协同检测,冲突不多时只使用硬件进行检测。动态冗余分布策略选用冗余度度量节点任务开销,给出风暴节点子任务、带宽和中央处理器运行时间的可用度函数,检验冗余度是否可靠。硬件平台通过逻辑门处理器对子任务、带宽、中央处理器运行时间以及存储容量的负载率进行度量。实验结果表明,所设计的MooseFS检测器拥有很强的资源控制能力。 展开更多

关键词 服务器 冲突 风暴节点 moosefs 冗余分布

在线阅读 下载PDF 职称材料

校园网云盘系统构建研究 被引量：8

8

作者 李军 劳凤丹 邹仁明 《通信学报》 EI CSCD 北大核心 2013年第S2期133-137,共5页

分析了校园网云盘系统的意义及需求,提出了一种结合开源的miniyun、LVS负载均衡、MooseFS分布式存储和MySQL主从复制读写分离等技术构建高可用云盘系统的技术方案。在此基础上构建了中国农业大学云盘系统,并投入实际应用。应用结果表明... 分析了校园网云盘系统的意义及需求,提出了一种结合开源的miniyun、LVS负载均衡、MooseFS分布式存储和MySQL主从复制读写分离等技术构建高可用云盘系统的技术方案。在此基础上构建了中国农业大学云盘系统,并投入实际应用。应用结果表明,本系统具有低成本、高可用、动态可扩展的特点,能满足在校师生对云盘的使用需求。 展开更多

关键词 云盘 moosefs分布式存储 MySQL主从复制 高可用

在线阅读 下载PDF 职称材料

分布式文件系统在营销档案系统中的应用 被引量：1

9

作者 方舟 裴旭斌 裘炜浩 《浙江电力》 2015年第10期44-47,71,共5页

目前,浙江省电力公司在全省范围内使用营销档案系统,档案数据的快速增长,对电子档案文件等非结构化数据的存储有了更高的要求。通过对分布式文件系统的特性进行研究,并以MooseFS分布式文件系统在营销档案系统的实际应用为例,验证了分布... 目前,浙江省电力公司在全省范围内使用营销档案系统,档案数据的快速增长,对电子档案文件等非结构化数据的存储有了更高的要求。通过对分布式文件系统的特性进行研究,并以MooseFS分布式文件系统在营销档案系统的实际应用为例,验证了分布式文件系统相比于传统集中存储方式在负载均衡和在线扩容等方面的优势。分布式文件系统的应用为营销档案系统海量数据的存储提供了一种可行的解决方案。 展开更多

关键词 分布式文件系统 营销档案系统 moosefs 负载均衡 在线扩容

在线阅读 下载PDF 职称材料

分布式文件系统简要对比与分析 被引量：1

10

作者 江俊彦 宗丹 林锐 《内燃机与配件》 2018年第1期200-201,共2页

自20世纪以来,随着不同类型的大规模数据分析的驱动,比如用户行为分析、搜索引擎和推荐系统,大规模数据的存储和处理的需求急剧增长。本文分别对比了5种典型的分布式文件系统,介绍了其基本架构、数据分布和查询处理流程,然后对这些系统... 自20世纪以来,随着不同类型的大规模数据分析的驱动,比如用户行为分析、搜索引擎和推荐系统,大规模数据的存储和处理的需求急剧增长。本文分别对比了5种典型的分布式文件系统,介绍了其基本架构、数据分布和查询处理流程,然后对这些系统的优缺点进行了分析,最后给出了在不同场景下如何对分布式文件系统进行选择的建议,并对未来分布式文件系统的发展进行了展望。 展开更多

关键词 分布式文件系统 HDFS Ceph moosefs GlusterFS LustreFS

在线阅读 下载PDF 职称材料

一种分布式文件存储系统的探索与应用

11

作者 陈正举 《中国市场》 2017年第12期36-39,共4页

为了提升私有云环境下文件存储系统的可用性,降低拥有成本,通过对比分析提出了基于开源软件MooseFS(MFS)设计的分布式文件存储系统的解决方案。在独立二层网络内,部署六台普通配置的X86机架式服务器,把服务器本地小容量硬盘聚合成一个... 为了提升私有云环境下文件存储系统的可用性,降低拥有成本,通过对比分析提出了基于开源软件MooseFS(MFS)设计的分布式文件存储系统的解决方案。在独立二层网络内,部署六台普通配置的X86机架式服务器,把服务器本地小容量硬盘聚合成一个存储容量为1.7TB的网络硬盘。通过实例验证,该方案能提供优于传统集中式存储的读写性能。通过创新的部署实践,进一步提升了系统的容错能力和易用性。加之利旧企业存量服务器大幅降低了建设运维成本,证明了这一选型能够满足云环境下对文件存储系统高可用、低成本的需求。 展开更多

关键词 moosefs 分布式存储 云计算 文件存储 虚拟化

在线阅读 下载PDF 职称材料