Ceph是一种经典的分布式存储系统,但随着数据量级和实验要求的不断提高,Ceph在读写延迟方面的不足制约了其进一步的发展。随着固态硬盘(Solid State Disk,SSD)等新型存储介质与Ceph的结合,Ceph整体读写性能有了明显的提升。全闪存SSD是...Ceph是一种经典的分布式存储系统,但随着数据量级和实验要求的不断提高,Ceph在读写延迟方面的不足制约了其进一步的发展。随着固态硬盘(Solid State Disk,SSD)等新型存储介质与Ceph的结合,Ceph整体读写性能有了明显的提升。全闪存SSD是一种性能优秀的SSD,基于全闪存SSD的Ceph系统表现也更好。与传统的分布式系统的读写延迟制约于后端存储介质不同,在基于全闪存SSD的情况下,Ceph系统的软件栈也需要优化以匹配硬件读写速度的提升。因此,提出基于全闪存SSD的Ceph存储系统的混合优化策略,针对Ceph的加锁机制、Crush算法等方面进行了优化,实验结果表明性能优化效果大约在2.8%~4.5%之间。展开更多
文摘Ceph是一种经典的分布式存储系统,但随着数据量级和实验要求的不断提高,Ceph在读写延迟方面的不足制约了其进一步的发展。随着固态硬盘(Solid State Disk,SSD)等新型存储介质与Ceph的结合,Ceph整体读写性能有了明显的提升。全闪存SSD是一种性能优秀的SSD,基于全闪存SSD的Ceph系统表现也更好。与传统的分布式系统的读写延迟制约于后端存储介质不同,在基于全闪存SSD的情况下,Ceph系统的软件栈也需要优化以匹配硬件读写速度的提升。因此,提出基于全闪存SSD的Ceph存储系统的混合优化策略,针对Ceph的加锁机制、Crush算法等方面进行了优化,实验结果表明性能优化效果大约在2.8%~4.5%之间。
文摘持久性内存(persistent memory,PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性,将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用,然而现有的以Ceph BlueStore为代表的后端存储引擎是面向传统机械盘和固态硬盘(solid state disk,SSD)设计的,其原有的优化设计机制不适合PMEM特性优势的发挥.提出了一种基于持久性内存和SSD的后端存储MixStore,通过易失区段标记和待删除列表技术实现了适用于持久性内存的并发跳表,用于替代RocksDB实现元数据管理机制,在保证事务一致性的同时,消除了BlueStore的compaction所引发的性能抖动等问题,同时提升元数据的并发访问性能;通过结合元数据管理机制的数据对象存储优化设计,把非对齐的小数据对象存放在PMEM中,把对齐的大块数据对象存储在SSD上,充分发挥了PMEM的字节寻址、持久性特性和SSD的大容量低成本优势,并结合延迟写入和CoW(copy-on-write)技术实现数据更新策略优化,消除了BlueStore的WAL日志引起的写放大,提升小数据写入性能.测试结果表明,在同样的硬件环境下,相比BlueStore,MixStore的写吞吐提升59%,写时延降低了37%,有效地提升了系统的性能.
