针对Ceph分布式存储系统中可扩展哈希下的受控复制(Controlled Replication Under Scalable Hashing,CRUSH)数据分布算法导致设备间存储数据容量之差达到40%,进而在数据量大、高并发情况下“热点”成为系统性能瓶颈的问题,本文对CRUSH...针对Ceph分布式存储系统中可扩展哈希下的受控复制(Controlled Replication Under Scalable Hashing,CRUSH)数据分布算法导致设备间存储数据容量之差达到40%,进而在数据量大、高并发情况下“热点”成为系统性能瓶颈的问题,本文对CRUSH算法进行深入研究,设计并实现了Writing_Balance算法来对数据分布进行性能优化,以达到消除“热点”所导致的负载失衡以及磁盘利用率过高的问题。通过实验发现,Writing_Balance算法可使“热点”的PG数量分布优化率较之前提升4.4%;磁盘利用率稳定性提高了3%左右;并且在较小输入key空间下对于数据整体均衡度优化也有明显的提升。展开更多
Ceph是一种经典的分布式存储系统,但随着数据量级和实验要求的不断提高,Ceph在读写延迟方面的不足制约了其进一步的发展。随着固态硬盘(Solid State Disk,SSD)等新型存储介质与Ceph的结合,Ceph整体读写性能有了明显的提升。全闪存SSD是...Ceph是一种经典的分布式存储系统,但随着数据量级和实验要求的不断提高,Ceph在读写延迟方面的不足制约了其进一步的发展。随着固态硬盘(Solid State Disk,SSD)等新型存储介质与Ceph的结合,Ceph整体读写性能有了明显的提升。全闪存SSD是一种性能优秀的SSD,基于全闪存SSD的Ceph系统表现也更好。与传统的分布式系统的读写延迟制约于后端存储介质不同,在基于全闪存SSD的情况下,Ceph系统的软件栈也需要优化以匹配硬件读写速度的提升。因此,提出基于全闪存SSD的Ceph存储系统的混合优化策略,针对Ceph的加锁机制、Crush算法等方面进行了优化,实验结果表明性能优化效果大约在2.8%~4.5%之间。展开更多
文摘针对Ceph分布式存储系统中可扩展哈希下的受控复制(Controlled Replication Under Scalable Hashing,CRUSH)数据分布算法导致设备间存储数据容量之差达到40%,进而在数据量大、高并发情况下“热点”成为系统性能瓶颈的问题,本文对CRUSH算法进行深入研究,设计并实现了Writing_Balance算法来对数据分布进行性能优化,以达到消除“热点”所导致的负载失衡以及磁盘利用率过高的问题。通过实验发现,Writing_Balance算法可使“热点”的PG数量分布优化率较之前提升4.4%;磁盘利用率稳定性提高了3%左右;并且在较小输入key空间下对于数据整体均衡度优化也有明显的提升。
文摘Ceph是一种经典的分布式存储系统,但随着数据量级和实验要求的不断提高,Ceph在读写延迟方面的不足制约了其进一步的发展。随着固态硬盘(Solid State Disk,SSD)等新型存储介质与Ceph的结合,Ceph整体读写性能有了明显的提升。全闪存SSD是一种性能优秀的SSD,基于全闪存SSD的Ceph系统表现也更好。与传统的分布式系统的读写延迟制约于后端存储介质不同,在基于全闪存SSD的情况下,Ceph系统的软件栈也需要优化以匹配硬件读写速度的提升。因此,提出基于全闪存SSD的Ceph存储系统的混合优化策略,针对Ceph的加锁机制、Crush算法等方面进行了优化,实验结果表明性能优化效果大约在2.8%~4.5%之间。
