基于英特尔® 傲腾™ 持久内存100系列的MyRocks方案实践

摘要

  英特尔® 傲腾™ 持久内存是Intel在2019年发布的一款革命性的产品,英特尔® 傲腾™ 持久内存是一种全新的内存类型,其架构设计旨在从数据中心中汲取更多价值,重构数据中心内存/存储层次结构。不同于传统的DRAM,英特尔® 傲腾™ 持久内存集大容量、经济性和持久性于一身,能够支持数据中心多个应用场景。浪潮基于英特尔® 傲腾™ 持久内存做了大量的应用场景解决方案,覆盖大数据分析、数据库、云与虚拟化、分布式存储等应用场景。为了帮助用户通过更加灵活的架构来实现创新型的应用,助力企业实现性能突破,浪潮发布了基于英特尔® 傲腾™ 持久内存技术的MyRocks应用方案。

背景介绍

  MyRocks是Facebook开发的一款基于Rocksdb的开源MySQL存储引擎,相比InnoDB,MyRocks占用更少的存储空间,能够降低存储成本,提高热点缓存效率;具备更小的写放大比,能够更高效利用存储IO带宽;将随机写变为顺序写,提高了写入性能,延长了SSD使用寿命。因此,MyRocks已大量应用于多个行业的大数据量、写密集型的业务场景中,但是在某些关键业务中,传统的企业级SSD已不能满足业务对延迟和吞吐量的极高要求,因此浪潮引入了英特尔® 傲腾™ 持久内存来代替企业级SSD,大幅提升了MyRocks的数据吞吐和延迟性能,满足关键业务对性能的需求。

  在大数据时代,业务存储和访问的数据量是超大规模的,而随之而来的还有业务对IOPS、延迟等存储性能更苛刻的需求,此时传统的关系数据库已经很难存储和管理这些数据,Rocksdb也就应运而生。Rocksdb 是一种嵌入式、持久化存储、KV型且非常适用于fast storage的存储引擎,并且由于其出色的压缩性能,在充分利用闪存性能的同时节省大量闪存空间。目前,Facebook开发工程师对Rocksdb进行了大量的开发,使其符合MySQL的插件式存储引擎框架的要求,移植到了MySQL上,并称之为MyRocks,因此MyRocks可以在大量使用MySQL的行业中无缝切换,广泛应用在大数据量、写密集型的业务场景中。

  但在某些关键业务中,对于延迟和吞吐量需要极高的要求,在这种情况下,受限于存储架构和存储材料限制,企业级SSD已无法满足业务的需求, 因此,如何打破现有存储架构的限制,显著提升MyRocks性能,也就显得至关重要。

解决方案介绍

  利用英特尔® 傲腾™ 持久内存技术优化MyRocks

  为了解决此问题, 浪潮发现,英特尔® 傲腾™ 持久内存有着接近DRAM内存的性能和非易失性的特点,可以作为MyRocks的存储盘。因此,为满足MyRocks的高性能需求,浪潮对基于英特尔® 傲腾™ 持久内存的MyRocks进行性能方面的验证。

  英特尔® 傲腾™ 持久内存是一种全新的内存类型,不同于传统的DRAM,其集大容量、经济性和持久性于一身,读写带宽比NVME设备高数倍,并大幅降低延时问题。由于写入方式不同,英特尔® 傲腾™ 持久内存也比Flash NAND更耐用,并且单模块容量可高达512GB,实现了远超传统 DRAM 的系统内存容量。其从根本上改变了数据中心的弹性,将内存数据库重启时间从以前的几天、几小时缩短到现在的几分钟甚至几秒钟,并提供经济实惠的内存空间,将系统内存容量扩展到前所未有的水平。

  图1

  图1

  在实际的方案部署中,浪潮使用了英特尔® 至强® 第二代可扩展处理器与英特尔® 傲腾™ 持久内存组成强强组合,大幅提升了MyRocks性能,满足了高负载业务的需求。

  方案验证:英特尔® 傲腾™ 内存性能优势显著

  本次方案验证,浪潮对使用Rocksdb引擎的Percona Server for MySQL 5.7.28进行了性能测试。

  在测试中,浪潮将英特尔® 傲腾™ 持久内存设置为Storage over App Direct运行模式,并依据以下硬件配置来搭建了测试方案(如表1)。

  表1

  表1

  测试使用表2参数分别对NVME和PMem进行随机读、随机写、混合读写压力测试,测试结果包括TPS吞吐量(图2)和P99延迟(图3)。

  图2

  图2

  图3

  图3

  从测试结果可以看出,在P99延迟方面,随机读和混合读写场景下PMem比P4510提升差不多2倍,随机写提升3倍以上;在TPS吞吐量方面,随机读和混合读写场景下PMem比P4510提升2倍以上,随机写提升21%。

客户收益

  效果:大幅改善 Rocksdb 性能

  对于高性能需求下的业务场景,特别是对延迟敏感的业务,在采用英特尔® 傲腾™ 持久内存后,P99延迟将有2到3倍的性能提升,读吞吐量将有2倍以上提升,写吞量有20%以上的提升。当前企业数据爆发式增长、在大数据方面的投入逐渐增大的背景下,Myrocks和英特尔® 傲腾™ 持久内存的组合方案即节约了关键业务所需存储空间,又带来了传统Myrocks存储方案无法获得的性能提升,为高性能业务提供了更好的选择。


线




×
联系我们
ERP、企业软件购买热线
400-018-7700
云服务产品销售热线
400-607-6657
集团客户投诉热线
400-691-8711
智能终端产品客服热线
400-658-6111