SPDK用户案例

阿里云

高性能云服务器:本地SSD

“本地存储设计:NVMe SSD+先进的SPDK存储技术……”

阿里云解决大规模高性能存储可靠性问题再次被系统领域顶会认可!

“阿里云操作系统团队,阿里云存储团队以及上海交通大学新兴并行计算研究中心一起合作的论文(Spool: Reliable Virtualized NVMe Storage Pool in Public Cloud Infrastructure)被系统领域著名会议USENIX ATC’20录用为长论文。Spool是我们4年前提出并在阿里云块存储持续落地的解决方案,Spool阐述了阿里云如何解决本地SSD实例存储服务的可靠性,以2.97%的性能损失,减少94%的数据丢失和90.58%的启动时间,并帮助基于SPDK的NVMe大规模稳定可靠的应用于生产,目前包括阿里云最新一代云存储ESSD也一直沿用Spool技术,这次我们的工作也又一次得到了系统顶级学术会议的认可,我们将在这篇文章中详细介绍Spool的工作细节。”

达摩院重要科技突破!空天数据库引擎Ganos解读

“基于PolarDB,Ganos采用了存计分离和分布式共享存储架构。计算和存储分离,将原有一体化设计的数据库的各个组件(计算/内存/存储)完全解耦,形成可独立伸缩的资源池。同时,为降低存计分离带来的写入和查询延迟,共享存储系统采用了端到端全用户态模式,融合了 RDMA、SPDK 等高速数据传输和存取软硬件技术,以及与近存储计算介质硬件结合的DB处理下推技术,有效地提升了空天数据的存储规模和处理能力。”

华为云

打造极致性能&领先时代的云存储

“自研高效IO协议栈及SPDK,降低前后端时延、降低SSD读写时延……”

UCloud

13倍性能,3倍稳定性提升!UCloud云硬盘做了这些事

“超高性能存储-RDMA+SPDK:SPDK可以在用户态高并发零拷贝地以用户态驱动直接访问NVME 固态硬盘。并利用轮询模式避免了内核上下文切换和中断处理带来的开销。”

UCloud RSSD云盘120万IOPS的背后,SPDK IO路径优化实践

“SPDK作为一个快速发展迭代的项目,每个版本都会给我们带来惊喜,里面也有很多有意思的功能等待我们发掘并进一步运用到云盘及其它产品性能的提升上。”

腾讯数据库

可怕!数据库竟然打破安迪-比尔定律

“ 对于单块的SSD Disk,相比传统的Direct IO方式,采用SPDK的直接数据传输无论在顺序读还是随机读模式都有超过一倍的性能提升,对比depth为1时的写性能,无论是随机写还是顺序写都有30%的性能提升。”

性能领跑云原生数据库市场!英特尔携手腾讯共建云原生技术生态

“为进一步深入优化产品架构和技术实现,TDSQL-C与英特尔技术团队积极开展联合创新。结合最新一代英特尔® 至强® 可扩展处理器以及英特尔® 傲腾™ 持久内存(PMem) 的硬件特性重构二级缓存设计方案,新版本在IO bound场景中的读写性能提升了2倍以上。TDSQL-C还携手英特尔多方位优化存储方案设计,如加入轮询、算法优化、消除锁等机制,优化存储引擎等,并引入由英特尔提供的SPDK开发套件,优化NVMe固态盘的IOPS和时延性能。”

腾讯云

腾讯云存储发布三个性能第一新品,让高性能应用轻松上云

“当前,腾讯云的快,主要有几大因素,一是硬件使用了RDMA、持久化内存;同时,软件上采用SPDK技术、并优化链路实现零拷贝技术;另外,EC纠删码和无损压缩技术也保持了成本的优势。”

双11

浅谈分布式存储系统Pangu2.0——它让双11运维变得智能起来

“首先,Pangu2.0拥有自己的单机存储引擎Bypass OS kernel,它是一个基于SPDK的用户态文件系统……”

高IO型本地盘存储实例:双十一中,阿里如何将数据库性能提升100%、响应时间减少80%?

“为了解决I/O性能上的痛点,阿里云开始基于NVMe 协议和英特尔开源项目SPDK研发高IO存储实例……”

阿里数据库十年变迁,那些你不知道的二三事

“ ……2018年双11,随着存储计算分离技术的大规模使用,标志着数据库进入了一个新的时代……”

红包场景

SPDK+NVMe SSD对接Virtio支撑红包场景性能

“最终在块设备层使用了标准virtio blk驱动;硬件驱动使用了SPDK工具集;硬件使用了NVMe SSD……”

深信服(Sangfor)

三万英尺看分布式存储中本地存储引擎

“我们简单介绍深信服企业级分布式存储EDS团队在高性能本地存储的实践之路。PFStore(Phoenix Fast Store)是EDS团队自研的基于SPDK的用户态本地存储引擎……”

金山云

金山云+英特尔:混合云存储市场的“创新者”

“金山云使用SPDK之后,用户态的驱动通过轮询硬件而不是依赖中断来完成,这可以降低总延迟和减少延迟差异,并且和内核驱动相比,在每个CPU内核的IOPS上具有更明显的性能优势;同时,SPDK具备I/O路径的无锁高性能模式,避免了所有在I/O关键路径中的锁,而是依靠消息传递在多个线程中共享资源,从而提高了并行性。可以说,SPDK 有效整合了英特尔的网络、数据和存储技术,真正将固态存储介质的性能潜力充分发挥了出来……”

中国移动

干货分享|SPDK技术简介和一些实践经验

“SPDK能有优异的性能,离不开它优异的线程模型,实际使用过程中核的分配相当重要,从上面可以看出,在后端是ceph的场景下,ceph线程运行的核如果没有规划……”

美团

Rocksdb加SPDK改善吞吐能力建设

“以上便是我们有关rocksdb吞吐能力建设所做的一些改进和尝试,核心内容主要围绕在如何与SPDK做有效整合,从而实现kernal旁路机制,以及如何通过异步化访问来提升整体吞吐。”

速度与压缩比如何兼得?压缩算法在构建部署中的优化

“综合以上几点,决定一期采取 ISA-L 的方式加速,可以最稳定并且较高速地提升构建平台的效率”

浪潮

软硬件结合,分布式数据库ZNBase存储架构优化实践软硬件结合,分布式数据库ZNBase存储架构优化实践

“由于RocksDB采用LSM-Tree架构,同样也存在一定的问题。比如在大数据量下有比较高的读放大、写放大、空间放大,性能衰减也比较厉害。为了提高ZNBase在海量数据下的性能表现,ZNBase团队结合浪潮的硬件优势,开发了使用SPDK驱动在专用硬件ZNS SSD上进行软硬件融合的存储引擎……”

更多SPDK使用案例,请参考news页面