Dropbox：SMR技术驱动成本与性能双赢
全文概览
随着全球数据量指数级增长，云存储分区以Dropbox通过其核心存储系统“Magic” Pocket”持续突破存储规模边界。本文重点关注Dropbox如何通过SMR硬盘技术、硬件架构演进及软件优化，实现EB级存储系统的成本控制与性能提升。从2013年144TB的初代系统到2024年单平台2.7PB第七代架构，Dropbox通过SMR技术将存储密度提升20，同时通过移除SSD硬盘等创新设计，意外实现写入货物翻倍。
本文将解密其技术路径中的关键决策：如何平衡SMR硬盘的写入性能限制？通过硬件改善优化降低仓储以及未来仓储技术如HAMR如何仓储仓储托盘。这些实践不仅为云存储行业提供了宝贵的经验，更揭示了仓储介质与系统架构良好演进的底层逻辑。
阅读仓储在云存储场掌握SMR硬盘景中的成本优化策略与性能调优方法理解存储系统硬件演进的量化指标（容量/功耗/密度）及其商业价值从架构设计到介质选择的全栈存储系统优化思维框架预判未来5-10年存储技术发展路径（HAMR/3D记录等）SMR 优化创新Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-14.png 积极采用SMR硬盘
图片介绍了存储系统采用叠瓦式磁记录（Shingled Magnetic Recording，SMR）技术的第一个版本（V.0）。关键信息包括：提高密度和节省成本：采用SMR技术的主要目的是为了在相同的物理空间内有更多的数据，从而降低存储成本。Go -gt； Rust (OSD amp；卷管理器)：存储系统中的OSD（对象存储设备）和卷管理器这两个关键组件已经从Go语言迁移到了Rust语言。这通常是为了获得更好的性能、可靠性或者兼有。Rust语言进行内存安全和负载性而闻名。Libzbc自定义磁盘格式：系统使用了libzbc库以及自定义磁盘的格式。libzbc是一个用于管理分区块命令（ZBC）的库，ZBC与SMR硬盘的管理密切相关。自定义磁盘格式则可能是为了更好地适应SMR硬盘的特性。SSD 缓存用于暂存写入：系统使用了硬盘（SSD）来暂存写入操作。这是SMR硬盘在写入时有特殊的限制，通常顺序写入性能较好，因为随机写入性能较差。SSD磁盘帮助将随机写入转化为顺序写入，从而提高整体写入性能。元数据在传统区域：硬盘上的元数据存储在传统的非SMR区域。这可能是为了保证对元数据的快速随机访问，因为SMR区域的写入方式可能不适合间隙的元数据更新。14TB硬盘：系统使用还是14TB容量很大的硬盘。https：//github.com/dropbox/pb-jelly - Rust protobuf代码生成框架：提到了一个GitHub上的链接，指向了一个用Rust编写的protobuf代码生成框架。这表明系统内部可能使用了Protocol Buffers进行数据序列化和通信，并且Dropbox团队自己开发了一个Rust版本的代码生成工具。
图片中还了一个提高展示SMR磁道布局的示意图，说明了SMR硬盘通过重叠磁道来存储密度的方式。
这张图片描述了该存储系统为了提高存储密度和降低成本而采用SMR技术的初步尝试，并介绍了相关的技术选型和优化策略，例如核心组件的Rust语言迁移、使用libzbc和拓扑磁盘格式来管理SMR硬盘，以及利用SSD存储来提升写入性能。
SMR技术在HDD领域的前景展望
积极方面：持续增长的容量需求：随着数据量的爆炸式增长，对存储容量的需求不断攀升。SMR技术能够显着提高HDD的存储密度，在相同的物理空间内存储更多数据，用于满足同步扩展应用的容量需求。 硬盘通常具有容量和读写次数的单位存储成本。这对于成本非常敏感的应用场景，如云存储、大数据归档、监控存储等，具有更高的吸引力。特定应用场景的契合：SMR硬盘的特性非常适合读写次数、读取次数指标的应用场景，例如数据归档、备份、冷存储等。在这些场景下，SMR硬盘的性能读写限制并不构成主要问题。行业领导者的推动：像Dropbox的行业领导者积极采用并优化SMR技术，表明该技术在实际应用中是可行的，并且能够带来成本和容量优势。他们的经验和实践也将推动整个行业对SMR技术的接受和应用。技术进步：随着技术的不断发展，未来可能会出现新的方法来克服明显SMR硬盘的写入性能限制，例如更智能的存储管理、更优化的磁盘格式等。
需要考虑的方面：写入性能限制：SMR硬盘的写入方式决定了其在随机写入性能方面优于传统的CMR硬盘。这使得SMR 硬盘不太适合硬盘进行随机读写的应用场景，例如作为硬盘的主硬盘或高负载率的事务型数据库存储。软件和系统配置：为了充分利用SMR硬盘的容量优势并克服其性能限制，需要在操作系统、文件系统、存储管理软件等方面进行相应的配置和优化。例如，Dropbox采用了libzbc库和操作系统分区格式，并利用SSD来读取读写性能问题。用户接受度：为了一些对性能要求较高的用户来说，SMR硬盘的写入性能可能会成为一个关注点。厂商需要在产品宣传和技术支持方面做好工作，帮助用户了解SMR硬盘的适用场景。Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-15.pngSSD硬盘容量瓶颈
图片展示了一个关于存储系统SSD硬盘存储的趋势。图表横轴是时间，从2020年初到2022年 年底，纵轴是服务器数量和磁盘容量。
图表显示，随着时间的推移，存储服务器的数量呈现下降趋势，而磁盘容量则呈现上升趋势。这表明每个服务器的密度在不断增加，可能支持采用更大容量的硬盘，例如前面提到的14TB的SMR硬盘。
关键信息是，“聚合之前磁盘的吞吐量开始达到每个服务器一到两个SSD的托盘”。
这意味着，随着单个服务器上聚合的硬盘数量和总吞吐量的增加，服务器上的一到两个SSD作为存储可能已经无法满足性能需求，成为系统的瓶颈。
图片揭示了随着存储密度的提高，原有的SSD存储策略可能已经无法有效提升整体性能，反而成为了限制系统吞吐量的瓶颈。这可能需要对SSD硬盘的大小、数量使用或策略进行重新评估和调整。Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-16.pngOSD 当前版本
图片介绍了当前版本的 OSD（对象存储设备），其中一个显着的变化是删除了 SSD 存储。这带来了以下影响和原因：删除 SSD 存储：版本中用于加速写入操作的 SSD 存储已被删除。更简单的软件栈：删除 SSD 存储简化了存储系统之前的软件架构。减少了的硬件组件：每个存储服务器减少了一个硬件组件（SSD）性能提升：令人意外的是，移除SSD磁盘后，系统的性能反而得到了提升。图片下方的图表显示，在移除SSD后 存储后，读取吞吐量（每秒读取操作数）从约 588 提升到了约 1300 以上，同时读取操作的延迟也从 1-1.5 秒降低到了约 0.5 秒。较高的 SMR 硬盘比例：当前负载中超过 95 个硬盘是 SMR 硬盘，这表明系统大规模采用了这种高密度的存储技术。
图片中已经对比了带 SSD 存储和不带 SSD存储的存储引擎架构，以及它们在读取吞吐量和延迟方面的表现。数据提示地表明，在当前的OSD版本中，直接使用SMR硬盘的性能要优于使用SSD存储的方案。
图片揭示了一个重要的架构演进，即通过去掉SSD存储，该存储系统在简化设计、降低成本的同时，还实现了读取性能的显着提升。这可能是后续软件栈的优化以及对SMR的显着提升。硬盘特性的更深入理解和使用。 存储硬件内置Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-17.png
图片展示了存储系统硬件的演进历程，从第一代到第七代（及更新），时间跨度从 2013 年到 2024 年。可以看出，存储硬件经历了显着的容量增长：第一代 (2013) - Big Show：总容量为 144 TB，使用 36 块 4TB 的硬盘。 第二代 (2014) - Andre：总容量提升至 192-240 TB，硬盘数量增加到 48-60 ，单块容量仍为 4TB。第三代 (2016) - Atlas：总容量达到 270 TB，硬盘数量缺失减少（35-45 块），但单块容量提升至 6-8TB。第四代 (2017) - Axel：块总容量大幅提升至 624-720 TB，硬盘数量显着增加到78-90块，单块容量为8TB。 (2018) - Stimpy：总容量达到1.4-1.6 PB（拍字节），硬盘数量增加到100-102块，单块容量提升至14-16TB。
第七代 (2023) - Scooby：总容量进一步提升至 1.8-2.6 PB，硬盘数量保持在 100-102 ，单块容量提升至 18-25 TB。第七代及更新 (2024) - Sonic：总容量达到 2.7 PB 以上，硬盘数量略微减少至 96 块，但单块容量大幅提升至 28 TB 以上。Storage @ Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-18.png 存储平台面临的一些挑战
图片排名了存储平台面临的挑战：振动余量：硬盘对振动比较敏感，过大的振动可能导致 I/O 性能下降，甚至出现写入或读取失败的情况。，需要确保存储平台有足够的振动余量，从而保证系统的稳定运行。温控：存储设备在运行过程中会产生余量，过高的温度会影响硬盘的年率良好的年度和温度控制对于保证可靠性的关键。重量和功耗：大规模存储平台的重量通常会增加，功耗也随之增加。在部署和运维过程中需要特别注意这些因素，例如机房的承重能力、电力供应以及关注成本等。服务等级协议（SLA）：为了满足服务等级协议的要求，存储平台需要保证较低的其年故障率(AFR)，这意味着需要采取各种措施来提高硬件的可靠性。此外，还需要有效地管理数据的“填充和排空”过程，这可能涉及到数据迁移、容量扩展或扩充等操作。Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-20.png平台硬盘演进过程
图片概述了存储平台中硬盘的演进过程。关键信息如下：2018年14TB的精简硬盘上启用SMR技术：这一系列叠瓦式磁记录(SMR)技术开始被应用到该存储平台中。当时，该平台已经积累了7年的运行经验。SMR技术带来了额外的10-20容量提升：采用SMR技术后，在相同的物理尺寸下，硬盘的存储容量能够额外增加10到20。超过95的集群使用SMR硬盘：目前，该存储平台超过95的硬盘都采用了SMR技术，这表明SMR已经成为主要的存储磁盘。磁盘技术发展趋势：盘片数量增加：硬盘内部的盘片数量持续增加，提高总容量的常见方法。面密度：硬盘盘片上的磁密度（单位面积存储的数据量）也在不断增加，也是容量增长的关键因素。SMR：叠瓦磁记录技术是提高硬盘容量的重要驱动力。Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-21.png平台能效研究
图片展示了存储硬件在不同代数之间，存储 1 Exabyte 数据所需的功耗变化情况。可以看出，随着硬件的演进，存储效率和功耗控制都得到了显着提升：第四代：存储 1 Exabyte 数据需要 1456 个煤炭，每个煤炭的 p90 功耗为 6.46 kW，总功耗高达 9408 kW。
第五代：存储 1 Exabyte 数据需求的采购数量大幅减少到 642 个，每个仓库的 p90 功耗小幅上升到 7.6 kW，总功耗进一步降低到 4883 kW。第六代：存储数量进一步减少到 411 个，每个仓库的 p90 功耗继续上升到 8.2 kW，总功耗进一步降低到 3371 kW。第七代：存储 1 Exabyte数据所需的压缩机数量最少，为 360 个，但每台发动机的 p90 功耗达到 10 kW，总功耗为 4000 kW。虽然第七代的总功耗比第六代上升，但仍然远低于第四代和第五代。
图片下方概率对比了第四代和第七代存储硬件在存储 1 Exabyte 数据时的差异：第七代相比第四代，功耗降低了一半（1/2 功率），并且占用的空间减少了75 (75 less space)。未来方向Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-22.png密度存储不断攀升
气压上均衡了不同硬盘记录技术的演进趋势，：PMR：垂直磁记录（Perpendillary Magnetic Recording），包括带或不带叠瓦式磁记录（SMR）的二维磁记录（TDMR）。该技术在2018年至2022年期间主要使用，面密度为1 Tb/in²。E-PMR / MAMR：增强型PMR，开始或不带能量辅助，包括微波辅助磁记录（MAMR）。该技术从2022年开始发展，预计在2026年左右面密度将超过1 Tb/in²。HAMR：热辅助磁记录（热辅助磁记录）。该技术预计在2030年左右面密度将达到10 Tb/in²。HAMR带有有序颗粒介质的 HAMR： 承载颗粒颗粒的 HAMR。HAMR HDMR / 3D： 带热点磁记录 (HDMR) 的 HAMR 和三维记录 (3D)。HDMR / 3D： 热点磁记录和三维记录。Storage @Dropbox Scaling Magic Pocket An Exabyte Scale Object Storage System-Fig-23.png复杂系统IO管理
图片描述了一个存储系统面临的复杂工作负载展示场景。图表形象地展示了在存储设备的不同区域同时发生的多种类型的操作，包括实时的读取（Live） Writes）和读取（Live Read）、数据擦洗（Scrub）、全条带写入（Full Stripe Writes）以及行区域更新（Row Zone Updates）。
右边的文字进一步说明了这种工作负载的特点是“非常混合”，包含“主要是随机的IOPS”（每秒输入/输出操作数），以及“平均负载为” 1MiB”。这暗示了该存储系统需要处理各种且无规律的读写请求，这对于系统的性能和效率可能带来挑战。
延伸
这次分享的内容就到这里了，也许以下几个思考问题，能够启发你更多的思考，欢迎留言，说说你的想法~当SMR硬盘集中超过95时，包含如何设计错误机制感知其写入性能转动？在SSD存储被移除后，系统性能反而提升的现象，暗示架构设计的范式是否发生转变？HAMR技术需要激光加热磁头，这对存储系统的新一代设计会产生哪些替代性挑战？
原文标题：存储@Dropbox Scaling Magic Pocket 一个艾字节规模的对象存储系统
以上就是Dropbox：SMR技术驱动成本与性能双赢的详细内容，更多请关注乐哥常识网其他相关文章！