数据存储设备的进化
2014-07-09 14:00:50 阿炯

计算机产品的一切发展,都源自底层组件的进化。有国外媒体用一组对比图,展示了存储设备在过去几十年间的巨大变化。


不到10年,闪存卡的容量已经从128MB增长到128GB。


1956年,世界上第一款硬盘诞生,容量仅5MB,重量却达到了一吨。现在,台式机硬盘普遍为3.5英寸大小,容量可达4TB。


最早的服务器RAM内存诞生于1974年,外形类似汽车轮胎,容量仅为200MB,传输速度50Kbps。现在,东芝PCIe接口的NADA闪存RAM已经可以实现单条512GB的容量,传输速度也达到2Gbps。


1996年的固态硬盘仅有40MB容量、2013年则进化到960GB。


磁带这种存储设备并没有消失,而是同样在进化。1952年的磁带式驱动器容量仅为2MB,而2013年的IBM TS3500磁带库已经可以达到125PB的容量,相比机械硬盘成本更低。

本节源自:新浪科技

这里再接上文讲解一些硬盘的相关历史。

世界上第一个硬盘出现在上世纪50年代,由IBM制造,这个硬盘现在看来实在是太惊人了——它足足有两个冰箱那么大,质量要论吨来计算,内置50张24英寸磁盘,但容量只有5MB。5MB,现在看来似乎连一首高音质的mp3音乐都装不下,但在个人计算机还没出现的50年代,这已经算是海量存储了。


进入70年代,一种名为“温彻斯特”的硬盘诞生了。虽然给电脑配件取一个枪的名字有些怪异,但如果你经历过90年代DIY的第一个黄金时期,你肯定对“温盘”这个称呼不会陌生(别看我,那个时候我刚出生)。很多人说“温彻斯特硬盘”出现后硬盘的基本原理没有发生大的改变,对此我只能说他们太单纯,90年代的巨磁阻技术、新世纪以来的PMR技术、还有近几年臭名昭著的SMR技术都是机械硬盘的巨大革新,未来还有更先进的热辅助、微波辅助磁记录技术,可以说机械硬盘无论是过去还是未来都不缺少技术的革新。但硬盘领域最大的革新还是闪存的出现、固态硬盘的崛起,它彻底改变了硬盘的面貌。


这是一张IBM PC主板


硬盘的安装与使用也变得越来越简单。如果你见过IBM的PC/XT的话,你会对当年个人电脑的笨拙有深刻的印象——当年的电脑做什么都离不开扩展卡,显示需要显卡(这一点40年后的今天还是如此,只不过现在集成显卡更加普遍了),用鼠标需要鼠标卡,至于网卡、声卡倒是不用,因为当年的PC还没有网络功能和多媒体功能,当年电脑的主板密密麻麻,芯片一大堆(甚至没有南北桥之分),但就是没有集成度可言,扩展功能全靠主板上长长短短的ISA插槽(有8位和16位的,长度不同),就连硬盘这种需要装系统的部件,也离不开硬盘卡。



硬盘卡

当年的硬盘卡并不是像现在的阵列卡一样(插到扩展插槽里面,转接出需要的SAS接口供硬盘使用),当年的硬盘由两部分组成——安装着控制器的插卡和安装着磁盘、电机、磁头的本体(固定在机箱上),二者之间靠一大堆线缆连接。因为硬盘卡有自己的ROM,所以这个硬盘在开机的时候能够被启动。


一块PATA IDE硬盘

显然这种形态太笨拙了,所以进入90年代,IDE出现了。IDE可不是“集成开发环境”的意思,它的意思可以简单理解为“集成了控制器的硬盘驱动器”,这意味着硬盘不再需要通过硬盘卡来实现对硬盘读写的控制,硬盘的控制电路和磁盘做在一起。此时南桥逐渐出现在主板上,主板只需要提供一个硬盘数据接口(如PATA)就可以连接硬盘。


PATA线

这时的硬盘接口无外乎两种——家用常见的PATA(也被称为IDE),和企业级的SCSI(功能更强、成本更高),安装硬盘只要两步——连接信号线缆(如扁平像带子一样的PATA)、连接电源(就是大4-pin电源接口)。


SATA线

又过了十多年,并行连接的PATA的弊病凸显,为了更高的速度,SATA出现了(硬盘的容量也进入了百GB时代),但除了信号线变得更小巧之外,其连接方式还是没有发生本质的变化,依然还是IDE(将控制器集成到硬盘上)那一套。

然后来到了近几年,随着固态硬盘的普及,SATA接口已经喂不饱高速的闪存了,这个时候PCIe站了出来,扛起了高速硬盘接口的大旗。之后便是NVMe一统江湖,扫除了PCIe进入硬盘领域的障碍。硬盘的形态也发生了彻底的变化——m.2这个全新的形态出现了。


m.2

m.2给人的第一印象是比较震撼的——硬盘可以做到这么小、这么快?而且它的安装也很简单,只需要插到插槽中,上一个螺丝钉就完成,不需要扯任何线缆,供电也完全交给了主板(3.3V)。

但是m.2还是太小了,这导致它很难容纳更多的闪存颗粒(m.2 2280的极限差不多是正反两面8颗闪存),对于大多数个人用户是足够的,但对于企业级来说还是不行(而且企业级硬盘还需要很多断电保护用的电容)。


U.2

为了满足企业级对大容量的需要,同样基于PCIe的U.2出现了,它也是传统的2.5寸盘形态,因此它也能安装在服务器的热插拔硬盘位上,更大的体积也带来了更好的散热和更大的容量。但是对于个人用户而言,U.2并不吸引人,因为它的安装还需要传统硬盘那样扯信号线和电源线,热插拔的优势也和没有区别不大。


既然这样,那直接用PCIe插槽不就完了?于是PCIe插卡式SSD成为了台式机用户的新选择(U.2装上PCIe转接卡也可以看作是这种形态),像大容量傲腾那样存储密度较低的SSD,m.2明显不太合适,PCIe才符合要求。并且常规的m.2最高只能做到PCIe X4,而直接用PCIe插槽的话,X4/X8甚至X16都可以任选,像英特尔P3608那样的X8盘在多年前就超越了Gen3 m.2的速度。

但是回头一想,把硬盘插在主板的扩展插槽上,这个手法有点熟悉吧,这不就是文章前半段中PC/XT的硬盘安装方式吗?所以说,电脑的发展是个圈,原始的东西未必就是落后的东西,回头看看,说不定那里才是未来。

数据和存储趋势报告-2021


2021年4月至8月期间,SODA 基金会和 Linux 基金会研究团队对全球 247 家企业、供应商和标准化组织进行了一项针对数据和存储环境的发展趋势和担忧的问卷调查。此项调查研究的目的在于在重要问题上指导终端用户和供应商,帮助他们更好地决策,改进产品,同时帮助 SODA 基金会建立新的技术方向。《2021 年数据和存储趋势报告》一些主要发现:
对于存储的需求从 TB 级别变成 PB 级别;
企业转向基于云的容器化环境: 48% 的企业在生产和开发环境中使用云虚拟存储器;
软件定义存储可能会彻底改变我们管理数据的方式;
容器化云存储的两个最大痛点: 性能 (49%) 和可用性(46%);
在未来 3 年的数据存储基础设施规划中,企业更注重数据保护和安全;
大多数供应商如今优先考虑开源。

超过 75% 的受访企业认为 SODA 基金会提供的每一项功能最重要或非常重要,这让我们深受鼓舞。

感谢云原生计算基金会(CNCF)、全球网络存储工业协会(SNIA)、开放基础设施基金会(OIF)、Japan Data Storage Forum(JDSF)、中国开源云联盟(COSCL)、木兰开源社区、存储性能委员会(SPC)等调研合作伙伴的支持。同时感谢我们的调查参与者,他们包括 CXOs、开发人员、数据和分析专业人员、企业架构师以及中小型和大型企业的研发和产品开发专业人员。有关《2021 年数据和存储趋势报告》的更多数据及调查结果分析,请点击此处

固态硬盘进化之路

2021年岁未,在此简述这几十年来固态硬盘都发生了哪些改变。

[硬件编年史]不知道大伙是否还记得自己的第一个固态硬盘有多大?自1991年闪迪发售第一款商用SSD开始,商用固态硬盘的发展已经在不知不觉间超过了30年。每次谈起固态硬盘,总难免要说到颗粒、主控的内容,我们很容易掉进“唯颗粒论”的怪圈,却忽视了这些年来相关技术的发展,实际上随着主控与颗粒技术的不断进化,固态硬盘产品早已实现了精细化场景分类,下面我们就从闪存、闪存类型、主控这几个方面来聊聊固态硬盘这些年有哪些改变。


闪存颗粒“超进化”:从2D NAND到3D NAND

聊起固态硬盘就有个无法绕开的话题坎,那就是玩家们经常讨论到“颗粒”。资深的玩家们应该知道,固态硬盘经常被讨论到的芯片包括主控、闪存和DRAM,而关于颗粒的讨论恰恰又是最高的那个。目前被广泛讨论的闪存颗粒其实属于NAND闪存,该类型的闪存自2009年出现在固态硬盘上至今,已经被广泛应用到我们日常使用的个人电脑上。


右侧两颗黑色芯片就是闪存颗粒

NAND闪存的工作方式有个特点,就是如果我们要给已经写入数据的闪存再写入数据,需要先把它的数据擦除,才能重新写入。随着被擦出和写入的次数增多,NAND闪存会有耗损,这也是固态硬盘寿命用“擦写次数”来形容的原因。

早期的NAND闪存都是铺设在平面上的,被称作“2D NAND”。举个不太恰当的例子,就像咱们设计停车场的停车位一样,地的面积固定的情况下无论路线如何精妙,这个停车场能容纳的车位都是有限的,为了应对越来越大的停车(数据存储)需求,那只好做多层的停车场,一层不够那就做二层甚至三层。在2D NAND时代,厂商为了尽量利用好有限的面积只有不断用新工艺,但随着串扰等问题导致闪存颗粒不再能单纯依靠工艺进步带来提升,东芝和三星开始押注3D NAND(三星将其称作V-NAND)。


3D NAND有助于降低成本

NAND闪存也同理,“2D NAND”的容量是有限的,那就做“3D NAND”,目前镁光已经实现了176层NAND量产,闪存密度以及成本压缩达到了空前高度,在不久的未来,192层NAND也即将量产,届时更高容量、成本更低的固态硬盘有望诞生。

商用闪存类型多样化在争议声中成长的闪存类型:SLC到QLC

根据固态硬盘的工作原理,其数据储存在半导体单元内,其中已经被广泛商用的类型主要有四种,分别是SLC、MLC、TLC、QLC,其中SLC属于1bit/cell,MLC属于2bit/cell,TLC属于3bit/cell,QLC属于4bit/cell。这个数值的意思是每个储存单元的数据,比如SLC一个单元只有一位数据,单个储存单元内的数据位数越多,就要求主控控制的精度越高。


图片来源wikipedia

因此SLC颗粒的耐用度P/E(寿命)、速度以及成本都是各类型中最高的,这些参数随着单元内数据的增加而减少,从MLC到TCL再到QLC,未来甚至还有5bit/cell的PLC成为商用产品。通过数据对比可以更直观地知道不同类型的NAND闪存的参数差异,SLC NAND闪存的擦写次数在10000次以上,MLC NAND闪存的擦写次数在3000-10000之间,TLC闪存的擦写次数在1000-3000之间,QLC NAND闪存的擦写次数在1000次以内。

在目前固态硬盘的应用场景中,使用纯SLC NAND闪存的固态硬盘基本面向军用或者商用了,而MLC则大多以高端消费级产品和商用产品为主,应付咱们日常使用需求的固态硬盘,TLC NAND足矣,至于QLC NAND闪存的固态硬盘嘛,优点是容量足够大,单次完全擦写周期被延长了,那寿命的短板也可以被部分弥补。


QLC颗粒让固态硬盘容量再上一个高度

就拿产品类型十分丰富的三星为例,他家的固态硬盘就涵盖了这四种闪存类型,各自的代表分别为采用MLC 3D NAND的三星970 Pro、采用TLC 3D NAND的三星980/三星860 EVO以及采用QLC 3D NAND的三星860 QVO。


消费级MLC固态硬盘锐减成了消费者心中的“意难平”,图片来源unsplash

在聊到闪存类型的时候,玩家们常常“意难平”于消费级MLC闪存产品逐渐转向商用,TLC闪存和QLC闪存开始成为消费级主流。这个过程的确一直以来都备受争议,但不可否认的是,消费者如今能用更少的钱买到容量更大,性能更高的固态硬盘产品。

主控芯片大升级技术完善,读写速度暴增几十倍

厂商们能放心地使用理论寿命更低的TLC和QLC闪存,主要原因是主控芯片愈发强大,我们能看到的大多数固态硬盘参数都离不开主控,比如读写速度快慢、接口协议、TRIM支持、磨损平衡以及垃圾回收机制等等。从过去费用高昂,读取速度仅有1、200MB/s的SATA固态硬盘,到如今顺序读取速度突破7000MB/s的PCIe 4.0固态硬盘,这些直观的参数进化离不开固态硬盘主控的不断升级。


来源联芸官网

固态硬盘的主控属于整个产品的“中枢大脑”,一方面他要通过外部接口与主机进行数据通信,接收和处理主机的明令,另一方面他还要管理“不那么智能”的闪存,更快速妥当地存储数据,并兼顾闪存芯片的寿命。


我们看到的固态硬盘参数更像主控参数的“复刻”,图源联芸官网

生涩抽象的概念不好懂,对咱们普通消费者更重要的是,从固态硬盘主控诞生至今,这个芯片已经得到了飞速发展,并支持更多保障数据完整和数据安全、监控硬盘健康、延长闪存颗粒寿命的技术,比如TRIM、S.M.A.R.T技术、坏块管理、LDPC纠错、断电保护等等。正因为有了愈发强大的主控,过去长期被消费者鄙夷的TLC固态硬盘才得以“翻身”成为目前消费级固态硬盘的主流,甚至催生了一批得到用户认可的高端固态硬盘。主控芯片如此重要,对主控的研发能力也就成为了储存产品开发厂商的硬实力体现。


Elpis主控是目前三星的当家旗舰

目前既有自研主控同样输出消费级产品的代表,自然是拥有强大供应链的三星,其自研主控只应用在自家产品上,目前被应用在三星980 Pro上的Elpis主控,在搭配V-NAND 3-bit MLC闪存(即TLC)以及2GB DDR4 SDRAM时,可实现最高7000MB/s的顺序读取速度和5100MB/s的顺序写入速度。此外,马牌、联芸、群联、慧荣等主流一二线厂商,也针对不同定位提供了丰富的主控产品供第三方厂商采购,部分厂商还提供一站式的整合方案。市面上的固态硬盘产品能呈现出百花齐放之势,也离不开一众主控方案提供商的努力。

单盘容量跨越:从2007年的32GB到2020年的8TB

前面铺垫的那么多技术性的概念,但不得不承认,对于咱们普通消费者来说,聊起硬盘首先想到的就是容量,毕竟作为影响咱们储存资料多少最直观表现,容量的变迁就是上面提到的闪存、主控等因素综合体现。回归到标题上,世界上第一个商用固态硬盘在1991年由闪迪推出,它的容量只有20MB,到了2018年,由Nimbus Data推出的ExaDrive DC100 SSD具备了正如其名的惊人容量,这个100不是代表100GB,而是100TB!这27年间商用级固态硬盘的容量翻了百万倍,如果说商用产品距离咱们消费者端太远,那不妨回到消费级产品。

从2007年闪迪发布的2.5寸32GB固态硬盘,到2020年,消费者已经能买到8TB容量的固态硬盘,也怪不得越来越多消费者感知到,现在的固态硬盘的容量已经大有赶超机械硬盘的势头。虽然目前我们能买到的大容量固态硬盘大概率是“不受待见”的QLC闪存产品,但是固态硬盘本身随机读写性能优势是机械硬盘难以比拟的,也是在可预见的未来里,帮助大容量固态硬盘迅速普及的法宝。


一枚QLC颗粒容量高达1TB,使用寿命已不是最该关心的问题

至于玩家么担心的“寿命问题”,我们可以将当年初次使用TLC闪存的三星840 EVO与初次使用QLC闪存的三星860 QVO做对比,前者的1TB版本官方耐用值为72TBW,而后者的1TB版本官方耐用值已经涨到360TBW,虽然两者均远远落后于三星870 EVO 1TB版本的600TBW,但这也说明凭借如今的主控技术及闪存工艺,QLC固态盘的寿命没有想象中糟糕。值得再提一下的是,8TB容量版的三星870 QVO耐用值高达2880TBW,按每天写入1TB数据来算也能使用将近8年。


缓外写入速度不理想是QLC“劝退”消费者的主要原因

我们真正担心的是QLC固态硬盘的缓外性能衰减,以咱们评测过的三星860 QVO为例,其1TB版本的缓外写入速度只有80MB/s,这已经是低于机械硬盘的水平了,即便是4TB版本,其缓外写入速度也仅有160MB/s,所以目前QLC固态硬盘的定位依旧是储物盘,不太适宜频繁读写的作业环境。

小结:固态硬盘早已融入生活

随着固态硬盘产品的不断改进和成熟,我们已经很久没有再听到过它是否会取代其他类型硬盘的争论,取而代之的是,我们见到越来越多的消费者在讨论何种固态硬盘适合用在何种应用场景,这恰恰是固态硬盘真正融入到我们生活的证明。目前消费级固态硬盘市场尚未有真正垄断级的巨头诞生,作为消费者的我们还能享受“百花齐放”的红利。不过随着PCIe Gen5接口的升级,以及新型闪存的出现,或许新一轮的更新潮就要到来,就让我们拭目以待吧。

本节源自:太平洋电脑网

面对SSD挑战,HDD依然在前行

根据IDC的预测,2025年的数据将达到175ZB。在2025年,数据存储市场,HDD机械硬盘依然占据50%左右的份额。


在个人消费市场和小型的数据中心,固态硬盘凭借性能优势,正在迅速取代机械硬盘HDD,磁带和机械硬盘未来的归宿主要还是依赖公有云、混合云、私有云等云场景以及大型的数据中心。随着QLC/PLC的加持,未来很快就会出现机械硬盘和固态硬盘价格的重合点,那么机械硬盘一直赖以生存的最大优势:价格因素将不复存在,说到底SSD和机械硬盘HDD的竞争将更加的白热化。


固态硬盘的步步紧逼,机械硬盘厂商也不会坐以待毙等着被SSD取代。HDD的厂商也在不断的创新,增加HDD的竞争优势。

技术创新一:叠瓦式机械硬盘SMR

SMR的技术核心就是把传统PMR整齐排练的磁道,转换成类似房顶瓦片层叠的方式,目的是增加存储密度,降低硬件成本TCO。

技术创新二:HAMR vs MAMR

如果要增加盘的容量,势必需要增加碟片磁道的密度,随着容量越大,碟片上放置数据的颗粒位之间间距越来越短,相互之间的磁性影响也会越来的越大。如何保证保持数据位的稳定性,如何在需要时强迫一个非常稳定的位改变其磁方向?如果颗粒的热稳定性非常高,如何将新数据写入硬盘?这就是HAMR和MAMR要解决的问题。


(1)HAMR:全称为Heat Assisted Magnetic Recording,是一种热辅助磁记录技术。

HAMR采用了一种新型的介质磁技术,数据颗粒位的占用空间会更小,密度也会相应增加,从而达到提升容量的目的,同时保持磁稳定和热稳定。在需要写入新数据的时候,磁头上激光二极管就会瞬间在颗粒位增加热量,使得单个颗粒位实现磁极性完成反转,从而完成写数据的过程。


这个加热/冷却完成数据存储的过程持续的时间非常短,在1ns级别,对硬盘整体的稳定性和可靠性没有影响。


不过这个激光二极管在颗粒位产生的温度达到400-700C,保证基板和其他部件的高温影响,可靠性这部分对于HAMR来说,仍然有很多的难点需要突破,这也是HAMR为何研究了十几年,却一直无法大规模生产的原因。

(2)MAMR:全称为Microwave Assisted Magnetic Recording,是一种微波辅助磁记录技术。

MAMR技术的原理是通过自旋力矩震荡器(STO)产生的微波场,进而提供能量辅助完成磁记录。自旋力矩震荡器STO位于磁头的写入磁极旁边,可产生电磁场,这样在较弱的磁场中,快速地翻转磁体,完成对介质的数据写入过程。将数据写入到介质中。根据厂商的测试数据发现,MAMR的磁头可靠性比HAMR的磁头可靠性要高出好几个数量级,也就是说,MAMR当前的可靠性比HAMR要高。


东芝在MAMR的基础上,还研发了更加高级的MAMR技术,叫做MAS-MAMR,全称Microwave Assisted Switching-Microwave Assisted Magnetic Recording,微波辅助开关-微波辅助磁记录技术,原理是在磁头旁边放置一个产生高频电磁波的组件,向硬盘表面发射微波,帮助写入磁头对磁盘表面的颗粒进行翻转。东芝把这个创新设计的组件叫做“双振荡型自旋扭矩振荡器装置”(dual FGL STO)


三家机械硬盘HDD厂商,希捷、西数、东芝,都在研究HAMR和MAMR,东芝在MAMR上的进度应该是最快的,第一代的FC MAMR,到今年刚发布的MAS-MAMR,最后才是HAMR。下面是东芝对外公布的MAMR/HAMR路线图,大家可以参考。


希捷重点在研发HAMR,根据希捷公开的HAMR技术路线图,预计2024可以有超过40T容量的HAMR盘。WD西数在HAMR这块,没有查到公开的路线图,整体比较落后希捷,预计2025年才会有第一个超过30TB容量的HAMR产品。

技术创新三:OptiNAND技术

虽然在HAMR和MAMR上,相对其他两家比较落后,WD西数也没闲着,WD针对HDD的创新提出了OptiNAND技术。OptiNAND技术的核心就是新增了iNAND UFS EFD,把磁道记录等元数据记录在iNAND之中。


根据官方的介绍,OptiNAND可以提升容量、性能和可靠性。

容量:采用triple stage actuator (TSA) 技术,实现更大的实现更大的TPI(每英寸磁道)数量和更高的面密度,在不需要增加碟片数量和磁头数量的情况下,实现容量的提升。原来放置在碟片的元数据,现在放在iNAND,也相当于给用户腾空了原来占用的数据空间,利于用户容量的提升。
性能:降低了相邻磁道的干扰ATI,也可以降低写缓存的刷新频率,这样就可以减少延迟,提升性能
可靠性:主要在EPO突然掉电场景,iNAND下刷的用户数据比之前DRAM缓存更多。

技术创新四:给HDD穿上NVME新衣

希捷在去年OCP大会,还发布了一款基于NVME接口的HDD。之前我们看到的HDD基本就是SATA和SAS接口协议。这次希捷居然让HDD也用起来NVME协议。从宣传来看,最大的优势就是让HDD与 NVME SSD拥有一样的接口,便于扩展,不过,应该还没正式量产。小编目前好像也没看到这块未来的场景在哪里,希望后续正式对外量产后有用武之地。


单碟容量首超3TB!希捷热辅助硬盘终于和传统硬盘一样靠谱

希捷于2024年初推出了全新的魔彩盒3+(Mozaic3+)存储平台,基于研究了十几年的HAMR热辅助磁记录技术。它利用全球最复杂的纳米级记录技术、材料科学技术,一举突破了单碟容量的桎梏,首次超过3TB(单盘容量首次超过30TB),未来还将超过5TB。对于这种新技术和新产品的可靠性、稳定性,很快出现了各种讨论,甚至是争议、质疑。


为此,希捷特意撰文,披露了大量细节,证明HAMR硬盘已经和传统硬盘一样靠谱,甚至更靠谱。希捷表示,HAMR硬盘的平均故障间隔时间为250小时,和当前的Exos银河系列企业硬盘完全相同。


新硬盘遵循相同的质量保证规范,而且95%以上的技术都与现有旗舰产品一致,符合希捷硬盘的标准规范。对于HAMR硬盘,希捷已进行了50多万次测试,延续了传统PMR垂直磁记录硬盘的测试流程,并增加了HAMR相关的特定测试。严苛的实地应用压力测试证实,HAMR硬盘磁头的寿命长达7年以上,基本超越了PMR硬盘,以及大多数客户预期的四到五年。

另外,成千上万读写磁头的测试显示,HAMR硬盘可以传输6000小时以上的数据,相当于单个磁头传输3.2PB,是普通近线硬盘的20倍以上。希捷还透露,从PMR到HAMR的过渡是无缝的,外形尺寸、企业级规格、质保都完全不变,完全向下兼容,可以即插即用,因此TCO成本显著降低。为了研发HAMR技术和硬盘,希捷已经先后投资20多亿美元。