3 t2 Y D9 k( A; A
随着互联网的不断发展以及通信技术的不断升级，将会催生并累积大量的用户、业务数据，而这些数据也将成为国家、产业以及企业的基础性资源，是价值巨大的“金矿”。IDC预计，2018年全球数据量达33ZB，未来全球数据总量年增长率将维持在50%左右，到2025年，全球数据总量将达到163ZB。* Y2 g5 z% p, D) u- y+ F( u( v
R% `( T @& Q
& A" p2 Y# U! ?. w- p, g0 D o然而，据统计，这些海量数据中只有10%~15%的数据是被经常访问的，而绝大部分都会在产生之后逐渐变冷。这些数据虽然访问量低，但是仍然需要保存和备份。如果将数据不进行分类而按照统一的存储方案进行存储，将会造成资源和成本的极大浪费。因此，海量的数据在给存储厂商带来巨大机遇的同时，对存储技术的要求也变得更加苛刻。
3 J& F; c% n5 \7 ]! s7 U# {9 Y2 N
5 X) |0 R# X4 B- c大数据时代存储面临的挑战有哪些？
2 A+ w4 t$ O4 l* E2 s* u* l* \ l/ d8 b p: z/ U% [
1、成本问题：海量的存储数据，必然导致存储成本的上升，如何优化存储解决方案，实现成本最优化，是存储厂商在激烈的市场竞争中不得不面对的问题；! j1 X z" ]* d' s( x
2 w# @% c9 U) s9 D" S% j# H4 n. u0 w
2、数据的分类：目前，业界根据数据访问频率将数据粗略分为热数据、温和数据和冷数据，然而，关于数据分类的具体定义方案，至今业内仍没有统一的标准；
5 M8 ?+ S& a; l* B3 v( v
3 H1 V1 j5 A. y: p' {. M' b( O& U# h9 k( n d: e- L; C. A
3、存储数据的维护和搬迁：在数据维护过程中，定期对存储介质的健康情况进行检测，保证数据的完整性；在存储设备使用寿命完结时，如何对数据进行搬迁，也是数据管理者必须考虑的问题；* M9 w% `, ^/ D$ B+ \8 p3 G: s
1 T3 d$ P; R Z; S, [$ x R2 X. Q# P0 T. R0 V
4、数据价值的体现：毋庸置疑，数据价值的重要性已经不可否认，然而对于存储厂商来讲，如何让长期存储的海量数据，在被需要的时候充分、及时的服务人类需求，体现其价值也是同样重要的；
! W( G ]/ Z1 j- x! r* Z; v1 M! q% [9 X
. \' s7 h0 x! v. g# g, D5、数据安全：一方面是指数据的安全性，保证存储数据不丢失，这是数据存储的基本要求，这不仅需要存储介质安全可靠，还需要不断的设备维护、检修；另一方面是指数据的隐私保护，如何保证数据信息不被窃取和篡改，也是存储工作面临的挑战。
, i0 X( c( n7 W) {6 ^
. X+ a3 Y5 P- I& ?+ T/ q/ y4 v
s+ l4 @4 k% T' ]当然这些挑战，不仅仅是靠存储厂商单一力量能够解决的，还需要云服务商，系统平台厂商甚至企业客户共同配合解决。单从“存储”这一角度出发，全球核心存储厂商早已不止局限于存储介质的研发，更是从存储架构本身着眼，推动产业朝着更大容量、更低成本及更高性能的方向发展。7 H, d+ I' @) y; P m G. U" p
+ z/ }1 Q7 N& U
' h2 l! x) V, J: Z( D1 R
传统存储架构瓶颈
/ i9 Y. ^$ m0 B' [' p( U
& ~& h6 h h5 \5 U- z1 P2 }
- h& F G- p& {目前，传统的存储架构主要分为三层：内存、SSD和硬盘，面对5G和AI的发展推动产生的海量的待存储数据，现有存储结构瓶颈将会日益凸显。从产品层面看，不得不克服的难点主要有三点：首先，大量的数据分析需要大内存，现有的内存容量不能满足；其次，SSD层面速度不够快，不能及时调动SSD或者存储在更下层硬盘或磁盘中的存储资源；再者，内存及SSD价格昂贵，企业要面对巨大的存储设备投资。
& P, T, t' A- d' E
0 u; N$ B8 Z5 B$ |. {; w5 h3 M1 F. H* x/ s
海量数据存储，性能及成本问题均需优化，异构存储或将成为大数据存储的最优解 3 Y& j' ~1 q, F/ N. ?. ~( v% P; i
8 q U& N: n% S: j8 R) j4 x- b在竞争激烈的存储产业中，从不缺乏技术创新和产业突破，以3D NAND为例，从2014年三星量产32层128Gb TLC闪存颗粒，到2019年全球六大核心原厂均实现96层3D NAND量产，且铠侠（原东芝存储器TMC）成功量产96层QLC 3D NAND(1.33Tb)，单颗Die的容量增长逾10倍，时间却仅仅用了5年的时间。 N2 b! g/ X3 J2 c% d
7 T3 p9 g( i8 @: {; K) \+ @* [2 x
" S& @+ I7 [4 D6 F: A在竞争激烈的存储市场中，产品的先进性和优化的产品成本一直都是各大厂商在激烈的市场竞争中角逐的核心武器，因此在面对海量数据存储需求带来的更高产品性能和更优存储成本的要求时，如何在降低TCO的前提下，保证产品性能，成为大家共同关注的问题，这时异构化存储概念逐渐进入大家的视线。8 f% S c5 Z% z9 K& ]' m( c, ^
: b/ k& M, h3 [. m' a7 q( X# p" s4 P- D* ]# n8 A
什么是异构化存储？
9 K0 R7 l' E; p, V4 H
" U3 J% g8 k! g3 b# d1 S0 p7 z" U
1 S- r. t& r/ _! h0 r0 r' W: G- r异构存储就是根据各个存储介质读写特性的不同发挥各自的优势，将不同特性的数据存储在合适的存储介质中。. Y4 t5 i B, n; [
' }5 \" ^( s4 u g
X/ a7 \& T$ p# I) ?% W- i所谓不同特性的数据，通常是根据访问频率的不同，分为热数据、温数据和冷数据，目前业内尚无明确定义的标准。
0 e& ~/ s& ]0 k' n& I+ z3 f. J5 n s% \
' Q& w; \. Z( ?* Z9 Q常用的存储介质为四类：DRAM、NAND Flash、HDD和磁盘，其性能依次减弱，对于访问频率较高的热数据，可以选择性能较高的DRAM，其次是以NAND为介质的SSD产品进行存储，而访问频率不高的冷数据放在成本较低的磁盘中，比如HDD、磁带等，发挥存储介质优势的同时优化存储方案的成本。 # e; z8 U" V' X+ g* x
4 c- ~; \- K. q& m3 T
当然，异构化存储是一个很宽泛的概念，细数目前国际六大存储原厂：三星、铠侠、西部数据、美光、英特尔和SK海力士，在异构化存储上均有布局，但是每个公司的发力点又各不相同，我们将六大核心原厂的异构化存储布局分为纵向和横向两大维度分别说明。 m. @" ?+ i! F
; _& K! F) |6 V" B- m8 F/ A5 i( D) g4 c( r, d; ]
- @+ F( @9 h- i; t) }
4 W3 k6 I! k$ |, p& q" ~) E纵向异构存储：存储级内存（SCM）市场增长已获得越来越多关注 5 S+ [, I" m, V! n% X( _! a' c
2 l: H. F: x. a8 \8 n- Q存储级内存解决思路：在内存和闪存存储层中间插入若干层缓冲层，减少每一层间的速度差，使存储结构更加平滑，填补了原有层级间的空白，在数据中心存储领域形成合力。; Z' b+ P3 P" c6 B5 n8 h
; o/ @7 h# i- V; Y) r
; e8 ~# w9 @5 }存储级内存（SCM），具有如下几个突出特点：
& _2 x" j( l, A; ~2 }1、非易失性) o" r. ]9 q) A. F$ e. N
2、高性能，极短的存取时间（DRAM-like）
' h( j7 I' w; k% [7 B3、大容量，固态，无移动区（SSD-like）8 b& P I$ f3 ?( T! O g3 j9 G6 G1 q: D8 q
4、致力于降低总存储成本. C* o. ]& ]" e" p5 h2 i
) O$ Q9 e4 W8 i+ I) w* w% |$ r1 L0 k
英特尔率先布局，三星、铠侠跟进，美光亦看好内存级存储！
1 ~0 a N& j# |, Y. @ \6 N; d8 T 5 E$ Y! a* i$ i1 n+ w+ x P0 n; {: _
谈到存储级内存（SCM），不得不提及英特尔，英特尔在六大存储原厂中是率先布局存储级内存市场，自2015年就宣布成功研发3D Xpoint技术，主要布局傲腾系列产品。
5 P! M) r$ t' w1 a9 M$ e1 D$ w# t4 o. P
( h- V" r- c+ v0 T Z
英特尔在DRAM与SSD之间新增三级，包括傲腾DC持久内存、傲腾固态盘（3D XPoint）和QLC 3D NAND固态盘，每一层的速度差仅为10倍。除了在存储架构上发力之外，英特尔配合处理器资源优势，形成组合拳，用来满足企业不断增加的大数据分析需求。3 H( x3 p6 I) Z) c4 t0 H4 q
% w. d6 Q% Q8 s" E0 K
% W/ b7 w! `# m2 c近日有媒体报道，继英特尔与美光分手后，英特尔独立开发了新一代3D Xpoint，新一代技术存储单元层数翻一倍，从原来的两层增加到四层，Die容量从128Gbit（16GB）翻倍到256Gbit（32GB），随着芯片的存储密度的提升，这必然会降低每GB的成本，从而降低终端产品的价格。: w' A/ z) P0 u
& Z F6 k, o- E
3 B& ~) f3 T: v& u* e( q: s' o# P% M
报道称，新一代3D Xpoint技术，由Intel位于新墨西哥州的Fab 11X工厂负责开发，不过生产依然由美光所负责。
% Z+ O+ R# d& [7 s3 {% s* S
3 t% j' c+ L) R7 U* [
& g( {6 N' m: v* }) f, O/ q除英特尔大力发展之外，三星、铠侠（原东芝存储器TMC）也相继发布了布局数据中心市场的Z-NAND和XL-FLASH，其产品也是定位存储级内存（SCM），用来解决内存和闪存之间的性能鸿沟。关于这三种产品详情请点击： 三星、东芝、英特尔形成三足鼎力之势，抢占下一波数据中心商机！2 [0 P5 C1 _! C" t) m
: ?! U3 C6 B+ a
# R0 `0 q% k- d6 P: g凭借低廉的成本，更高的容量，QLC SSD或将在读取密集型应用大放异彩！
- y2 t- s" y3 g% \! r; [
! i; Q; Q5 s; g% i* i7 Z. z除了在内存级存储（SCM）层面的技术研发，在SSD层级中存储厂商也在不断追求更高的存储容量及更低的产品成本。
8 `+ C$ H* J% k' z) z4 x6 j
! F' y, n/ j3 b2 N9 p5 g: n- M
: h5 _* ~& z& e2 I) zQLC技术作为还未被普及的更低成本、更高密度存储解决方案，由于其寿命问题及可擦写性低，理论可擦写性只有150次（TLC理论擦写1500次）被长期诟病，然而，近期，三星、美光及西部数据开始强调QLC在读取密集型应用方面的优势。
9 x5 d" h$ k5 V: ]( q$ D5 ~$ h7 {$ G4 Y n- r; C5 s* y+ ^9 E
+ H6 S& p1 d# M# u) x( L; F, Z, `
其中，三星表示，十分看好QLC在针对读取为主要应用场景的应用潜力，因为在成本角度看，QLC SSD主要优点是在全生命周期TCO的产品相当于万转磁盘的1/3。
) m8 U* R7 y) g a% r! \+ U 2 Z/ g: ]7 V' E. ~: G
8 y6 c# r: J- S- z; i$ `8 V+ i; t& O
# P" h3 g% m! f/ u: j; C
5 ^4 m, J- I+ N, q为了满足不同场景下日益增长的需求，三星从单一的SSD产品现在已经构建了从Z-SSD到QLC SSD的全方位产品线，除了SSD产品之外，三星也在积极打造存储级内存（SCM），目前SCM产品已经通过标准化认证。
3 N8 P! y! _ p5 [2 w+ C( d* E & D& M5 y2 L& N4 b+ I
7 R" N7 f- Z; y& B' V5 i% c/ } H
& ?# k; ^. v8 K2 b' H, R5 P* H
纵观美光产品线，目前美光是业界唯一能满足各方面需求的厂商，从低延时高性能的DRAM、3D XPoint、到高密度QLC NAND SSD方案，用来满足下一代数据中心需求。 8 k8 i% |) ^, @
, E9 [* ^& Y! q/ n+ [ x( A4 T
0 T" I" d; e4 q; w6 G1 P4 n
3 B& U$ E: Q4 G! m1 ~ 图片来源：网络
( ?0 z! R" ~% O1 P! W7 X& \# y" O( u! h) ?1 D/ W2 q
3 i9 A k( x1 _5 \$ W, q
美光科技于去年5月份与英特尔共同宣布成功出了首款商用64层3D QLC NAND产品，开始生产和出货，新的QLC NAND技术可以达到单Die 1Tb的存储密度，从而为读取密集的云存储应用带来显著的成本优势。 9 `9 |. K! I- m+ g
) o7 R- x7 v0 ?! k5 f# v
, I$ t" q7 q! t! r% R此外，美光采用QLC NAND技术的SSD(5210 ION)也已经开始对战略合作伙伴的客户出货，美光该系列产品有更低的成本、更高的容量，用来满足AI、大数据、商业智能、内容交付和数据库系统等读取密集云存储需求。
2 ^. ~5 d, ]8 {# q) a6 i* D# o% @3 w+ ^2 ^
% B0 v" m' o3 O) a4 _2 L' b) a
日前，美光表示，对于读取密集型应用来讲，QLC NAND存储产品的可靠性比HDD更高，读取密集型应用应该将下一代存储设备切换为QLC NAND产品。
1 ~$ c# I& b% Q) D# a
; T. l% n0 Z/ _. T, V/ ?6 u
/ ~; y3 R9 _. P: F% F- o美光表示，对于需要大量数据读取的应用来说，其对访问速度要求较高，而固态硬盘的工作寿命是与写入周期数进行定义的，因此可以相对延长使用寿命。& P) L& B1 n, r. w! r% `
R! [! g+ Z8 C) H! }( ~$ A: }$ y, e
西部数据于2018年Q4量产QLC闪存颗粒，并进行送样。西部数据认为，如果解决产品的写入限制问题，QLC产品可以经济高效地实现存储密度的深度扩展。西部数据的分区存储技术，成功实现了对QLC写入寿命损失的有效管理、同时大幅提升产品耐久性，进而诠释系统存储效益最大化和数据中心TCO的最优化。+ s- W8 H* H( v9 Y. A% f3 x
9 t4 g- H& B: F) E! N0 `- ]8 ?# C3 A( u
0 T6 E$ h% M }) ?
横向异构存储：去集群化分区架构，实现工作负载的合理优化，降低成本
/ `; M6 o0 W5 U6 E* U4 }2 v; {8 F6 U2 E* K. f; a+ |
分区存储解决思路：利用可编程的去集群化的基础架构，划分数据区域，有效提高数据中心服务器存储效率，对工作负载进行合理优化，从而提高性能和效率，实现总体拥有成本最低。1 P- G9 [, d4 H, K% A
" \6 n4 g6 ]5 }0 R0 A( a- G
8 x: Q/ N9 [% @# g- U' Z# H. q提及分区存储的代表企业，西部数据当之无愧，西部数据认为，目前存储产业主要通过增加存储密度的方式提升存储容量，如采用提升3D NAND的层数，目前3D NAND的层数已经提高到96层，但是这样的提升挑战也越来越大。: H! q2 y/ h) ] T# L8 H, D- u1 ^1 }
; O/ c/ x5 }) y7 y; p; \# Q- X" _& R& G0 ]
西部数据认为，提高存储能力不应仅仅停留在存储介质本身，要重新看整个数据的基础架构，通过开源、通过标准化，和业界各方携手共同推动问题解决。
# j8 V. e g) N2 L% K* P
1 N- n! R1 ]; D9 p0 b4 q. b: E) P0 p% u
今年6月份，西部数据推出分区存储技术，其核心是实现SMR－HDD、ZNS-SSD同一架构下的数据存储和访问，为此，西部数据发布了libZBC、libZNS共享库，以及开发工具，支持文件系统和内核模块设计，从软件栈的角度，为SMR-HDD应用扫除障碍，同时兼顾SSD的需要。
+ n7 T7 \4 {- F' l% @ % [% g1 D' x4 }/ U
% U4 w1 H' j% c4 K/ k- ~; h
图片来源：西部数据
, ^, W( N* o5 s / W6 O+ M/ n3 h3 M( ^) s
8 p. u! z9 M# | x; x0 m
6 s8 s/ i, x: s. J: i/ w4 ^/ K
为了推动分区存储技术使用，西部数据采取了开源策略，开发者、生态合作伙伴可以通过ZonedStorage.io 访问来获取这些开源的信息。
3 B+ D. ?% i; |' ]% R' k' P# b$ C$ e3 f0 Y
1 |! O5 B) D$ t$ U* [3 Z
除西部数据之外，SK海力士也看好分区存储解决方案，今年3月份，SK海力士推出下一代企业级标准的ZNS SSD解决方案，SK海力士预计在2020年初完成开发并推出ZNS SSD商业产品。# u% n+ ^2 Q& y' I- B p+ L
/ u+ S" }$ X) I
3 b8 N5 e. C4 h8 x0 e
SK海力士该解决方案包括SK海力士开发的ZNS SSD软件，比现有的SSD快30%，改进后增强4倍的使用寿命，是下一代数据中心的理想解决方案。
( W4 i$ s: [. I ~+ b N3 O" A3 L8 P, M" x. S/ |# @+ }; \+ R
- [( s% l! f/ H( c: \0 a9 T1 Z3 h r毋庸置疑，在科技发展日新月异的今天，存储产业的未来一定是光明而璀璨的，但是在前进的道路上，每个人可能选择的路不同，然而“市场”是检验一切方案的试金石，谁能在残酷的市场竞争中脱颖而出，仍需要时间给出答案。
; O. }8 w; Y/ W
8 v: D: D- h+ ` H, n6 Q
! f& |( }8 K0 o( u0 b, P) |. u3 b, T: l1 k; c4 i/ k4 c/ u" J
公司简介www.chinaflashmarket.com 中国闪存市场致力于为客户提供最新资讯、产品报价、数据汇集、产业分析、专题报道，以及最专业的存储产业咨询服务。
9 i5 l) W; c$ f2 I8 s' y$ f邮箱：Service@chinaflashmarket.com3 ~# R4 @! P! A- f$ x
4 E2 Z: [. M5 M+ h7 r( H2 e
来源：http://mp.weixin.qq.com/s?src=11×tamp=1571038204&ver=1911&signature=zuy0XCKpIOiNvC4KgtIbsrXX1olbzpItPDWqagHGQHGkS8PMg1mzVK1qk6WNVuoke98snLEBPMeX5MswpiwEXrlZU8wUOJxi7*S9VR3ONagl9AVJofj40sxSecNsA4xe&new=1* F ?* z" N1 ?# {
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！ |
|手机版|小黑屋|梦想之都-俊月星空
( 粤ICP备18056059号 )|网站地图
发表于 2019-10-14 16:03:22
