|
# T% A" U9 v% r3 j8 o' z; _8 K8 q% Q
6 z0 S& e) ], G1 d/ k" p6 U$ \
4 k: o& b* k. F4 \6 J数据库,成为率先突围的关键技术。" Q3 t4 ?0 D, _% p4 L o2 i9 \, q
文 | 华商韬略 熊剑辉 p# D0 c$ l9 c/ H3 ^' X
2023年“两会”期间,最新组建的“国家数据局”,引发了人们的特别关注。5 C* K$ `9 J; ]' a: A
有人认为,它的成立意味着“数字中国”将进入快车道;更有人认定,以数据库技术为核心的数据安全领域,有望迎来“大提速”。# j. \5 o3 z0 v3 G/ C
显然,中国数据库正迈出“关键一步”。1 Y4 y W, O9 Z- v2 {9 H* j
【从集中式到分布式 数据库革命悄然爆发】! Y" p. r9 D8 E" _' B* T/ o Z/ @7 N
作为数字经济的“根技术”,数据库的重要性不亚于芯片。
5 P2 E3 v% u! q一切数据,都必须在数据库中奔跑。% H8 E/ `) C# M& m6 w1 t
人们每天社交、餐饮、游戏、支付、打车等日常活动,离不开各种各样的程序应用。它们的背后,都离不开数据库。2 y: f3 ~3 H; o9 S- o+ f( |
而数据库技术的诞生与发展,即便顺应了时代的召唤,也充满了斗争与艰辛。
, W" l6 I- [" m) T9 ?2 c$ `0 _0 Q- z上世纪70年代,IBM的天才研究员科德,率先提出关系型数据库的理论、模型,甚至把查询语言SQL也琢磨了出来。+ k I4 Z. m4 }7 s. D+ h% O& ?
但当时的“蓝色巨人”,沉浸在大型计算机巨大的商业成功里,对数据库软件兴趣寥寥。) r6 T& r) D% [9 z8 D
结果,“硅谷大忽悠”拉里·埃里森,抓住了逆天改命的机会。! D0 S4 e9 @1 r/ n8 J# R
$ e& M; f; x& E0 |+ ~8 l
& R0 h+ x% f1 B0 q6 |& q
+ Q) _4 W) l" v/ y( @+ p# J
他认真研究了科德的论文,觉得极富商业价值,并在1977年创立了数据库公司甲骨文(Oracle)。早期的Oracle相当不靠谱,但在埃里森的巧舌如簧下,美国海军、中情局、国家航天局等一帮“冤大头”,依然为Oracle买了单。
( T) T" J3 u: k D2 P+ n9 s
9 _: X0 z2 y( a▲1977年中国第一届数据库年会
; `) L4 i: x, N+ e% g" u- H! ]: Y4 p% J8 T- _0 h
彼时,神州大地万物复苏,中国计算机学会敏锐把握到了科技的脉搏,在黄山召开了第一届数据库年会。
2 z* |5 S! C3 A- L9 K5 S可惜的是,这个时代中国的数据库技术,始终囿于高校和科研机构里。
; N0 X* j' w* @3 z/ t/ J( f2 Q但拿到“第一桶金”的甲骨文,很快走上了正轨。* X0 Z& L# k, S: e' t# N8 {) B% R" F
80年代,美国数据库市场迎来井喷,甲骨文的Oracle、IBM的DB2、微软的SQLServer等,如雨后春笋般冒了出来。
8 V5 p1 m4 T5 g& N; `产业的风口,让甲骨文迎来了发展的春天。它不但创造了连续12 年销售翻番的奇迹,成长为全球第二大软件公司;连埃里森本人也一度问鼎“硅谷首富”,与比尔·盖茨不相伯仲。
6 A2 i7 z4 G" y& D2 G4 h9 @- u* o不过1996年,诞生在瑞典的免费数据库MySQL,给巨头们带来了一丝挑战。但在霸主甲骨文坚持不懈的猎杀下,2009年MySQL也臣服在甲骨文麾下。2 R3 U* }0 h3 i6 k
美国的数据库产业在高歌猛进,中国的数据库技术却尘封在象牙塔里。结果90年代,当甲骨文们来到中国,基本是大杀四方的状态。5 t* T s9 M" P' X) V( m
1995年,邮电部提出“九七工程”,使得国内第一批数据库企业有了发展的土壤,在少数大学和国家机关得到应用。
- {- `9 j( V7 O7 H$ I0 S但最终,还是甲骨文乘着工程的东风,接连拿下东北邮电、中国电信等超级大单。, R3 z+ ~6 `; P2 l( M/ I( t) w% T
至此,中国的金融、电信、航空等领域,逐渐被“IOE”(即IBM的小型机、Oracle的数据库、EMC的存储设备)横扫。3 Q% y9 ~; N4 l
据全国人大代表、合肥工业大学应用数学所所长檀结庆调研统计,2020年之前,甲骨文、IBM、微软等巨头把持了87.7%的全球份额,处于绝对垄断地位。
' `$ ]7 N) w0 U" P' V/ S' ~关系型数据库统治全球40余年,成就了甲骨文们的黄金时代。, N5 s% G% ?9 o1 Y' K$ x
1 r6 Q+ q7 @. @1 d2 n3 Y
A/ {- A& H/ \" O: l. d
& s$ y* U" j* ]/ G$ g8 ]; Z) ~; \但2008年,时代的洪流突然急转,NoSQL(非关系型数据库)诞生了。
1 i4 x8 |+ g" d# h$ N% F: [0 Y驱动这场变革的,是亚马逊、阿里等互联网电商的崛起。
- d, }$ q. J& X/ D. E: g# F2009年,淘宝跃升为Oracle全球居前的超级应用集群。但集群的CPU跑得冒了烟,依然抵挡不住“双十一”的超级洪流。1 U0 G: p: `: |6 V
与此同时,通信技术不断向3G、4G、5G演进,让图片、语音、视频等非结构化数据,呈现指数级规模的暴涨。7 T3 d8 V% q6 K* R' u. o) |
战无不胜的Oracle,怎么就扛不住了?这来自于关系型数据库和非关系型数据库的区别。. z: t( u! O- K) q$ y- a
我们可以把关系型数据库,看成一家“火锅店”。在Oracle支持下,它每天能招待1000位客人,很不错了。, m$ b8 O5 P, A U X5 v2 X. Q
但现在,店里突然涌进了1000万客人。他们不但要吃火锅,还要泡温泉、做美甲、放烟花、坐过山车…… m! {# g' f. ?7 C+ p% O7 B
在天量的、爆发式增长的非结构化数据面前,传统的关系型数据库的天花板被冲破了。" Q: l& m; T' H ]
“火锅店”,必须升级成云端的超级“游乐场”。7 x; B3 c5 [2 s3 v2 `+ ~! Y8 `
于是,一场由关系型向非关系型、由集中式向分布式转型的数据库革命,爆发了!' V+ D& \" l2 L1 i; w0 K. ^8 G
在分布式数据库的世界里,数据库不会再集中于单机或一地,而会将查询、存储、事务管理等核心功能,扩展到多机或多地。
7 g* y V/ V' L; X2 o+ Q! i于是,200万人在A区吃火锅,300万人在B区泡温泉,400万人在C区做美甲……
3 y7 n* |& J6 p2 j另外,云计算还能通过存算分离、弹性分配等手段,打破资源瓶颈,让分布式数据库自由伸缩、无限扩展。' r$ f# }# G5 a- S0 e1 \2 L
也就是说,哪怕“游乐场”突然闯进1亿人,分布式数据库“遇强更强”,照样能铺开。$ B& U: v- o, ]; d7 G
这是传统的关系型数据库,根本无法比拟的。; k. X, H8 p: x* H; @; A+ H/ H
因此在Gartner看来,云化、分布式数据库将主导未来,引领数据库技术的新趋势。预计2023年,75%的数据库会运行在云端;2024 年,全球数据库市场规模突破千亿美元,分布式数据库将成为最主要的市场增量。
% s* m7 V# C0 c' ~; ~ }8 r如今,再造一个Oracle,做不到也没必要。云化、分布式数据库,成为中国数据库“换道超车”的唯一机会。' b+ r3 P5 d; M/ ~. q
【率先破局的关键技术 造就数据库断代史】
- B9 S& a( ]" k4 @机会永远属于敢于破局的人。- W2 `, p3 Q0 A
2022年4月,中国邮政储蓄银行(以下简称“邮储银行”)的新一代个人业务分布式核心系统成功上线。
, ~9 S _, w5 P& F这一出手,就建成了全球最大的银行分布式新核心系统。其中,华为云GaussDB功不可没。; ]4 l) S" r5 Q" K x% E, s
众所周知,核心系统是银行的“大脑”和“心脏”,不但承担至关重要的任务,而且在亿万次存储、计算中不容丝毫闪失。* |8 _- E/ ]" o# L6 S+ {' `
以往,这是只有Oracle才能染指的“禁区”。- r% L+ V q; T; A, m& s
邮储银行的老核心系统,使用的正是关系型、集中式Oracle数据库。但伴随金融服务在线化,交易频次越来越高,容量瓶颈、性能支撑、业务负载的挑战越来越大。一旦碰到交易高峰,系统资源缺乏弹性,拥堵成了家常便饭,严重影响用户体验。
1 E% X# @, Q+ y% v, |5 Z( }如今,以华为云GaussDB等为代表的中国分布式数据库打破了这个“铁律”。2 N& ?- C8 f6 f5 U0 S2 F9 a1 c
新系统上线后,邮储银行一举实现日均20亿笔、峰值6.7万笔/秒的超强交易处理能力。即便面对6.5亿客户、4万多个网点的数据冲击,依然游刃有余。' T1 Q* p& p7 d# [5 T, H2 d+ X
全天联机平均耗时从93毫秒减少到65毫秒,批处理时间从4.5小时缩短到3小时,较老核心系统提升30%以上性能。
$ x; J5 a+ A4 @) a, K9 }, N2022年三季度,邮储银行迎来结息大考。过去耗时140分钟的任务,新核心系统仅用25分钟完成,性能、效率大幅提升,充分验证了中国数据库在安全可控上的承载能力。$ x# D5 e) j+ w% S! j
实际上,在海量数据、任务并发的情况下,要实现数据处理“不出错”,是一件非常非常困难的事情。 Q# V- ~) s+ ]; g( D2 {( \
这就像在1000万人涌动的“游乐场”里,要求游客不踩掉鞋、不走丢人、不传错菜。
6 G e1 h8 { n2 u# ~听起来,这是一个几乎不可能完成的任务。. N( x- i; t; `
但在银行、电信、电力、航空等系统中,就是苛求“不出错”、“稳定压倒一切”。
, d( O3 A+ f; @5 |2 Q华为云GaussDB做到了。
- l. d8 g7 ` y, C; N4 a( ?
8 u, v8 D% l0 G, J; J% P" i' P
1 _2 e6 u5 N6 n. Y$ A
; p9 J8 D. E- A& N* t2022年,中国首个数据库行业最高安全认证-国际CC EAL4+,花落GaussDB;同年,高分通过北京国家金融科技认证中心的“分布式数据库金融标准验证”测试。/ O+ O3 ]& Z- V( H( ?) G& {( j
与此同时,GaussDB再次通过中国信通院防篡改、智能化、分布式事务基础能力三大专项严苛评测。
" J9 M& Q! S/ m/ |' H9 `所谓防篡改,就是在极端情况下,数据库依然要具备识别风险、防止篡改、备份还原的能力。
9 z5 D2 ^0 q; p$ ]7 c% d; `所谓智能化,就是数据库不但要提供智能运维,而且通过趋势预测算法,帮管理者智能决策、推理预警,让系统更加安全可靠。
! {0 ]1 C$ k k& M$ X6 N* ?' F' O所谓分布式事务型数据库基础能力,就是一旦出现大规模数据需求,数据库要能迅速反应,就近调集分布式的CPU、内存、存储等系统资源,高效处理海量数据的能力。$ m1 i) {- h; {5 `. P, x/ \, ~
如此强悍实力的背后,则是华为云GaussDB在全球范围内累计获得的700多件专利,在提供有力的支撑。) Q* o5 |) I$ H# E& z& W
即便在数据库综合要求最严苛的金融业,GaussDB在包括工商银行、邮储银行、建设银行、华夏银行等规模落地,以及拥有永安保险、甘肃医保、一汽集团等重点行业客户。
2 @: O$ I& O) i. m% n/ w华为云GaussDB的崛起,同步带动了中国自研数据库影响力的提升。
4 \; n6 l* s# ?5 m4 WIDC发布的《2021年上半年中国关系型数据库软件市场跟踪报告》显示,在传统部署模式市场中,华为、阿里、达梦、人大金仓的市占率,分别为14.7%、5.7%、5.7%、5.0%。
2 s% e) O. z" t( y7 _& P9 ^( [1 q* D0 v! ~$ V0 x% `
6 L$ c5 _9 P/ |3 C2 P
2 ]4 \* P. Y0 v! S. Y在IDC最新发布的《2022年上半年中国关系型数据库软件市场跟踪报告》中,在本地部署模式市场中,华为云数据库凭借GaussDB以16.59%的份额排名国内第一。自2020H1以来,GaussDB已经连续五次蝉联第一,在国内关系型数据库市场持续领跑。2 ~/ S$ n8 B( k( r4 c+ K# [0 k6 `
今天,中国的分布式数据库正趋于成熟,获得市场认可。只要假以时日,就有望在时代的大潮中崛起。/ y% N3 D2 k9 p
【积于跬步,方能行至千里】& a# {; `0 t% b5 V& s
数字时代的蓬勃发展,也将中国的分布式数据库不断推向前台。
) w ]) L( N) b) f: j5 }IDC数据显示,全球每年的数据量呈现爆发式增长,预计从2018年的33ZB增至2025年的175ZB。
1 y+ h) k9 s4 H x4 z& F9 R: _& f中国的数据量增速更领跑全球,预计从2018 年的7.6ZB猛增至2025年的48.6ZB。
# ?( y( \* b5 _" G数据的计算载体,早就从大型机、小型机、PC,演变成云、边、端的联网计算,高并发、低时延的交互计算。
7 m2 ]: _& }8 Z0 t面对这样的未来,华为云GaussDB早有准备。. y1 E5 G& I( s( _5 O
比如,大部分云数据库,只能在数据的传输态、存储态中进行加密。 y* `: ?7 ^: w& b- S6 _
而华为云GaussDB却实现在内存中的运算态加密,从而成为业界第一款纯软全密态的数据库,实现了对数据全生命周期的完整保护。
/ v7 u. `3 p; O2 W3 d; V
1 s" T- X! \" Y9 B9 w
C, T* b5 e8 t/ I- t7 ^; N% d! O# a7 |7 m
另外,在原生分布式数据库领域,中国数据库也更顺应企业的诉求和发展的趋势。
4 c( `1 K1 c9 P, {; y5 i比如有的互联网企业,坐拥海量数据,极易患上数据库性能不足“恐惧症”。! @7 b5 D9 r1 Z& m- E
但华为云GaussDB,直接打通了软硬件“任督二脉”,将数据库性能发挥到极致。
$ U# p1 E' ]2 i0 A- N+ u* [硬件上,GaussDB拥有鲲鹏处理器的多线程、原子指令、SCM的字节寻址持久化等能力;软件上,又实现了动态编译、SQL By Pass等。, r, W& d* @5 U( Q2 p {
于是,基于鲲鹏两路服务器,GaussDB 32节点处理能力达到了惊人的1500万tpmC(即每分钟系统处理新订单个数),百亿数据量查询“秒级响应”。
: \2 F" N+ M0 k4 u; u有的企业,依然对数据迁移心存顾虑,担心到最后才发现数据库不合适。$ V, w# B; ~( I% W1 x; D/ q& P
对此,GaussDB开发出一系列强悍的迁移工具。如数据库迁移工具UGO,实现了异构数据库对象和应用迁移,语法转化率达90%以上;数据在线迁移工具DRS,可实现数据的在线迁移、数据校验。& e0 r7 X( [$ _, z. ~5 r* s# ?
此外,由于是“自己人”,GaussDB完全能够为企业量身打造“数据库架构+应用+数据”一体化的迁移方案。1 u0 `* U- }/ `; Y
这才是以华为云GaussDB为代表的中国数据库真正的机遇所在。
- @5 A6 X4 b6 s6 T而伴随大国崛起,国人对中国数据库更应该抱有一种开阔、包容、自信的气度。
/ w4 r2 q* g% X( u因为历史证明,好数据库是用出来的。2 K) ?* `9 r7 X8 C" I' v& X
1978年,Oracle在美国第二次石油危机引发的“滞胀”下诞生,草创之初Bug频出、骂声一片。美国海军、CIA、NASA硬是顶着“被骗”的压力,让Oracle闯过了生死关。1 | U+ _. ?, e# m5 B, K N
此后,又经过全球用户40多年不断的实践、反馈、打磨、培训,Oracle才拥有了成熟、稳定的口碑。& l3 G9 F( [0 c* d3 j7 Q$ q
显然,中国数据库不可能一夜成熟,也必然要经历漫长打磨的过程。但只要今天播下宽容、创新的种,对襁褓中的中国数据库多采购、多使用、多呵护,明天才能收获卓越、成熟的果。
+ z! `* m0 ]* u5 a' b8 s) c, `7 F3 s积于跬步,方能行至千里。
: R7 R/ G- x- d" }2 C在新一轮科技革命的大潮中,这条漫漫长路显然才刚刚开始。. r2 q$ c! r3 T& L
欢迎关注【华商韬略】,识风云人物,读韬略传奇。
: _+ }4 x+ q: l' q版权所有,禁止私自转载
% o: Z3 ?' |4 G* J x, U部分图片来源于网络, T" M5 h3 L5 A% l, b/ O9 n
如涉及侵权,请联系删除4 {: H8 x& a7 s: u: O
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|