京东6.18大促主会场领京享红包更优惠

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 780|回复: 0

OceanBase 的长期主义

[复制链接]

1629

主题

713

回帖

7028

积分

论坛元老

积分
7028
发表于 2023-3-26 08:41:43 | 显示全部楼层 |阅读模式 来自 浙江
作为基础软件领域的三驾马车之一,数据库一直是技术开发中重要的领域,并延伸出诸多细分的类别:关系型数据库、非关系型数据库、分布式数据库、文档型数据库等等。国产数据库历经了几十年的发展,最近几年,迎来了快速发展的黄金时期。6 H2 B1 j0 {" t9 U. @2 P% K/ |% G
其中,OceanBase 起源自 2010 年,最初主要用于支撑淘宝 " 双十一 " 活动爆炸式增长的海量数据,后来随着 OceanBase 不断地自研优化和增强,自此开启了发展的 " 狂飙 " 之路:9 S, W( U0 A8 t: q4 J7 m' W- E
从 2010 年用来扛住淘宝 " 双十一 " 峰值流量的分布式存储系统,到 100% 承载支付宝上所有核心交易的核心链路,再到 2017 年正式对外商用,与多家金融客户正式合作;从 2019 年 TPC-C 测试打破世界纪录,到 2020 年独立商业化,再到 2021 年的开源开放;从 2016 年支持分布式事务的 1.0 版本,到 2022 年成为业内首个单机分布式一体化数据库的 4.0 版本……终于,在今天迎来了 2023 年 OceanBase 的首次开发者大会。: ?; R3 O( |- u$ m! g% n
( ~+ U/ a; N+ T( A8 r

$ L7 g( n) K/ n# o  r
: s4 V) y- R0 I' ~2 e: n3 月 25 日,OceanBase 开发者大会 · 2023 在北京举办,与开发者共同探讨单机分布式、云原生、HTAP 等数据库前沿趋势,分享全新的产品 RoadMap、交流场景探索和最佳实践,现场更有互动展区等开发者专属环节。同时,作为完全自研的国产开源数据库,OceanBase 的议程内容干货满满,设置了 " 场景与最佳实践专场 "、" 开源生态专场 "、" 数据管理与服务专场 ",以及可以动手体验的 workshop 供开发者学习和参与。
% a: G" D4 k/ e# x9 q: o值得一提的是,OceanBase 开源技术全景生态在大会上首次亮相,重磅推出的OceanBase 4.1 版本增加了旁路导入、租户级别物理备库、MySQL 8.0 兼容等多项开发者利好的能力,小规格环境 TP 性能 sysnbench 综合读写能力相比 4.0 提升 40%,TPC-H 100G 场景性能比 4.0 提升 17%,TPC-DS 100G 场景性能比 4.0 提升 15%。不仅揭晓其从 0 到 1 的全面进展,还带来了 180 个生态工具与开发者见面,全面赋能开发者,是一场为开发者准备的数据库技术盛会。
# Z1 _2 J' u* q% Z$ Y. \  C& ]  G因此,CSDN 特别专访了OceanBase CTO 杨传辉、OceanBase 首席架构师杨志丰,作为数据库领域钻研多年的老兵和实践者,听听 OceanBase 对数据库发展与开发者生态的最新理解。/ l. m/ Q, N$ ?+ N# u6 {
对开发者友好的 OceanBase
+ o# A% B2 N" a离不开四大重要方向# A$ s8 V/ {+ x* b& H; [0 c
首先想问下正在看文章的你,作为开发者,你最喜欢什么样的数据库?% B; S/ Q3 a! q0 M! e' K
你的回答可能是 " 既要又要还要 ":数据库要功能强大、又要简单好用、还有可扩展性、当然最重要的稳定性,最好还得要兼容性……& u4 C4 u7 E9 t* D- ^
如何满足这些诉求?OceanBase 正在打造对开发者友好的数据库。自 2021 年 6 月正式开源以来,在不到两年的时间里,OceanBase 社区用户超 33000 名,截至发稿,收获全球超过 5300 位开发者关注,有 199 位代码贡献者进行代码贡献,追上了国外主流社区顶级项目数年的社区活跃度。
" q, N% ?/ X& P7 G7 x: e; g
& A3 x9 V, F& K* v$ J1 P! l3 u" f+ K" B/ E: g8 }7 O) A3 H0 @
% r: T* g* f/ A
为什么 OceanBase 深受开发者青睐?在 CSDN 看来,OceanBase 已具备大家 " 既要又要还要 " 的一些特性:
7 s, t9 q, M! H. \* z一是稳定可靠。很多开发者有过凌晨爬起来处理过故障的经历,因此稳定可靠是数据库对开发者友好的首要条件。
) w, M2 }: `, q; J目前,OceanBase 已连续 10 年稳定支撑双 11,杨传辉说 "OceanBase 从来没有出现过一次重大的生产故障。"
# ~8 O8 X/ }" Y% b, a/ Q为什么 OceanBase 这么牛?离不开这三大稳定秘诀:支付宝业务将数据库分成状态库和流水库;保持数据一致性,做到 " 应校尽校 ",即不管针对多个父本之间的数据一致性,还是每次事故的并发操作或读写磁盘都做校验;通过混沌工程来保证稳定性,断网演练或直接拔网线,并持续备份恢复,OceanBase 可以做到备份恢复成功率 100%。# z0 l0 ]# _0 q2 r2 W
二是高性能、低门槛。去年 8 月,OceanBase 4.0 版本推出单机分布式一体化架构,打破了分布式技术的不可能,既可以像单机数据库一样使用,又拥有分布式数据库无限水平扩展的能力,更兼具高性能。同等硬件条件下,单机分布式一体架构的性能通过评测,超越了 MySQL 8.0。
( e* X3 _, A8 H" T- @* D8 ^单机分布式一体化架构大幅度降低开发者的使用门槛,OceanBase 单机部署最小支持 4 核 8G,目前 OceanBase 可运行在世界最小的电脑树莓派开发板上。而且,单机部署同样具备分布式数据库所具备的完整功能。
# X& [1 i+ b2 d" S  T% k% m- f/ s3 O三是功能强大。OceanBase 攻坚 HTAP 能力,让一份数据既能做交易又能做分析,实现低延时、低成本。. }2 U, p$ v, \/ j! r) F7 J. c. L! c
四是符合技术趋势发展。OceanBase 不仅是云原生,还是多云原生,能部署在多云平台,对用户提供完全一致的使用体验。. Q3 L2 p) c2 m4 C
除了以上这些,作为开发者最关心的性价比,OceanBase 也十分友好:在同等性能的前提下,相比云上 MySQL 8.0,OceanBase 可帮助用户降低 18.57% 至 42.05% 的整体成本。例如,菲律宾版支付宝 GCash,原来使用的是 MySQL,成本高,管理复杂。迁移到 OceanBase HTAP 分布式数据库后,整合所有 MySQL 到一套系统里面集中化管理,整体资源成本下降 40%,存储空间下降 70%。- T+ W) z; w$ L' ?$ |; a: J
杨传辉在大会现场说,"OceanBase 将持续降低开发者使用门槛,全面提升 OceanBase 的易用性,打造真正对开发者友好的数据库,建设开放的技术生态,让国产数据库走向田间地头。"
. L. D+ S5 A% c: |* ]$ c' c不仅如此,OceanBase 作为一款对开发者友好的数据库,不断倾听用户需求,持续保持迭代创新,本次在大会上推出的 OceanBase 4.1 便是最好的例子。) i/ H: w2 o8 q8 V$ `) [
OceanBase 4.19 q! x/ T! ]  g. ^) Y
为开发者的研发与 DBA 痛点而生* P9 \  `  r- L3 i& x$ S* n) W
在分布式数据库面世之前,传统单机数据库是业界主流选择,但随着技术与应用场景的发展和诉求,传统单机数据库面临着高可用问题、数据一致性问题、容量 / 性能扩展和结构变更问题、HTAP 问题和容灾能力不足等问题,成了开发者们难以言喻的 " 痛 "。
0 b& H% v( [* \+ o2022 年,OceanBase 发布的 OceanBase 4.0,在分布式数据库的基础上引入了一体化结构创新理念,让分布式数据库也支持单机场景,并且保持性能和兼容性,打破了分布式数据库智能支持大企业、大体量数据的思维定式,规模化地支持大中小企业对数据库各种需求,同时还能很好地适配在云环境中,大大扩展了分布式数据库的场景和可能性。! b$ y5 v: k+ U2 P4 v
而在 2023 年 OceanBase 开发者大会上,OceanBase 4.1 版本正式发布,这是一个基于 OceanBase 4.0 架构的延伸和增强。4.1 版本在 4.0 版本的基础上大幅提升性能,从开发者的角度出发设计了一系列提升性能和效率的能力。因为 4.0 版本的全新架构固然为企业使用数据库带来更广阔的可能性,但在新的架构变化下,也增加了开发者们各种功能和适配上的工作。例如:
  Q# @3 e4 I% L
2 ?/ i: |2 {( U1 a) P; N& i1 v0 v. G9 {6 O  H) {& ?4 _

- E) ]! O9 S( m; S$ L- O0 O8 _$ S场景性能持续提升
/ P" `* M% W/ U通常,数据库读写是系统的主要瓶颈,也是优化收益最高的部分。OceanBase 4.1 版本解决了开发者最关心的综合读写能力,在写入性能、查询优化、索引优化、存储 / 配置优化等等全方位的性能提升,增强优化了事务处理性能与复杂分析场景的性能持续能力;同时 AP 能力也得到了增强,优化了资源隔离能力,对存储层 I/O 多租户间的强隔离和快速导入。
" v# k4 Z5 c& [  `5 M& O5 L轻量化部署,门槛更低
& I8 m( b) f, E, VOceanBase 4.1 在保持性能和稳定性以外,也大大降低了开发者使用分布式数据库的门槛,以及中小企业部署 OceanBase 的难度。过去提起分布式数据库,许多开发者第一反应就是 " 重 ",而 OceanBase 4.1 版本只需要 2 分钟便可以快速安装部署;在主备库方面达到更细粒度、更灵活的租户级备库能力;还有白屏化部署分布式集群、OCP Express 最小资源管理进行集群监控管理,以及可支持复杂场景下的全链路追踪诊断能力,从应用追踪到数据库内部的增强,大大减低了部署难度,部署更轻松。5 [& p0 z3 e+ ]( r2 Q
开发者易用性更强
* b' k4 |- r7 d5 ]% F: c基于 OceanBase 4.1 单机分布式一体化架构,DDL 功能(Data Definition Language,数据库模式定义语言 DDL)也得到了多方位的增强,尤其是对 MySQL 8.0 功能性的兼容,新增了几十个系统函数和各种模式下的行为的兼容,使 OceanBase 4.1 易用性更强。
/ F% L' L( p, f9 w9 O0 d) ~/ {* yOceanBase 在提高易用性方面做了许多努力。比如 DBA 的易用性上主要增强了诊断能力,让应用于生产的数据库能够及时观察和诊断到产品的组件化和内部问题,在研发时特意长时间运行 SQL 观测实施进度;同时," 全链路追踪 " 的特性是 OceanBase 的一大亮点,普通数据库只能追踪到数据库内部,但 OceanBase 全链路追踪可以从应用开始一直追踪到数据库内部,更重要的是,OceanBase 4.1 将所有组件全部打通,包括 OceanBase 各种语言的驱动、所有中间代理层和数据库内部协议、追踪的信息传递等等,为此,OceanBase 4.1 特意修改了 OceanBase 的通讯协议,让开发者在使用时更简单高效。' S- v+ |; d) @3 ?% j% X  C
将整体研发流程迁移至外部,统一企业版和社区版代码分支,让每一位开发者都可以看到代码进展。另外,OceanBase 还将开源三大开发者工具 ODC、OCP Express 和 MySQL binlog service,持续保持开源开放,汇聚更多开发者。
# R: i' u- Z) u4 U0 u$ W: l用产品思维
5 a; B0 c* m! B) D与开发者共建主流数据库的技术生态5 Z$ s1 g0 t/ N* d
除了产品的易用性以外,数据库的发展离不开开发者们的共建,在杨传辉看来,为了更好地提高开发者的体验,OceanBase 用产品思维去看待开发生态的运营,在场景化、开发者运营以及社区方面重点运营,汲取更多开发者提出的建议和意见,共同构建一个更符合本土化开发习惯、更低门槛、更可持续发展的开源数据库。# j% E; x' R  s
比如在开发者文档体验方面,OceanBase 结合外界反馈的问题和建议,从贴近用户视角和场景做设计,重构了 7000 多页文档。2 o! E  B3 \( d; i
不仅帮助开发者快速找到对应文档,在文档中还清楚告知其能够 " 解决什么问题 " 而不是仅仅展示 " 我是干什么的 ",以及面向开发者的研发流程重构,确保每一位开发者的可参与性,这是一个解决方案整体思路上的变化,帮助开发者将精力用于开发、创造上,而非繁琐重复的基础工作上;而且近两年 OceanBase 也不断在降低开发者的入门门槛,比如诊断能力、文档、工具等方面的优化,以及开发者的设备限制如何解决等等。
% x% Q9 U6 }# r" G! v$ l* R7 P! U另外在社区方面,OceanBase 从去年开始不断打造更多元的社区活动,除了线上的各种齐备的教程以外,还围绕产品的用法、玩法和技术解析,以线上视频、线下 Meetup 等方式与开发者近距离沟通。今年还准备了许多城市级的 Meetup,比如到成都、武汉等城市,与企业联合,让开发者们跟随 OceanBase 走进企业实地观测应用场景;在激励政策方面,除了对优质社区成员的评选以外,还有不定期的线下聚会、技术交流等玩法,目的就是为了更进一步与开发者沟通、共建社区。
+ ^, y: n( e9 i* q  @人才培养上,通过举办 OceanBase 数据库大赛等活动,推动产学研协同育人的联合教学。" I2 t' x! d3 r2 w
未来展望0 v9 b6 X& l+ Q' j9 `# p+ J" O
未来,OceanBase 将走向何方?
" j/ q5 a0 U! ^/ _4 @& D杨传辉表示,从 OceanBase 4.1 开始,OceanBase 将持续拓展 OceanBase 数据库的分析能力,朝着一体化的思路继续前进,同时加强云上能力,包括对多云更好的支持、云上不同硬件环境下发挥更高性价比、降低开发者使用的复杂度、与云上和线下的更多生态工具做对接和适配,包括应用代码、数据治理、运维管控、K8s 能力的进一步提升等方面持续发力。
; m9 L7 y' E% ~4 A7 r重点在于,所有发展都需要配合生态来做。OceanBase 希望给生态留下足够的空间,有计划地去与业内优质生态伙伴合作与适配,让更多的伙伴和开发者参与到 OceanBase 当中,共同构建和治理国产主流数据库,为国产数据库的繁荣生态贡献力量。( t, P2 f- X" J0 ]
实时数据分析与专业的数据仓库到底未来发展如何,杨传辉认为,未来 HTAP 和 OLAP 将会并行和共存, HTAP 是 OLAP 的延伸和 "Plus" 版。就像 OceanBase 在做高并发的 OLAP 基础上也能做单机分布式一体化,并保证性能与稳定性,在此基础上还能顺带把实时分析的场景解决掉。另外从场景的角度看,对于大企业来说,很多时候要做全公司的数据治理,所以数仓本身即使脱离了数据库的范畴,也依旧有自己独特的价值,而 HTAP 数据库更适合中小企业应用,因为不需要解决太大的数据治理问题,可以降低成本。+ Y2 X* C0 [  n) ?* `- B+ j
我们看到,在多年发展之后,现在的 OceanBase 变化确实很多,但其中不变的是 OceanBase 将坚定 HTAP 的方向,坚持 " 一个系统,一份 schema",在此基础上提高隔离性和列存支持,同时,消除系统的复杂性也是 HTAP 走向开发者的重要前提。具体产品技术角度,不变的是 OceanBase 坚持自研和落地核心业务场景,以及云上云下一致的体验,变的是从上云到多云部署的云友好和更好的性价比;不变的是核心技术完全开源,变的是更开放的协作模式和更好的易用性。
; o& _% Q2 `2 C4 i, Y1 T杨传辉表示,希望真正将 OceanBase 做成一款主流的、比肩海外主流数据库的产品,就要坚持的长期主义,这就不仅是产品的高并发与性能稳定性满足需求,更要做到让开发者喜欢用、易用,也许这就是 OceanBase 一路发展历程的原因和核心动力。
: B6 {  n8 i8 b% T3 O; c- rCSDN 将持续报道国产数据库技术发展,见证优秀的数据库崛起。也欢迎开发者关注 OceanBase 开发者大会,一起投身国产软件的开发与建设。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

帖子地址: 

梦想之都-俊月星空 优酷自频道欢迎您 http://i.youku.com/zhaojun917
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /6 下一条

QQ|手机版|小黑屋|梦想之都-俊月星空 ( 粤ICP备18056059号 )|网站地图

GMT+8, 2025-8-26 15:49 , Processed in 0.041582 second(s), 24 queries .

Powered by Mxzdjyxk! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表