第一新声专访 | 崖山数据库的创新之路:从第一行代码开始,突围国产高端主战场
首页
ꄲ
新闻
ꄲ
第一新声专访 | 崖山数据库的创新之路:从第一行代码开始,突围国产高端主战场
作者/杨帆
校对/竹心、Tina
策划/Eason
20世纪80年代,数据库技术在中国萌芽。彼时,首批“拓荒者们”只能通过模仿,摸着石头过河。之后,中国数据库走过了风风雨雨的40年,一次次的技术革新推动行业走向了蓬勃发展。将时针拉到今天,自主创新、国产化已成为不可逆的潮流,国产数据库厂商也开始从“追随者”转变为“创新者”。
但质疑也伴随而来,“国产数据库到底行不行?”“国产数据库是伪命题”“是创新还是魔改?”
第一新声注意到,近年来国内涌现了大批数据库厂商,这当中崖山数据库是独特的存在。因为与大多数基于开源做数据库的厂商不同,崖山数据库选择从第一行代码开始去亲手构建完整的数据库,内核代码自主率100%。
崖山数据库面世短短几年就冲刺“塔尖技术”,推出共享集群产品。去年9月,YashanDB V23.1版本,包含共享集群产品正式推出世;今年9月份,崖山发布了全新的23.3 版本,共享集群开始具备成熟应用能力,支持大规模商用,同时数据库云服务、软硬一体化产品全面推出,并在官网向行业全面开放下载。
目前,崖山产品已迅速进入核心应用场景,拿下了银行、证券、基金、政务、国央企等关键行业项目,在数据库自主替代和建设中成为最有潜力“挑战者”之一。崖山之所以能在数据库这条赛道杀出重围,得益于团队成立之初,就确定了核心替换的定位和100%全栈自研的坚持。
在数据库走到大规模应用阶段,崖山的产品、商业化能力、渠道体系、生态体系和服务体系已经得到充分验证,尤其在规模化成本效应下,1:1平替能力更筑高了崖山的优势壁垒。
大数据技术标准推进委员会今年7月发布的《数据库发展研究报告(2024年)》指出,在新一轮人工智能浪潮驱动下,全球数据库产业变革不断,多强竞争格局逐步形成。与此同时,得益于国家战略引领,我国数据库产业进入蓬勃发展期和关键应用期。预计到2028年,中国数据库市场总规模将达到930.29亿元,市场年复合增长率(CAGR)为12.23%。
虽然技术革命推动数据库行业不断向前演进,但目前的国产数据库仍犹如行驶在风浪中的小舟。毕竟在中国数据库行业萌芽初期,国外已经诞生了诸如 Oracle、DB2、SQLServer等商业化程度极高的产品和 MySQL、PostgreSQL 等开源产品。但直至今天,国产数据库仍然在技术、生态建设等方面与国外存在明显差距。
在此背景下,国产替代面临的挑战不言而喻。在崖山看来,定位极为关键,深算院首席产品官、崖山科技副总裁王南告诉第一新声,团队成立之初就定位于核心场景,目标是打造一个具有根技术的全自研国产数据库,具备全面替代 Oracle 的能力,真正从核心应用层面进行国产替代。
据2022年9月国资委79号文件,截至2027年“2+8+N”党政与八大行业完成100%国产替代,替换范围涵盖芯片、基础软件、操作系统、中间件等领域。根据第一新声调研,目前党政领域的数据库国产替代率高达80%,并开始逐步向八大行业稳步渗透。
不过,由于八大行业对核心业务更为谨慎,因此相关领域的国产替换是从非核心、次核心系统开始,呈现由外向内突破的态势。但实际上核心系统的国产替换更为艰难,“最硬的骨头”还没啃下来,所以到目前为止八大行业的国产化进程都较为缓慢。
根据第一新声调研及不完全统计结果,目前金融行业非核心系统替换处于40%左右,我国整体银行业国产数据库替代约为20%,国外数据库在银行核心系统的占比仍在80%以上。能源行业国产数据库替代不足15%,医疗、制造、教育等多个行业还不足5%。
“核心场景非常复杂,金融、运营商的核心场景,基本上被国外老牌的商业数据库巨头所垄断。”王南认为,业务系统替代大体分为外围和核心两大类场景,前者已经走到规模化替换阶段,但后者还有相当大一部分尚未完成国产化改造。
“而且,实际上大部分数据库一开始并非面向核心场景,其实市场已经为崖山做了筛选。可以这么理解,如果能够搞定最复杂的场景,那么搞定简单场景就不是问题,相反就不一定了。崖山就是一开始就面向核心场景,同样我们也建议客户从核心场景入手。”
当然,过程中自然不可避免地会面临很多挑战和困难。首先是技术层面,核心场景的关键诉求能否满足?整个团队在技术、内核的创新发展层面是否有足够的经验?有无一个能应对上述问题的核心团队?其次,大家都把数据库形容为重工业,这意味着需要大量的投入,金钱、时间、资源等等,弹药充足、装备精良,才能打好这场“硬仗”。崖山,看起来是充满信心的。
直到今天,关于“国产数据库真的能替代Oracle吗?”这一问题仍然被持续热议,单从厂商角度分析,国产数据库厂商的研发和代码自主化程度仍被市场诟病。
行业发展至今,唯有扎实的原创理论积累、有能力自主构建系统的研发团队、征服客户的产品才是国产数据库厂商发展的根基。
崖山团队成立于2019年,彼时,大多数国产数据库产品是基于开源数据库做二次开发,崖山团队经过科学的论证分析,结合核心业务系统的需求,选择从零开始构建,主要基于以下考虑:首先,开源架构受限于其技术路线,很难满足核心系统对高性能、数据强一致等核心诉求,基于开源改良的产品并不是解决我国安全可控的可行技术路线;其次,基于开源数据库改造也是一项复杂性极高的工程,不深入掌握技术发展的方向,难以向用户提供持续进化的产品,满足行业应用不断升级的需求。
王南向第一新声表示,“我们的产品是从第一行代码开始写,底层技术是自主的,服务支持是可控的,交付给客户的是一套完全自主可控的解决方案,让客户的国产化转型升级之路更有信心。”
首先是底层技术自主可控。经过权威机构的测试,YashanDB代码自主率100%,并且在经典数据库理论基础上实现了诸多原创理论的突破,如有界计算、近似计算、异步并行执行、跨模计算等,在面向海量数据的处理、大并发事务处理,以及不同模态数据的混合查询等不同场景时都具备领先优势。
其次是产品层面自主可控。YashanDB基于统一内核、打造不同产品形态,适用于不同的业务场景。崖山在自研内核的基础上全面加强企业级产品化能力,推出了全栈数据库产品,具备多部署架构、多存储引擎、多计算引擎、多版本发行多种能力。同时,在高兼容方面,崖山采取“两大两小”的兼容机制,对Oracle、MySQL,崖山提供了比较全面的兼容能力;对DB2和SQL Server,在金融、医疗等应用广泛领域也进行了兼容支持。
另一方面,崖山主张从数据库层面去解决问题,采取的是“应用优先”策略。具体而言,就是在数据库内核架构设计之初就充分考虑了向核心场景的演进,最大程度减少应用改造和适配问题,把复杂问题留给数据库,把简单留给客户。
掌握自研内核,冲刺“塔尖技术”。2023年,崖山成功推出共享集群产品。据介绍,该数据库系统采用单数据库多实例架构,所有计算节点提供对等的多活计算能力,节点之间以强一致性方式实现并发读写,从而为用户提供透明多写、高可用、高性能的数据库能力。
崖山共享集群的研发采取了Cohesive Memory 和 In memory FAT两项关键技术,为实现产品的极致性能锦上添花,YashanDB 单机、2 节点 崖山共享集群、4 节点 崖山共享集群的 TPC-C 测试结果分别达到了 180W、312W 和 520W TPMC。
“这其实是一个打磨的过程,我们踩过坑,碰过雷,然后反复去雕琢,一步步走向成熟。其实就是经历问题,发现问题,然后解决问题。”王南表示。
崖山的底气从何而来?王南表示,一是拥有原创理论和核心技术,是打造更高端、更有竞争力的产品的基石;二是拥有一个不可复制的顶尖工程团队,崖山团队有过多次数据库产品从零构建的成功经历,成熟的软件工程化能力是崖山快速响应满足客户需求和持续纵深发展的一大关键。
崖山的团队在整个数据库内核领域有着大量的技术积累,经历了四到五次完整的产品构建的过程,产品也更加丰富,基于统一内核构建集中式和分布式两个形态,原生支持OLTP/OLAP/HTAP三个场景,顺应业务新需求推出崖山数据库管理系统、数据库一体机、数据库云服务以及配套迁移、运维及开发工具等。
王南说道,“未来我们会继续在内核这块保持硬核的技术创新,同时也面向市场,不断满足用户的诉求,以此构建核心技术和产品。让产品和技术来搭台,让市场和意向来唱戏。”
国产替代热潮愈演愈烈并走到规模化阶段,大规模替换的成本和经济性成为当前行业关键矛盾所在。
在此背景下,“平替”概念诞生。要知道,在数据库迁移替代工作中,能够“平替”肯定会大大节约软硬件成本、运维成本以及迁移成本等,所以不少数据库厂商提出“平替”这个概念后,得到了市场和用户的青睐。
“但我们说的‘平替’是指‘平滑替换’,是兼容性、功能、性能、高可用、运维的全面平滑替换,而不仅仅是兼容和功能的平滑替换,更不是很多人理解的‘平价替换’。这有根本的区别,因为后者很容易让客户先入为主产生低价替换的认知。”王南告诉第一新声。
在他看来,即使通过专项投入数据库替换这项大工程的难度也极大,一是用户的业务系统和应用场景的体量很大,二是如果数据库的兼容不好,数据库就需要改造甚至重写,这部分的成本投入不管对客户还是服务厂商来说,都有极大压力。
“举个例子,客户原来使用Oracle时,只需要两台或四台机器即可满足诉求,但替换国产数据库之后,可能就需要十台甚至更多,这意味着用户在软件和硬件购买成本这块,可能并不会比原来低。”
王南告诉第一新声,“数据库本身是一个生命周期非常长的产品,用户购买之后需要更新换代,同时还要进行长时间的运营,不管是通过第三方,抑或是自建团队运营,都需要投入大量成本。”
“数据库应该成为所有人都买得起、开得起的通用小汽车,而不是专供小部分人群体验的超跑。”王南认为,国产数据库替代更多还是国有大行等大企业先行尝试,中小企业还不敢贸然在核心系统替换上迈出太大的步子。只有规模平替,才能让中小企业在高端场景也用得起、用得上、用得好数据库。
针对成本痛点,崖山主要从两个方向考虑,一是产品的可复制性,另一个是市场层面去找出一条低成本的、可规模复制的通路,这当中包括选型、决策和应用等,最终也依赖崖山整个合作伙伴体系。
产品上,崖山共享集群产品的目标和定位非常清晰,即完全平替Oracle,实现1:1平替。
首先,在架构层面,崖山共享集群采用了自研的技术路线,除了自研事务引擎设计、MVCC、表索引存储等内核技术,同时原创了聚合内存技术、集群文件系统、集群管理服务等共享集群关键技术,实现了与Oracle RAC的架构对等设计;其次,在基础设施层面,崖山共享集群实现了裸机、容器、虚机、云基础设施及主流国产处理器/服务器/存储的全面支持,同时相对于Oracle进行了重大优化,去除了对存储的依赖。
在应用层面,崖山共享集群为高端核心业务提供应用透明、高可用、高性能的数据库能力。具体来看,崖山共享集群产品提供面向应用无状态的计算扩展能力,透明多写多读,像使用集中式一样简单方便;高可用能力方面,RPO为 0,能够确保故障切换不丢数据,故障恢复时间RTO小于10 秒;同时,替换过程业务不中断、上层应用无改造,完全满足核心系统对高可用的要求。反观之,部分客户试点项目实践证明,基于分布式架构的数据库解决方案需要进行大量的应用层、甚至数据模型层改造才能满足金融等核心业务的需求。
把复杂留给自己,把简单留给客户。在数据库自主化建设和改造中,崖山不仅聚焦于如何为增量系统提供数据管理建设方案,也充分考虑用户未来大规模存量系统的改造,全方位考虑用户当下的兼容和未来的升级。
据悉,崖山目前已经应用在金融、运营商等国计民生领域中。比如,基于数字人民币的应用场景,崖山与中国人民银行数字货币研究所展开了以崖山数据库为底座的金融级数据解决方案。通过长达三个月、数十万次高强度故障测试,崖山数据库系统持续运行平稳、数据零出错,在功能、性能、高可用、易用性、安全、生态等全面满足数字人民币场景对数据库的潜在苛刻需求。
再比如在公共事业领域,崖山助力深圳燃气集团系统内的国外商业数据库和开源数据库进行替换。采用崖山数据库方案,系统硬件成本节省超过50%,高峰期CPU平均使用率由70%降低至50%以下,总体TCO成本节省40%,高效支撑了深圳燃气集团的数据化处理能力,还有效推动了集团的国产化升级改造,为近2000万家庭及企业用户提供优质高效的服务。
在核心场景拥有了多个标杆案例,崖山正将成功经验复制到其他行业和领域。近两年,崖山已经成功构建完整的市场和服务体系,基本完成了面向全国的各行业、各区域的覆盖,包括金融、政务、能源、交通、医疗等。
“产品要服务于市场,市场要反馈回产品本身。”王南表示,“崖山会聚焦各行业里从0到1的第一个场景,聚焦重点行业的重点场景和重点客户,形成面向各行业场景的可复制的标杆案例。我们希望通过成功的标杆案例,同合作伙伴一起去完成规模化复制,融合产业链上的所有合作伙伴的力量,打造一个开放、共享生态。”
那么,企业用户应该如何选择一款合适的数据库?实际上,对于数据库选型目前市场已经形成了一套比较科学、完整的方法论。
“真正的问题在于,目前市场诉求和发展节奏与整个行业的产品以及技术发展完全不匹配,不是客户选择能力不足,而是没有足够好的产品供客户选择。”王南认为,好的产品、诚信和真诚的态度终会打动市场和用户。
国内数据库的路依然任重道远。彼时需要整个行业修炼内功,只有真正做好产品和技术,才有可能应对未来市场的变化和发展。“崖山始终坚持初心,技术上完全自主创新和自主研发是我们的首要原则,同时我们也坚持面向核心,实现规模平替,面向未来的创新需求,崖山的理论技术积累将是实现超越的底气。”