YashanDB V23.1内核全面升级 核心场景再突破

首页    新闻    YashanDB V23.1内核全面升级 核心场景再突破

11月8日,YashanDB 2023发布会在线上成功举办,YashanDB的产品总监王南分享了《创新突破 使能产业》的主题演讲


   以下为演讲实录:

大家好,我是YashanDB的产品总监王南,今天非常高兴能够和大家一起分享YashanDB 2023年的新产品发布

基础软件的发展路径和方向,需要三个方向的共同努力:首先,需要坚实的理论基础。如经典的关系模型、分布式计算和事务一致性理论等;第二,是核心技术和核心人才,数据库作为软件行业的“根技术”,类似于航空航天、芯片行业等高度精密行业,对核心技术有着极其严格的要求,在面对需求不断变化的情况下,需要具备强大的适应能力和创新能力。同时,还需要大量真实业务场景的打磨,才能够促进场景在各个行业内的成熟和产品化。

在过去五年里,YashanDB从内核的开发,到发展成市场化产品,再到今天正式推出1+6产品体系,我们一步一个脚印,已经积累了136万行内核的核心代码近百家行业客户。那么 2023 年,在更多行业场景的打磨下,我们将发布哪些新的产品?一起来看一看:YashanDB for Cluster共享集群、YashanDB for Data Warehouses分布式实时数仓以及YashanDB for GIS空间数据库

 

 “三驾马车”驱动

快速打磨成熟产品体系 

YashanDB V23.1版本正式发布,我们通过算法理论、关键技术、应用场景三重驱动,快速市场化打磨,形成成熟产品体系。

首先,在理论层面,我们知道数据库是一款重计算的应用,那么也就意味着在这种多核大规模负载的场景下,对于任务的计算和调度会有极高的诉求。我们通过自适应异步并行架构事务自适应调度机制,性能提升20%到30%,吞吐量提升137%,达成算法级别的创新;YashanDB融入原创的有界计算跨模融合计算理论,实现“大数据变小”,并打破结构化数据与非结构化数据的壁垒,形成统一的融合计算能力。

其次,在关键技术层面,针对实时数据和非实时数据的融合计算、行存和列存数据的融合计算以及冷热数据的自动转换及成本优化,YashanDB V23.1提供三个核心能力——向量引擎以及SIMD技术、LSC引擎以及行列混存技术、对象存储,带来全形态效率的大幅提升和成本降低。

最后,在行业场景上,我们也在内核、工具及生态层面取得不错的进展。在内核领域,我们通过对于OCI、PL/SQL、国密包括EAL能力的完整支持,实现性能优化、低迁移成本、高可用性与安全性;在工具层面,我们通过对调试能力的加强以及自动化的迁移平台,确保数据迁移的过程更快、更安全,调优更便捷;在生态层面,随着产品成熟度和标准化的提升,我们也和第三方数据同步工具、应用开发中间件、运维管控平台等产品形成了兼容互认。

 

 

直面金融核心

聊聊“金融级高可用解决方案” 

面向金融核心场景,YashanDB for Cluster产品发布。在应用层,YashanDB for Cluster提供面向应用无状态的计算扩展能力,透明多写多读,像使用集中式一样简单方便;在计算层,我们提供相对于商业数据库150%的性能提升,同时根据业务诉求进行横向扩展,提供近似线性的扩展比;在存储层,我们基于自主研发的集群文件系统,为整个集群数据库提供最坚实的高可用存储的底座,在故障场景下秒级发现、秒级响应、秒级处理,提供极致高可用的能力。

 
金融核心系统需要提供的是解决方案级的高可用能力。因此,我们从共享集群架构、增量/全量数据备份、三方备份、同城灾备、异地多DC容灾和逻辑复制/容灾多个层面,提供了完整的金融级6层高可用解决方案。
 
 
 

 6倍数据压缩比 10倍性能提升

 助力实时数仓场景降本增效

面向实时数仓场景,YashanDB for Data Warehouse 产品发布。与传统的OLAP数仓在内核上有很大的不同——YashanDB在原有的 MPP 并行计算的基础上,增加了冷/热数据、静态/动态数据的融合计算能力,为用户提供一致的 SQL 能力,并且用户可以访问全量数据;同时也能实现大规模负载和计算场景资源的完整隔离,包括计算资源、内存资源、存储资源的隔离,来保证所有的任务调度互不干扰。

 
新增TAC实时列存引擎,它专注于实时场景,能够提供强一致的事务支持,保证数据的实时写入、更新和强一致性,同时利用行列混存技术,兼具事务处理与实时分析两种场景。
引入LSC静态列存引擎,具备存算分离和冷热转换的能力,同时能够提供 6 倍到 10 倍的数据压缩比,从而大大降低数据存储成本,并且支持对象存储。
我们还融入了原创的有界计算AC能力,通过有界计算能够将几十亿级的数据扫描规模缩减近千倍,由此可以带来2-3个数量级的性能提升,从而大幅提升行业海量数据模型的查询、分析、处理等能力。
在TPC-H Benchmark性能测试中,我们的性能是国外某著名开源数据库的10倍以上,每节点导入性能达到300MB/s,这意味着我们可以随着数据节点的规模扩展,导入能力得到线性的、并行的快速提升,其“高性能入库、强分析查询能力”得到全面验证。

 

 

GIS+SDE引擎 双形态空间能力

性能平均优于开源3倍

面向空间场景,YashanDB for GIS空间数据库发布,提供双产品形态,一个是SDE的形态,另一个是原生GIS形态。目前行业内的数据库 GIS 厂商有两个主要的流派,一种是在数据库之上构建空间GIS引擎,还有另外一个是基于数据库的原生能力构建GIS计算,YashanDB空间数据库对于这两种都可以提供完整的支持;对于SDE,YashanDB可以提供高速的数据的存取读写,支撑GIS的高性能计算;对于原生GIS,YashanDB在 SQL 层面以及在驱动层面提供对于完整的GIS的写入、查询、分析空间计算的能力。

同时,YashanDB空间数据库对于底层信创生态也提供完整的支持,从内核层面来看,我们从四个关键要素出发——首先是“空间坐标系”,对于市场所有 8000 多个空间坐标系我们可以提供完整的支持,比如主流的北京54,西安80,中国 2000 和WGS 84;第二是“空间数据类型”,我们可以支持无论是栅格数据、矢量数据、网络数据还是用户自定义的UDT类型;第三是“空间索引”,我们通过原生的R-Tree索引,进行高效率、实时性的空间谓词计算扫描,在空间谓词支持的全面性以及计算算子的完整性远超开源数据库;最后在“空间计算引擎”方面,我们和开源数据库也做了一个对比,我们的空间计算引擎在面向一个真实城市55万栋建筑数据和10类功能和应用场景的测试验证下,其性能表现是商业和开源的空间计算引擎3倍以上。

 

随着YashanDB V23.1版本发布,我们也和五大行业的头部的应用解决方案厂商形成了联合解决方案——面向智慧城市领域,我们与深智城集团联合发布了智慧城市解决方案,为深圳市全市域时空信息平台提供坚实支撑;面向金融核心,我们和头部厂商长亮科技形成了银行核心交易解决方案,高度兼容并支撑金融核心平滑替换;面向企业应用,我们和金蝶软件发布了金蝶云·苍穹企业级PaaS平台解决方案,高效支撑SaaS化企业应用;面向地理空间领域,我们和超图形成了空间数据库解决方案,提供城市级空间大数据分析能力;在数据同步方面,我们和迪思杰形成了全链路自主可控的融合数据交互解决方案,支撑数据库的平滑迁移和实时同步。
 
个人版首发
官网全面开放下载

最后,数据库的应用和发展,最终离不开所有用户和开发者,有一个重磅消息,我们面向所有的行业和面向所有的场景发布YashanDB个人版。

YashanDB个人版面向所有用户和开发者全面开放,100%自主研发,官网全面开放下载,我们从三个维度看个人版发布了哪些能力。首先,全面开放,在官网公开下载、无门槛;第二,免费使用,包括免费获取及咨询;第三,也是大家最关注的,那就是我们发布的个人版和企业版有什么区别?那么我告诉大家,YashanDB个人版完整开放数据库的基础能力,并且面向 TP 和 AP 场景以及高可用场景,我们也将配套的开发工具、运维工具平台也开放出来,并提供软件升级的服务。
在个人版的使用过程中,用户可以通过我们的官方渠道(讨论组、网站、社区等)进行咨询和交流,我们提供一个开放的学习交流平台。目前个人版不能用于商业用途,如果对于YashanDB有兴趣,可以通过我们官方渠道进一步交流。
YashanDB将持续创新和研究,致力于产业链上下游硬件厂商、应用厂商、工具和服务厂商等周边生态以及面向用户和开发者的开放共赢,以“技术驱动+场景打磨+生态助力”共促数据库产业健康持续发展。
 

结语

最后再次感谢大家,YashanDB V23.1 版本面向所有行业和用户正式发布,我们提供基于自研、高端、根技术支持的企业级融合数据管理解决方案。谢谢大家!

 
 
 
 

崖山数据库系统

崖山数据库系统YashanDB是深圳计算科学研究院自主研发设计的新型数据库系统。在经典数据库理论基础上,融入原创的有界计算理论、近似计算理论、并行可扩展理论和跨模融合计算理论,支持单机/主备、共享集群、分布式等多种部署方式,覆盖OLTP/HTAP/OLAP交易和分析混合负载场景,全面兼容私有化及云基础设施,为客户提供一站式的企业级融合数据管理解决方案,满足金融、政府、电信、能源等关键行业对高性能、高并发及高安全性的要求。

 

浏览量:0