『天翼云』李跃森:天翼云TeleDB,全面支撑运营商核心业务的自研数据库

2022全球分布式云大会·深圳站于12月21日正式召开,全球分布式云联盟携手阿里云、腾讯云、华为云、天翼云、浪潮云等联盟成员,共同打造属于分布式云计算的年终科技盛典,深度总结分布式云计算发展至今取得的科技实践成果,立足深圳、辐射华南、影响全国,以分布式云计算筑牢数字化转型的基石底座,擘画数字化深水区新商业版图!

『天翼云』李跃森:天翼云TeleDB,全面支撑运营商核心业务的自研数据库-云投网

在12月21日上午举办的“分布式主题报告会”上,天翼云数据服务首席架构师 李跃森发表了题为《驾驭趋势,翼动未来——天翼云TeleDB,全面支撑运营商核心业务的自研数据库》的精彩演讲,本文为演讲内容文字实录。

TeleDB产品发展历程

中国电信TeleDB历经10年打磨,团队快速发展,做到技术完全自主可控,具备高可靠、高可用、弹性扩展、自动化运维等优势,承载了中国电信核心系统业务,并在政务、物联网、新能源、医疗等行业落地成熟。

TeleDB产品矩阵可以分为三个部分:数据管理产品、引擎产品、生态工具。数据管理产品是DCP数据库的全生命周期管理系统;引擎产品领域覆盖了数据库赛道最核心、最主流的场景和产品形态;数据库的生态工具布局,天翼云也进行了充分的布局,对数据迁移工具、数据管理平台以及数据自治服务等都进行了深入的创新。

坚持深度拥抱开源社区,同时加强自研,引领行业趋势,持续提升代码自主可控能力和品牌的行业影响力,核心特点可以总结为四个方面:

安全可靠:打造涵盖保密性、完整性和可用性的数据库安全技术

机制弹性:攻克数据库存算分离以及容器化等云原生核心技术

金融级高可用:支持数据库双活级高可用架构以及高达6个9的可用性

AP/TP混合负载能力:提供高效读写和实时分析的一站式HTAP服务

TeleDB核心能力 TeleDB国产化替换

行业发展趋势的要求,无论是为了应对快速增长的业务规模,还是推动企业数字化转型的进程,企业构建以云计算为基础的解决方案和新的技术体系成为必然。基于当时的技术判断,建立以云计算为基础的技术方案和技术体系成为了必然趋势。

当时系统使用的数据库主要是海外产品,首先面临采购成本高的问题,其次整个技术架构也对底层依赖较多,无法进行横向扩展。此外,国外产品也面临安全合规的风险,无法完全自主可控。考虑到场景适用性,需要基于不同的系统、不同场景,以及业务在并发数、连接数峰值交易量等方面的诉求和痛点,中国电信决定进行数据库的国产化替代。

基于以上需求,天翼云开展了数据库的架构设计,整体的架构设计可以通过三方面总结,上层数据应用层,实现了低成本、高可靠和自动云存储的数据能力;在上层数据库基础能力上,构建了成熟的数据库的主备、架构以及自动结合等特性;同时,支持容灾备份、同城双活、异地备份等能力。

TeleDB支撑了整个电信集团5千多套的核心系统,部署超过1万5千套的数据库实例,支撑了所有电信集团的国产化替代,支持全国7亿家电信用户,,也支撑起电信集团每年超过4千亿的营业收入。

在企业运营方面,一是降低了企业的硬件成本达30%;二是随着办公数字化,办公成本也获得了大幅度的降低;第三,系统效率因架构的超前演进,整体性能获得两倍以上提升;第四,业务能力也有相当的改善。

TeleDB国产化替换成果

对整个电信的数字团队而言,TeleDB的国产化替换的过程,沉淀了技术,打磨了产品,验证了分布式架构在金融级和电信级系统的可行性和可靠性,同时也验证了核心系统进行分布式改造和互联网改造的路线的正确性。在解决现网的需求的同时,也帮助电信业务实现了降本增效。更重要的是,在这一过程中,团队掌握了自主可控的核心技术,综合竞争力获得了相当的提升。

第二个方面的收获是,中国电信BSS3.0域实实在在的国产化替换实践,锻炼了团队,打磨了产品,形成了实际可操作的“五步骤十流程”上云方法论,这是TeleDB团队最宝贵的财富,也是最为核心的能力。为客户提供从系统分析到工程交付的一站式服务。

国产化替代第三个主要收获是,成就了一支专业而高效的专业团队。TeleDB核心能力是数据库团队多年持续专研核心代码,对内核代码高度自主可控,是天翼云在数据库领域丰富实践经验的有效积累。也是数据库核心产品市场化进程中持续做大生态的有效拓展。

TeleDB在云原生2.0时代的发展

TeleDB云原生2.0存算分离数据库实践

TeleDB也推出了云原生2.0的存算分离数据库,相比之前的云原生数据库,提供多节点写入的能力,兼容主流数据库的SQL引擎,核心能力包括:

1、多写

基于分布式锁,分布式资源管理等,实现缓存融合技术,支持多节点可写。

2、弹性扩展能力

存储、计算、内存三层分离能力,三层独立水平扩容。

3、故障接管及回切

结合共享存储软硬件能力,支持故障资源重新分布,支持快速恢复,实现RTO<30s,支持高可靠,高可用。

4、集群管理

支持计算节点计划内上下线。实现对资源及配置管理,支持集群选主,支持脑裂场景下仲裁机制。

5、备份归档&PITR

支持全量,增量物理备份恢复,支持逻辑备份和还原,备份范围包含模式级/表级。PITR支持恢复到任意时间点。

6&7、容灾

实现数据库存储的同步复制及异步复制,支持两地三中心。

支持单存储集群拉远方式结合数据库存储双活,实现近距离容灾。

针对性能的对比测试,在TPMC测试的结果,在2节点写入的时候可以达到160万,该结果在同类产品里面属于相当有优势的水平。同时使用sysbench进行了QPS的压测,在2节点的时候相比左边的一主两备的节点可以达到性能1.7倍的提升,也处于相当领先的水平。同时在进行单节点和2节点测试的过程中,可以看到线性的扩展比达到了0.7,也是一个比较有成效的测试结果。

TeleDB多模数据库实践

TeleDB多模数据库提供消息、文档、KV、时序,HDF5多种引擎,支持毫秒级在线数据处理、海量数据低成本存储和分析。使用统一SQL融合多模数据的实时查询、检索和分析,流库一体、内置流计算引擎致力于解决企业在多个项目对不同数据类型需求,实现其多种类型、垂直引擎、跨模融合存储需求。

数据传输服务TeleDB-DTS实践

TeleDB-DTS是一种集数据迁移、增量数据实时订阅及数据实时同步于一体的数据传输服务。支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输,致力于在公有云、混合云以及私有云场景下,解决远距离、毫秒级异步数据的传输难题。DTS主要用于跨城容灾、同城容灾或者国产化的替换、数据迁移的过程中。同时也会提供进行在线交易型数据和分析型数据同步的场景的应用,在支撑这些能力的过程中,可以做到数据迁移不停机,同时在过程中还能保证数据的完整性;且在这些基础上还使用多通路的方式加速传输的过程。

数据库智能管控工具DMS实践

数据管理工具是整个数据库的统一资产的视图和操作的入口,支持TP、AP和NOSQL的产品,可以让数据的开发者开发协同、安全生产,把数据库研发的SQL标准、研发规范和运营规范做到很好的落地,保证数据安全。使用微服务架构设计整个数据管理服务的框架,可以做到云原生的弹性扩展和动态的资源调度。

TeleDB数据库应用案例

当前航空机修业也在进行积极的数字化转型和探索,过程中主要有三个挑战,一是信息孤岛:系统数据资源分散,维修流程传统,信息交流不畅;二是维修数字化环节冗长,有待深度融合;三是服务无法满足发展需求,柔性服务响应慢,维修资源调度难度大。

基于这三点,中国电信和国内的某大型航空公司一起进行了深度探索,整体方案就是1张网,2个核心技术,1个生态。一张网是5G云网融合,在我们的5G网络上搭建计算云提供高效低成本的计算存储和网络资源。2个核心技术是TeleDB计算引擎通过解码译码算子来使用TeleDB强大的计算能力,同时通过多模数据库底座,做到一数多用,一库多用实现低成本存储和运维。一个生态,航空生态为商业模式推广和生态合作。

两个核心技术之一就是对航空机修业的传感器处理的解码,主要分为两部分,首先要实现从二进制流到结构化数据的转换,有了结构化的基础,就有了知识化和数字化的基础。实现了知识化和数字化之后,就可以使用现在非常成熟的大数据和AI的方式,对机修数据进行深入的分析,来发现和预测故障,提升整体系统的安全度。整体上,实现了这家大型航司全部机型的多种形式的信息的清理和归类,其中,仅波音737机型就实现每年降低120万运营费用的成果。

第二个核心技术就是TeleDB多模数据库底座,它能支持毫秒级在线数据处理、海量数据低成本存储和分析。使用统一SQL融合多模数据的实时查询、检索和分析,流库一体、内置流计算引擎满足航空实时计算需求。多功能协议计算分析写入能力可达1100w/秒,实现一库多用,一数多用。一库多用就是花一套数据库的钱,购买了多种类型数据库的功能。同时在多种引擎共享一份数据,从而实现了计算和存储共享和运维的低成本。同时为了更好的服务航空工程师,TeleDB数据库定制支持工程师语言,简易上手,赋能机务工程师。在存储上自研航空特征编码高压缩比算法和冷热分离弹性伸缩存储架构,已验证航空数据压缩比达到0.71,预计五年可节约存储以及电费投资约千万元。内核上研发自主可控,适配所有主流国产化操作系统,芯片,支持量子加密,符合国家云安全标准。已在某航机务验证替代Oracle,可成为航空国产化去O的典型示范。

基于某航企的机务业务,双方联合建立了TeleDB数据库联合研发团队,联合打造新一代航空业数据库和面向社会公众生态的数据平台。

经过双方充分的行业研究我们认为,民航维修类企业生产运作的共通性很强,在智慧工场解决方案落地的同时,进一步尝试搭建工业互联的数据生态平台,探索服务商业模式,希望可以充分发挥机修数据的价值,打造新一代的航企机修生态,引领我国航空机修行业的数字化和智能化。

*文章为作者独立观点,不代表云投网立场
发表评论

坐等沙发
相关文章
乘风破浪!天翼云为出海企业打造全球云服务解决方案!
乘风破浪!天翼云为出海企业打造全球云…
天翼云持续深化海外布局,擘画数字经济高质量发展全球图景!
天翼云持续深化海外布局,擘画数字经济…
IDC:2022年下半年中国公有云市场:阿里云、华为云、天翼云排名前三
IDC:2022年下半年中国公有云市场:阿里…
玩转云端 | 算力基础设施升级,看天翼云紫金DPU显身手!
玩转云端 | 算力基础设施升级,看天翼云…
国际AI顶会CVPR季军!天翼云AI团队在情感识别任务中实现新突破
国际AI顶会CVPR季军!天翼云AI团队在情…
天翼云入选“专精特新示范企业”名单
天翼云入选“专精特新示范企业”名单
我还没有学会写个人说明!