2022全球分布式云大会·深圳站于12月21日正式召开,全球分布式云联盟携手阿里云、腾讯云、华为云、天翼云、浪潮云等联盟成员,共同打造属于分布式云计算的年终科技盛典,深度总结分布式云计算发展至今取得的科技实践成果,立足深圳、辐射华南、影响全国,以分布式云计算筑牢数字化转型的基石底座,擘画数字化深水区新商业版图!
在12月21日上午举办的“分布式主题报告会”上,天翼云数据服务首席架构师 李跃森发表了题为《驾驭趋势,翼动未来——天翼云TeleDB,全面支撑运营商核心业务的自研数据库》的精彩演讲,本文为演讲内容文字实录。
TeleDB产品矩阵可以分为三个部分:数据管理产品、引擎产品、生态工具。数据管理产品是DCP数据库的全生命周期管理系统;引擎产品领域覆盖了数据库赛道最核心、最主流的场景和产品形态;数据库的生态工具布局,天翼云也进行了充分的布局,对数据迁移工具、数据管理平台以及数据自治服务等都进行了深入的创新。
坚持深度拥抱开源社区,同时加强自研,引领行业趋势,持续提升代码自主可控能力和品牌的行业影响力,核心特点可以总结为四个方面:
安全可靠:打造涵盖保密性、完整性和可用性的数据库安全技术
机制弹性:攻克数据库存算分离以及容器化等云原生核心技术
金融级高可用:支持数据库双活级高可用架构以及高达6个9的可用性
AP/TP混合负载能力:提供高效读写和实时分析的一站式HTAP服务
当时系统使用的数据库主要是海外产品,首先面临采购成本高的问题,其次整个技术架构也对底层依赖较多,无法进行横向扩展。此外,国外产品也面临安全合规的风险,无法完全自主可控。考虑到场景适用性,需要基于不同的系统、不同场景,以及业务在并发数、连接数峰值交易量等方面的诉求和痛点,中国电信决定进行数据库的国产化替代。
基于以上需求,天翼云开展了数据库的架构设计,整体的架构设计可以通过三方面总结,上层数据应用层,实现了低成本、高可靠和自动云存储的数据能力;在上层数据库基础能力上,构建了成熟的数据库的主备、架构以及自动结合等特性;同时,支持容灾备份、同城双活、异地备份等能力。
在企业运营方面,一是降低了企业的硬件成本达30%;二是随着办公数字化,办公成本也获得了大幅度的降低;第三,系统效率因架构的超前演进,整体性能获得两倍以上提升;第四,业务能力也有相当的改善。
TeleDB国产化替换成果
对整个电信的数字团队而言,TeleDB的国产化替换的过程,沉淀了技术,打磨了产品,验证了分布式架构在金融级和电信级系统的可行性和可靠性,同时也验证了核心系统进行分布式改造和互联网改造的路线的正确性。在解决现网的需求的同时,也帮助电信业务实现了降本增效。更重要的是,在这一过程中,团队掌握了自主可控的核心技术,综合竞争力获得了相当的提升。
TeleDB也推出了云原生2.0的存算分离数据库,相比之前的云原生数据库,提供多节点写入的能力,兼容主流数据库的SQL引擎,核心能力包括:
1、多写
基于分布式锁,分布式资源管理等,实现缓存融合技术,支持多节点可写。
2、弹性扩展能力
存储、计算、内存三层分离能力,三层独立水平扩容。
3、故障接管及回切
结合共享存储软硬件能力,支持故障资源重新分布,支持快速恢复,实现RTO<30s,支持高可靠,高可用。
4、集群管理
支持计算节点计划内上下线。实现对资源及配置管理,支持集群选主,支持脑裂场景下仲裁机制。
5、备份归档&PITR
支持全量,增量物理备份恢复,支持逻辑备份和还原,备份范围包含模式级/表级。PITR支持恢复到任意时间点。
6&7、容灾
实现数据库存储的同步复制及异步复制,支持两地三中心。
支持单存储集群拉远方式结合数据库存储双活,实现近距离容灾。
TeleDB多模数据库实践
TeleDB多模数据库提供消息、文档、KV、时序,HDF5多种引擎,支持毫秒级在线数据处理、海量数据低成本存储和分析。使用统一SQL融合多模数据的实时查询、检索和分析,流库一体、内置流计算引擎致力于解决企业在多个项目对不同数据类型需求,实现其多种类型、垂直引擎、跨模融合存储需求。
数据库智能管控工具DMS实践
两个核心技术之一就是对航空机修业的传感器处理的解码,主要分为两部分,首先要实现从二进制流到结构化数据的转换,有了结构化的基础,就有了知识化和数字化的基础。实现了知识化和数字化之后,就可以使用现在非常成熟的大数据和AI的方式,对机修数据进行深入的分析,来发现和预测故障,提升整体系统的安全度。整体上,实现了这家大型航司全部机型的多种形式的信息的清理和归类,其中,仅波音737机型就实现每年降低120万运营费用的成果。
第二个核心技术就是TeleDB多模数据库底座,它能支持毫秒级在线数据处理、海量数据低成本存储和分析。使用统一SQL融合多模数据的实时查询、检索和分析,流库一体、内置流计算引擎满足航空实时计算需求。多功能协议计算分析写入能力可达1100w/秒,实现一库多用,一数多用。一库多用就是花一套数据库的钱,购买了多种类型数据库的功能。同时在多种引擎共享一份数据,从而实现了计算和存储共享和运维的低成本。同时为了更好的服务航空工程师,TeleDB数据库定制支持工程师语言,简易上手,赋能机务工程师。在存储上自研航空特征编码高压缩比算法和冷热分离弹性伸缩存储架构,已验证航空数据压缩比达到0.71,预计五年可节约存储以及电费投资约千万元。内核上研发自主可控,适配所有主流国产化操作系统,芯片,支持量子加密,符合国家云安全标准。已在某航机务验证替代Oracle,可成为航空国产化去O的典型示范。
基于某航企的机务业务,双方联合建立了TeleDB数据库联合研发团队,联合打造新一代航空业数据库和面向社会公众生态的数据平台。
经过双方充分的行业研究我们认为,民航维修类企业生产运作的共通性很强,在智慧工场解决方案落地的同时,进一步尝试搭建工业互联的数据生态平台,探索服务商业模式,希望可以充分发挥机修数据的价值,打造新一代的航企机修生态,引领我国航空机修行业的数字化和智能化。