数据库技术发展趋势展望

数据库技术发展趋势展望-云投网

 

数据量的爆炸式增长和新业务需求变化多样及频繁对数据库的能力提出各种挑战,云计算、AI等新技术的出现也使得数据库领域创新持续进行,传统数据库厂商地位受到挑战(下图:微软的市场份额在2020年超越传统数据库龙头Oracle并蝉联2021年第一,国内厂商阿里云、华为、腾讯的排名也在持续上升)。

结合信通院的报告以及阿里云栖大会“云原生数据库”峰会内容,我们整理出以下六大主要数据库技术演进方向:

分布式架构

传统基于集中式数据库在应对海量数据及复杂分析处理时,存在数据库的横向扩展能力受限、数据存储和计算能力受限、不能满足业务瞬时高峰的性能等根本性的架构问题。利用分布式计算和内存计算等新技术设计的分布式数据库能够解决上述遇到的性能不足等问题。

分布式数据库的数据分散在网络上多个互联的节点上,数据量、写入读取的负载均衡分散到多个单机中,集群中某个节点故障整个集群仍然能继续工作,数据通过分片、复制、分区等方式实现分布存储。每个数据节点的数据会存在一个或者多个副本,提供数据冗余。当某个数据节点出现故障时,可以从其副本节点获取数据,避免数据的丢失,进而提升了整个分布式集群的可靠性。

分布式数据库继承了传统单机数据库的核心特性,同时还拥有分布式系统的处理能力,具有可水平扩展、高性能、高可用、更安全等优点。

云原生化

云原生数据库是基于容器化、微服务、Serverless等理念设计的存算分离架构的数据库,具备了高扩展性、高易用性、快速迭代、节约成本等特点。

高扩展性:体现在其与底层的云计算基础设施分离,所以能够灵活及时调动资源进行扩容缩容,以从容应对流量激增带来的压力,以及流量低谷期因资源过剩造成的浪费。

高易用性:计算节点在云端部署,可以随时随地从多前端访问。因其集群部署在云上,通过自动化的容灾与高可用能力,单点失败对服务的影响非常小。当需要升级或更换服务时,还可以对节点进行不中断服务的轮转升级。

快速迭代:各项服务之间相互独立,个别服务的更新不会对其他部分产生影响。此外,云原生的研发测试和运维工具高度自动化,也就可以实现更加敏捷的更新与迭代。

节约成本:建立数据中心是一项独立而完备的工程,需要大量的硬件投资以及管理和维护数据中心的专业运维人员。此外,持续运维会造成很大的财务压力。云原生数据库以较低的前期成本,获得一个可扩展的数据库,实现更优化的资源分配。

总的来说,云原生数据库最大限度实现资源池化、弹性变配、超高并发等能力,可实现随时随地的多前端访问,提供云服务的计算节点,并且能够灵活及时调动资源扩缩容,助力企业降本增效。

混合事务分析处理

目前企业级应用的业务负载主要分为联机交易(OLTP)和实时分析(OLAP),由于不同的应用场景导致多数企业使用两套系统分别支撑交易系统和分析系统,这种组合式的解决方案要求数据在不同产品间进行流转,数据的同步过程就带来了时间延迟和数据不一致的风险,而且还会造成大量数据冗余,也增加了系统的复杂度和运维程度。

分布式数据库的出现,能够为企业解决上述问题,这也是近年来HTAP(混合负载)的兴起,其旨在打破事务处理和分析之间“壁垒”;混合负载能力能在支持高并发、事务性请求的同时,也对分析型的复杂查询提供了良好的支持,实现计算、I/O资源互不干扰。通过在线交易和分析互不影响,一站式地解决企业级应用的各种需求,减少数据冗余,实现大幅度提升分析时效性和降低成本,提高了企业决策的效率。

多模数据管理

为了满足海量数据的存储、计算与分析,传统的做法是平台提供十几个不同的数据库产品分别满足相应的需求。然而随着数据量的不断增多、数据类型的不断丰富以及应用系统的逐渐增加后,整体维护性和数据一致性管理成本大大增加,进而影响到整个系统的使用,因此,多样性的数据存储管理成为了数据库平台面临的一大挑战。

数据库多模(Multi-Model)是指在针对多种模态的数据进行统一管理。多模态数据包括结构化、半结构化和非结构化数据。结构化数据特指由二维表结构来逻辑表达和实现的数据,典型应用是含有用户信息的交易型业务;而半结构化数据则在用户画像、物联网设备日志采集、应用点击流分析等场景中得到大规模使用;非结构化数据则对应着海量的GIS地理信息、图片、视频、和文档处理等业务。

多模数据库支持灵活的数据存储类型,将各种类型的数据进行集中存储、查询和处理,可以同时满足应用程序对于结构化、半结构化和非结构化数据的统一管理需求。多模数据管理未来将是一种新趋势,也是简化运维、节省开发成本的选择。

利用AI实现智能化运维

数据库技术栈日益丰富,但大多优化任务仍需要数据库管理员(DBA)进行手动调优,人工能力逐渐跟不上数据库的发展,而AI技术的成熟可以弥补该不足。

AI与数据库的技术融合主要体现在两个方面,一方面可以通过AI技术实现数据库的自优化、自监控、自调优、自诊断;另一方面可以实现库内AI训练,降低AI使用门槛。具体实现场景包括但不限于数据分布技术智能化、库内进行训练和推理操作、数据库自动诊断、容量预判等;也可以体现在数据库周边工具的智能化,能够在提升管理效率、降低错误引入率、减少安全隐患的同时也大大降低了运营成本。

举例来说,可以利用机器学习算法分析大量数据记录,标记异常值和异常模式,帮助企业提高安全性,防范入侵者破坏,还可以在系统运行时自动、连续、无人工干预地执行修补、调优、备份和升级操作,尽可能减少人为错误或恶意行为,确保数据库高效运行、安全无失。

目前学术界和工业界共识的研究重点是将机器学习与数据管理在功能上融合统一,来实现更高的查询和存储效率,自动化处理各种任务。预计未来80%以上的日常运维工作有望借助AI完成。

充分利用新兴硬件

新兴硬件的发展从存储、计算多方面能够进一步提升数据库性能。近年来最主要的硬件技术进步是多处理器(SMP)、多核(MultiCore)、大内存(BigMemory)、固态硬盘(SSD)和非易失性内存(NVM)。多处理器和多核为并行处理提供可能,大内存促进了内存数据库引擎的发展,SSD大幅提升了数据库系统的IOPS和降低延迟。

其中非易失性内存(NVM)具有容量大、低延迟、字节寻址、持久化等特性,能够应用于传统数据库存储引擎各个部分,如索引、事物并发控制、日志、垃圾回收等方面;GPU适用于特定数据库操作加速,如扫描、谓词过滤、大量数据的排序、大表关联、聚集等操作,互联网公司在FPGA加速进行了很多探索,例如微软利用FPGA加速网卡处理,百度用FPGA加速查询处理等。随着新型硬件成本逐渐降低,充分利用新兴硬件资源提升数据库性能、降低成本,是未来数据库发展的重要方向之一。

 

数据库技术发展趋势展望-云投网

 

【GDCC2023】分布式数据库论坛
报名链接:https://3532694776839.huodongxing.com/event/2707422771500
峰会参加/展台露出/奖项星计划联系:组委会微信:AsiaOTT2022

*文章为作者独立观点,不代表云投网立场
发表评论

坐等沙发
相关文章
腾讯云数据库副总经理罗云:数据库未来会出现“1+N”的新模式
腾讯云数据库副总经理罗云:数据库未来…
腾讯云向量数据库正式上线公测!提供10亿级向量检索能力
腾讯云向量数据库正式上线公测!提供10…
台州银行与阿里云达成战略合作 提升技术领先性和金融服务能力
台州银行与阿里云达成战略合作 提升技术…
腾讯云黄平中:TDSQL助力政企核心系统国产化 | GDCC 最强音
腾讯云黄平中:TDSQL助力政企核心系统国…
4500字聊聊云原生数据库
4500字聊聊云原生数据库
国产数据库突围:道阻且长,行则将至
国产数据库突围:道阻且长,行则将至
我还没有学会写个人说明!

24小时排行

  • 暂无文章