企业级分布式数据库管理系统-TBase
2020-08-28 21:03:56 
阿炯
TBase是腾讯数据平台团队在开源的 PostgreSQL 基础上研发的企业级分布式 HTAP 数据库管理系统，海量事务处理平台(腾讯慧聚Tbase)，是腾讯数据库内核团队在理论和实践经验相结合的基础上深耕多年打造的MPP(大规模并行处理)数据库产品，采用shared-nothing的分布式架构并兼容优秀的开源PostgreSQL社区版本，具备业界先进的数据治理和数据安全特性，能够为业务提供有效的海量数据管理服务，是政企业务数据管理的理想选择。采用C/C++开发并在3类的BSD协议下授权，它具备如下一些特性：
具备高性能可扩展的分布式事务能力，支持 RC 和 RR 两种隔离级别；
通过安全、管理、审计三权分立体系，提供全方位的数据安全保证机制；
支持高性能分区表，可使得数据检索效率成倍提升；
SQL 方面兼容 2003 标准、PostgreSQL 语法和常用 Oracle 函数&数据类型、窗口函数等；
提供大小商户数据分离、冷热数据分离等高效的数据治理能力
功能：
分布式事务全局一致性能力：通过拥有自主专利的分布式事务一致性技术，包括两阶段提交(Two Phase Commit)以及全局时钟(Global Timestamp)的策略来保证在全分布式环境下的事务一致性。
SQL兼容能力：SQL2003 标准、PostgreSQL 语法、常用 Oracle 函数&数据类型、UDF/UDAF、常见窗口函数、JSON/JSONB/XML/数组等多种 NoSQL 类型 、递归 WITH、无锁 DDL 操作、扩展插件等。
HTAP能力：提供 OLTP 以及 OLAP 两个平面视角 ，OLTP 业务运行在 datanode 主节点上，OLAP 业务运行在 datanode 节点的备节点上，二者的数据同步采用流复制的方式来进行。
读写分离能力：提供了读写和只读两个平面视角，读写流量请求由主节点来处理，只读流量请求由备节点来处理，主备节点的数据同步采用流复制的方式来进行。
卓越的数据安全保障能力：通过三权分立的体系，将传统数据库系统 DBA 的角色分解为三个相互独立的角色：安全管理员、审计管理员、数据管理员;基于此提出安全策略，主要细分为三个部分：数据加密、数据脱敏访问、强制访问控制，三者组合提供多个层级的数据安全保障能力。
高效的数据治理能力：数据倾斜治理，用以解决数据分布不均带来的存储以及性能压力；冷热数据分级存储 ，用以降低业务的存储成本、提升热数据的性能。
多核并行计算能力：节点内部采用了并行计算，根据表大小同时启动多个进程来协同完成一个查询。
多租户能力：基于节点组 node group 的集群内多租户解决方案，做到数据库集群内部的业务和资源隔离，多个业务在TBase内部相互隔离的运行。
多级容灾能力：采用强同步复制来保证主从数据完全一致，保障主节点故障时数据无丢失；提供基于任意时间点的恢复特性来防止误操作带来的数据丢失。
在线扩容能力：通过引入shard map层(shard map 中每一项存储 shardid 和 DN 的 映射关系 ), 在新加节点时，只需要把一些 shard map 中的 shardid 映射到新加的节点，并把对应的数据搬迁过去就可以了，大大缩短扩容时间。
丰富的周边生态能力：PostGIS、异构数据复制、LVS 负载均衡、FDW 联邦能力等。
架构：
集群中有三种节点类型，各自承担不同的功能，通过网络连接成为一个系统。这三种节点类型分别是：
Coordinator：协调节点，对外提供接口，负责数据的分发和查询规划，多个节点位置对等，每个节点都提供相同的数据库视图，CN 存储系统的全局元数据。
Datanode：处理存储本节点相关的元数据，每个节点还存储数据的一个分片。在功能上，DN 节点负责完成执行协调节点分发的执行请求。
GTM：全局事务管理器(Global transaction manager.)，负责管理集群事务信息，同时管理集群的全局对象，比如序列，除此之外 GTM 上不提供其他的功能。
适用场景：
在国产化落地、业务核心领域去 O 场景；
对 HTAP 混合事务分析应用模型有需要的业务场景；
对物联网地理信息系统有需求的业务场景；
对实时高并发环境下的分布式事务强一致性有要求的业务(如金融、证券等业务)场景；
对企业级数据安全、审计、治理应用相关功能有需求的业务场景；
对高可用、异地容灾、7*24 小时服务能力有需求的业务场景；
有海量存储计算需求、弹性扩容、在线扩容需求的业务场景；
对异构数据互通共享有需求的业务场景。
HTAP 业务系统
在数据库系统应用中，OLTP 场景涉及数据量小，但对返回实时性要求高，OLAP 类场景涉及的数据量和计算量大，但是对实时性要求不高，一套系统里能同时覆盖 OLTP 以及 OLAP 场景是业务对数据库系统的一个很强烈的诉求。TBase 特有的架构设计，可同时覆盖 OLTP 和 OLAP 的需求。
物联网地理信息系统
在物联网场景中，很多的传感器接入数据(热点 WIFI 数据、车辆行驶数轨迹数据等)都包含一些点位信息(经度和纬度)。TBase 结合这些位置信息和已有的地理信息进行关联分析，可以得到价值很高的数据。此外，TBase 支持最先进的开源地理信息引擎 PostGIS，可以提供丰富高效的地理信息处理能力。
实时高并发事务系统
互联网、移动话联网、电商等业务的蓬勃发展，使客户量不断增长，业务核心系统需经受高并发访问的考验。TBase 的 share nothing 架构可以在线平滑地扩展实例规模，从容应对此类场景；同时，TBase 提供的分布式事务一致性能力能保证高并发场景下的分布式系统事务一致性。
最新版本：2.1
相关页面：
项目主页
TBase使用手册
TBase On Github
腾讯云捐赠 OpenTenBase 数据库软件
2023年12月16日，在 2023 开放原子开发者大会上，腾讯云宣布将企业级分布式数据库 TDSQL 的在GitHub社区发行版 OpenTenBase 捐赠给开放原子基金会，通过开源共创的方式，与上下游产业链以及开发者共同打造繁荣数据库技术生态。
OpenTenBase目前已在腾讯社交、游戏、广告、金融等内部业务及外部商用场景下打磨 10 年以上，可完美适用于拥有海量数据、高并发、高 HTAP，以及分布式事务能力的应用场景。这是继编译器软件 OpenKona JDK，以及全链路自主演进的操作系统 OpenCloudOS 之后，腾讯捐赠的又一重磅基础软件项目。
OpenTenBase是腾讯云数据库团队在PostgreSQL基础上研发的企业级分布式HTAP开源数据库，集高扩展性、高 SQL 兼容度、完整的分布式事务支持、多级容灾能力以及多维度资源隔离等能力于一身，已经成功应用在金融、政府、电信、医疗等行业的核心业务系统。其结合内部复杂多样的业务场景以及外部商用的企业级场景需求，凝聚产业上下游力量共建基础能力，秉持着“开源开放合力共创”的理念，与上下游用户、开发者、行业伙伴共同构建一个开放繁荣的数据库生态，降低用户使用门槛，给用户带来创新价值。
开放原子开源基金会秘书长冯冠霖表示：“很高兴看到腾讯能够把多年研发打磨、通过海量业务场景考验的基础软件数据库项目 OpenTenBase 开源并捐赠到基金会，未来，基金会将秉持中立开放的态度，与业界一起将 OpenTenBase 打造成为具有全球影响力的优秀开源项目。”
数据库作为计算机三大基础软件之一，向下可充分发挥硬件算力，向上支撑上层的应用需求，是信息系统高效运行的关键基础。腾讯云数据库研发总经理潘安群表示，OpenTenBase 数据库在技术上填补了业内基于 PostgreSQL 的开源分布式 OLTP 系统空白，并且集 HTAP 双引擎、分布式事务一致性、高 SQL 兼容度、复杂查询等技术能力于一身，能够为企业数字化转型提供强有力支撑。
比如在引擎方面，OpenTenBase 同时支持 OLTP（在线交易处理）和 OLAP（在线分析处理）能力，能够有效降低业务架构复杂度和成本；在事务一致性方面，引入全局事务管理节点来管理分布式事务，通过分布式事务一致性技术来保证在全分布式环境下的事务一致性；在兼容性方面，高度兼容 PostgreSQL 版本和 Oracle 版本；在查询方面则全新开发分布式查询优化器，可将复杂查询的性能提升十倍以上。
腾讯云数据库 TDSQL 近年来在多个领域取得重要突破，在性能上，2023年3月刷新 TPC-C 世界记录，每分钟事务处理数达到 8.14 亿；在最新的 IDC 报告中，位居中国分布式关系型数据库 “领导者” 类别，并在市场份额上取得国内第一的成绩。腾讯云数据库总经理王义成介绍，TDSQL已涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系，提供业界领先的金融级高可用、存算分离、数据仓库、企业级安全等能力。未来会持续投入和突破数据库核心技术，打造更加健康可持续发展的数据库生态和开源社区，为企业数字化转型提供长久动力。
腾讯是开源技术的坚定推进者和建设者，多年来一直不断推动更底层更重磅的技术对外开放。截至目前，腾讯已经对外开源了 170 余个项目，在全球企业开源榜位居前十，获得了超过 47 万的开发者关注和点赞。在本次峰会上，腾讯获颁 “开放原子校源行杰出合作伙伴”“白金捐赠人”“三年杰出贡献人”“开源安全委员会年度贡献单位” 等多项大奖，并参与开源人才教育、操作系统创新、AI 数据存储、木兰峰会等多个分论坛。
未来，腾讯云将秉持开放、开源战略，持续打磨技术能力，携手开放原子开源基金会、广大开发者和各行业合作伙伴，推动我国关键数字基础设施加速突破。
OpenTenBase与TBase是同一产品吗？
从上面提供的相关地址上，不像是同一产品用了两个不同的名字。从"Installation"章节有一张共同的运行时架构图：
真不知道该如何对国产软件进行什么了，这还是大厂出品，能认真点吗？
具备高性能可扩展的分布式事务能力，支持 RC 和 RR 两种隔离级别；
通过安全、管理、审计三权分立体系，提供全方位的数据安全保证机制；
支持高性能分区表，可使得数据检索效率成倍提升；
SQL 方面兼容 2003 标准、PostgreSQL 语法和常用 Oracle 函数&数据类型、窗口函数等；
提供大小商户数据分离、冷热数据分离等高效的数据治理能力
功能：
分布式事务全局一致性能力：通过拥有自主专利的分布式事务一致性技术，包括两阶段提交(Two Phase Commit)以及全局时钟(Global Timestamp)的策略来保证在全分布式环境下的事务一致性。
SQL兼容能力：SQL2003 标准、PostgreSQL 语法、常用 Oracle 函数&数据类型、UDF/UDAF、常见窗口函数、JSON/JSONB/XML/数组等多种 NoSQL 类型 、递归 WITH、无锁 DDL 操作、扩展插件等。
HTAP能力：提供 OLTP 以及 OLAP 两个平面视角 ，OLTP 业务运行在 datanode 主节点上，OLAP 业务运行在 datanode 节点的备节点上，二者的数据同步采用流复制的方式来进行。
读写分离能力：提供了读写和只读两个平面视角，读写流量请求由主节点来处理，只读流量请求由备节点来处理，主备节点的数据同步采用流复制的方式来进行。
卓越的数据安全保障能力：通过三权分立的体系，将传统数据库系统 DBA 的角色分解为三个相互独立的角色：安全管理员、审计管理员、数据管理员;基于此提出安全策略，主要细分为三个部分：数据加密、数据脱敏访问、强制访问控制，三者组合提供多个层级的数据安全保障能力。
高效的数据治理能力：数据倾斜治理，用以解决数据分布不均带来的存储以及性能压力；冷热数据分级存储 ，用以降低业务的存储成本、提升热数据的性能。
多核并行计算能力：节点内部采用了并行计算，根据表大小同时启动多个进程来协同完成一个查询。
多租户能力：基于节点组 node group 的集群内多租户解决方案，做到数据库集群内部的业务和资源隔离，多个业务在TBase内部相互隔离的运行。
多级容灾能力：采用强同步复制来保证主从数据完全一致，保障主节点故障时数据无丢失；提供基于任意时间点的恢复特性来防止误操作带来的数据丢失。
在线扩容能力：通过引入shard map层(shard map 中每一项存储 shardid 和 DN 的 映射关系 ), 在新加节点时，只需要把一些 shard map 中的 shardid 映射到新加的节点，并把对应的数据搬迁过去就可以了，大大缩短扩容时间。
丰富的周边生态能力：PostGIS、异构数据复制、LVS 负载均衡、FDW 联邦能力等。
架构：
集群中有三种节点类型，各自承担不同的功能，通过网络连接成为一个系统。这三种节点类型分别是：
Coordinator：协调节点，对外提供接口，负责数据的分发和查询规划，多个节点位置对等，每个节点都提供相同的数据库视图，CN 存储系统的全局元数据。
Datanode：处理存储本节点相关的元数据，每个节点还存储数据的一个分片。在功能上，DN 节点负责完成执行协调节点分发的执行请求。
GTM：全局事务管理器(Global transaction manager.)，负责管理集群事务信息，同时管理集群的全局对象，比如序列，除此之外 GTM 上不提供其他的功能。
适用场景：
在国产化落地、业务核心领域去 O 场景；
对 HTAP 混合事务分析应用模型有需要的业务场景；
对物联网地理信息系统有需求的业务场景；
对实时高并发环境下的分布式事务强一致性有要求的业务(如金融、证券等业务)场景；
对企业级数据安全、审计、治理应用相关功能有需求的业务场景；
对高可用、异地容灾、7*24 小时服务能力有需求的业务场景；
有海量存储计算需求、弹性扩容、在线扩容需求的业务场景；
对异构数据互通共享有需求的业务场景。
HTAP 业务系统
在数据库系统应用中，OLTP 场景涉及数据量小，但对返回实时性要求高，OLAP 类场景涉及的数据量和计算量大，但是对实时性要求不高，一套系统里能同时覆盖 OLTP 以及 OLAP 场景是业务对数据库系统的一个很强烈的诉求。TBase 特有的架构设计，可同时覆盖 OLTP 和 OLAP 的需求。
物联网地理信息系统
在物联网场景中，很多的传感器接入数据(热点 WIFI 数据、车辆行驶数轨迹数据等)都包含一些点位信息(经度和纬度)。TBase 结合这些位置信息和已有的地理信息进行关联分析，可以得到价值很高的数据。此外，TBase 支持最先进的开源地理信息引擎 PostGIS，可以提供丰富高效的地理信息处理能力。
实时高并发事务系统
互联网、移动话联网、电商等业务的蓬勃发展，使客户量不断增长，业务核心系统需经受高并发访问的考验。TBase 的 share nothing 架构可以在线平滑地扩展实例规模，从容应对此类场景；同时，TBase 提供的分布式事务一致性能力能保证高并发场景下的分布式系统事务一致性。
最新版本：2.1
相关页面：
项目主页
TBase使用手册
TBase On Github
腾讯云捐赠 OpenTenBase 数据库软件
2023年12月16日，在 2023 开放原子开发者大会上，腾讯云宣布将企业级分布式数据库 TDSQL 的在GitHub社区发行版 OpenTenBase 捐赠给开放原子基金会，通过开源共创的方式，与上下游产业链以及开发者共同打造繁荣数据库技术生态。
OpenTenBase目前已在腾讯社交、游戏、广告、金融等内部业务及外部商用场景下打磨 10 年以上，可完美适用于拥有海量数据、高并发、高 HTAP，以及分布式事务能力的应用场景。这是继编译器软件 OpenKona JDK，以及全链路自主演进的操作系统 OpenCloudOS 之后，腾讯捐赠的又一重磅基础软件项目。
OpenTenBase是腾讯云数据库团队在PostgreSQL基础上研发的企业级分布式HTAP开源数据库，集高扩展性、高 SQL 兼容度、完整的分布式事务支持、多级容灾能力以及多维度资源隔离等能力于一身，已经成功应用在金融、政府、电信、医疗等行业的核心业务系统。其结合内部复杂多样的业务场景以及外部商用的企业级场景需求，凝聚产业上下游力量共建基础能力，秉持着“开源开放合力共创”的理念，与上下游用户、开发者、行业伙伴共同构建一个开放繁荣的数据库生态，降低用户使用门槛，给用户带来创新价值。
开放原子开源基金会秘书长冯冠霖表示：“很高兴看到腾讯能够把多年研发打磨、通过海量业务场景考验的基础软件数据库项目 OpenTenBase 开源并捐赠到基金会，未来，基金会将秉持中立开放的态度，与业界一起将 OpenTenBase 打造成为具有全球影响力的优秀开源项目。”
数据库作为计算机三大基础软件之一，向下可充分发挥硬件算力，向上支撑上层的应用需求，是信息系统高效运行的关键基础。腾讯云数据库研发总经理潘安群表示，OpenTenBase 数据库在技术上填补了业内基于 PostgreSQL 的开源分布式 OLTP 系统空白，并且集 HTAP 双引擎、分布式事务一致性、高 SQL 兼容度、复杂查询等技术能力于一身，能够为企业数字化转型提供强有力支撑。
比如在引擎方面，OpenTenBase 同时支持 OLTP（在线交易处理）和 OLAP（在线分析处理）能力，能够有效降低业务架构复杂度和成本；在事务一致性方面，引入全局事务管理节点来管理分布式事务，通过分布式事务一致性技术来保证在全分布式环境下的事务一致性；在兼容性方面，高度兼容 PostgreSQL 版本和 Oracle 版本；在查询方面则全新开发分布式查询优化器，可将复杂查询的性能提升十倍以上。
腾讯云数据库 TDSQL 近年来在多个领域取得重要突破，在性能上，2023年3月刷新 TPC-C 世界记录，每分钟事务处理数达到 8.14 亿；在最新的 IDC 报告中，位居中国分布式关系型数据库 “领导者” 类别，并在市场份额上取得国内第一的成绩。腾讯云数据库总经理王义成介绍，TDSQL已涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系，提供业界领先的金融级高可用、存算分离、数据仓库、企业级安全等能力。未来会持续投入和突破数据库核心技术，打造更加健康可持续发展的数据库生态和开源社区，为企业数字化转型提供长久动力。
腾讯是开源技术的坚定推进者和建设者，多年来一直不断推动更底层更重磅的技术对外开放。截至目前，腾讯已经对外开源了 170 余个项目，在全球企业开源榜位居前十，获得了超过 47 万的开发者关注和点赞。在本次峰会上，腾讯获颁 “开放原子校源行杰出合作伙伴”“白金捐赠人”“三年杰出贡献人”“开源安全委员会年度贡献单位” 等多项大奖，并参与开源人才教育、操作系统创新、AI 数据存储、木兰峰会等多个分论坛。
未来，腾讯云将秉持开放、开源战略，持续打磨技术能力，携手开放原子开源基金会、广大开发者和各行业合作伙伴，推动我国关键数字基础设施加速突破。
OpenTenBase与TBase是同一产品吗？
从上面提供的相关地址上，不像是同一产品用了两个不同的名字。从"Installation"章节有一张共同的运行时架构图：
真不知道该如何对国产软件进行什么了，这还是大厂出品，能认真点吗？