TDSQL-C PostgreSQL(CynosDB) 内核解密-披荆斩棘,勇往直前的腾讯云数据库

TDSQL-C 采用计算和存储分离的架构，所有计算节点共享一份数据，存储容量高达128TB，单库最高可扩展至16节点，提供秒级的配置升降级、秒级的故障恢复和数据备份容灾服务。TDSQL-C既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。TDSQL-C 不仅在性能、扩展性和高可用方面有大幅提升，计算存储的解耦使得计算层和存储层都获得了很大的独立优化空间。

Primary Instance是数据库的读写实例（RW），负责接收数据库的读写请求，Replica Instance是数据库的只读实例（RO），负责处理数据库的只读请求，目前可以支持扩展最多15个Replica实例。

CynosFileSystem是用户态分布式文件系统，主要提供分布式的文件管理，为CynosPG实例提供文件存储服务。CynosFS是专为云原生数据库而打造的分布式用户态文件系统，将传统分布式文件系统优势与云原生数据库相关特征进行融合，是TDSQL-C弹性扩展、海量存储、高性价比的基石。

CynosStoreAgent、 CynosStoreMeta、CynosStoreNode 构成分布式云存储系统CynosStore（一个支持日志的、提供多版本读的、分布式的块设备存储）。其中CynosStoreNode存储节点负责数据库的实际数据存储。同时CynosStore将日志实时同步到腾讯云冷存储（COS）上，用于基于时间点的数据备份与恢复服务。

Primary Instance和分布式存储之间传输的是日志流。Primary Instance将数据变更以日志的方式发送到CynosStore中，CynosStore会定期的将日志合并到数据页面上，因此无需将脏页写到存储中，这是与传统数据库很大不同的地方。Replica Instance没有写事务，因此，不会向CynosStore发送日志信息，但是会请求读取页面。Primary Instance也会将日志同步到Replica Instance中，Replica Instance会使用收到的日志更新内存中的数据页面，当Replica Instance切换成Primary Instance时，可以直接使用这些最新的页面对外提供服务，无需再次从CynosStore中读取页面。

TDSQL-C实现原理：日志即数据库。基于此实现的数据库系统专为云原生而打造。数据库的Primary Instance会产生日志，并保存到CynosStore中，因此我们从存储上，针对于每一个数据页面，均可以拿到基于日志回放的任何时间的页面版本。也就是说，CynosStore提供了一个基于页面的多版本存储系统，每一个版本都是基于一个或者多个MTR的回放（Mini-Transaction Record：多条日志的集合，用来保证数据库中的页面或者索引结构从一个“一致性”状态，到另一个“一致性状态”）。

数据库引擎CynosPG基于PostgreSQL而来，PostgreSQL是世界上功能最强大最先进的开源数据库。经过长达30年以上的积极开发和不断演进，PostgreSQL已在可靠性、稳定性、数据一致性等获得了业内极高的声誉。CynosPG主要对PostgreSQL日志系统和存储系统进行改造，以及深度的内核性能及功能优化，对于PostgreSQL SQL引擎架构改动有限，因此CynosPG可以完全兼容PostgreSQL原生的功能。

分布式用户态文件系统CynosFileSystem，为实例提供分布式的文件管理，负责将文件的读写请求翻译为对应的BLOCK读写，CynosFileSystem为实例提供Pool维度的存储访问，如上图所示。

CynosStoreAgent为CynosFS提供SG维度的存储访问，提供SG的读写接口，对于读写请求有不同处理。 写请求：将修改日志通过LOG API发送到CynosStoreNode，读请求：直接通过BLOCK API读取CynosStoreNode数据。CynosStoreAgent 除了承担计算层与存储层的读写交互，也负责主备间日志流同步，对于CynosPG主备实例间只通过CynosStoreAgent进行交互。在工程实现上，由于现代多核和多插槽计算机对于跨核间的数据共享（atomic instruction、cache line bouncing、memory fences）代价非常大，CynosStoreAgent（无锁实现）工程实现上使用了创新的share-nothing编程异步框架，一种无需耗时锁定即可在 CPU 内核之间共享信息的设计，面向现代新硬件技术的优势实现了极致性能。

CynosStoreNode以Segment为维度进行资源管理，Segment Group内3个Segment实际存储同一份数据，通过一致性协议（Raft）进行同步。CynosStoreNode负责Segment日志的处理、BLOCK数据的异步回放、读请求的页面多版本支持等。同时还负责将日志备份到Cold Backup Storage（COS），进行增量备份，根据增量备份，可以灵活的生成全量备份和差异备份。相比于传统的开源数据库，云原生数据库TDSQL-C计算层仍然包含传统内核的大部分组件（查询处理器、事务管理、锁、缓存实现以及MVCC），但有几个重要核心功能（redo日志记录、日志回放、持久存储、崩溃恢复和备份/恢复）均下沉到存储层。在工程实现上，CynosStoreNode（无锁实现）与CynosStoreAgent一样，使用了创新的share-nothing的编程异步框架，无共享模型的异步框架，结合现代新硬件技术，实现存储层的极致性能。

CynosStoreMeta负责CynosStore Service资源的分配和调度，采用一主两从架构，包括 Pool调度和 SG 调度、备份回档调度，以及维护Pool和SG的对应关系。CynosStoreMeta两类调度一个是资源池Pool调度（自动扩缩容 Pool），一个是 SegmentGroup 调度（增减副本，leader切换，资源均衡等）。

相关概念——

Segment（Seg）：Storage Service管理数据BLOCK和日志的最小单元（10GB），也是数据复制的实体。图中同样颜色的3个Segment实际存储同一份数据，通过一致性协议（Raft）进行同步，我们叫做Segment Group（SG）。

Pool：多个Segment Group（SG）从逻辑上构成一个连续的存储数据BLOCK的块设备，供上层的CynosFileSystem分配使用。Pool和Segment是一对多的关系。