PB级数仓GaussDB(DWS)性能黑科技之并行计算技术解密

⬆️  点箭头指向的蓝色小字关注我

摘要：

随着硬件系统的越来越好，数据库运行的CPU、磁盘、内存资源都日渐增大，SQL语句的串行执行由于不能充分利用资源，已经不能满足日益发展的需要。为此，GaussDB(DWS)开发了并行计算技术，在语句执行时可以充分利用硬件资源进行并行加速，提高执行的吞吐率。本文将详细介绍GaussDB(DWS)并行计算技术的原理，以及其在performance信息中的展示，帮助各位开发者朋友更好地分析并行的性能。

并行计算的原理很简单，将原本一个线程的工作平均分配到多个线程来完成，示意图如下图所示：图示中的关联操作，原本需要操作四份数据，通过并行度为4的并行计算后，每个子线程仅需要处理一份数据，理论上性能提升可以达到4倍。

对应的performance信息为：

通过将performance信息转变为计划树，可以得到该计划的计划树如下图所示：其中1-3号算子在CN上执行，DN上以跨线程数据传输的Stream算子进行分隔，一共会启动5个线程。GaussDB(DWS)采用pipeline的迭代执行模式，线程4和5从磁盘读取数据，其它每个Stream算子分隔的线程从子线程读取数据，进行执行，并将结果返回给上层算子，顶层DN线程将数据返回给CN处理。通过这个图，我们可以看出，线程1，4，5采用的并行度是1，而线程2，3采用的并行度是26。通过计划信息，我们可以看出，8-13号算子处理的数据量较大，刚好是线程2，3处理的范围，所以选择了较高的并行度。

1）Streaming(type: SPLIT REDISTRIBUTE)：同串行场景下的Redistribute，但以线程为单位进行数据传输，每条元组发送给一个目的线程。

2）Streaming(type: SPLIT BROADCAST)：同串行场景下的Broadcast，但以线程为单位进行数据传输，每个线程都将收到全量数据。

3）Streaming(type: LOCAL REDISTRIBUTE)：作用是DN内部根据当前分布键进行数据Redistribute。通常作用于基表扫描后，因为基表扫描是按页面进行线程划分，此时线程间并不是按DN的分布键分布的，需要增加该DN内重分布操作。

4）Streaming(type: LOCAL BROADCAST)：作用是DN内部进行数据Broadcast，每个线程把数据发送给这个DN的所有线程，每个线程获得该DN的全量数据。

5）Streaming(type: LOCAL GATHER)：作用是DN内部把数据从多线程汇总到一个线程。

注意：“dop:N/M”表示发送端的dop为M，接收端的dop为N，从而完成从M个线程的并行度转变为N个线程并行度的任务。

1）query_dop=1，串行执行，默认值

2）query_dop=[2..N]，指定并行执行并行度

3）query_dop=0，自适应调优，根据系统资源和语句复杂度情况自适应选择并行度

由于自适应选择并行度是根据语句复杂度和系统资源利用情况来进行选择，而系统资源利用情况是获取前一段时间的资源利用情况，有可能出现不准确的情况，此时就需要人为来设置并行度了。人为设置并行度，并不是设置越大越好，dop设置过大，会导致系统中的线程数量急剧增多，导致CPU冲突进行线程切换的额外开销。要想人为设置并行度，同样需要使用单机CPU核数和语句复杂程度进行考量。我们定义单机CPU核数/单机DN数为每个DN可用的CPU核数x，然后根据串行计划中DN Stream算子的个数初步判定语句的复杂度y（例如下图TPC-H Q1计划中只有一个Stream节点，则y为1），单并发时，使用x/y的值设置query_dop。并发场景，再除以并发数p设置query_dop。由于此公式为粗略估计值，因此在设置时可以考虑扩大搜索范围，来寻找合适的并行度。

华为云数仓GaussDB(DWS)

和您分享最新最全的PB级数仓黑科技

点左下角可“阅读原文”了解更多哦~