如何分离不同说话人的语音信号？深度学习单通道语音分离方法最新综述

原创范存航 NatureNLP

语音分离又被称为鸡尾酒会议问题，其目标是指从多个混合的说话人中将每个目标说话人的语音信号给分离出来。近年来，基于深度学习的单通道语音分离在学术界和工业界受到广泛的关注，其也是语音信号处理中一个很重要的方向。本文主要分享下近几年基于深度学习的单通道语音分离方法。

1.基于频域的语音分离方法

现有的语音分离方法大多数是基于频域进行的，具体的流程如下图所示：

图1 语音增强和分离流程图

首先，时域上的语音信号经过短时傅里叶变换(short-time Fourier transformation, STFT)后，将一维的时域信号变换到二维的频域信号。此时得到的是一个复数值，语音增强或者分离往往只利用STFT的幅值谱作为输入特征。经过增强或者分离算法，估计出目标语音信号的掩蔽值。然后，利用混合语音的幅值谱与估计出来的掩蔽值对应点乘积得到估计出来的目标语音信号的幅值谱。最后，利用增强后的幅值谱和原始的相位谱进行逆傅里叶变换(ISTFT)，得到增强后的语音信号。

1.1 深度聚类算法(deep clustering, DC)

深度聚类算法[Hershey et al, ICASSP 2016]的主要思想是将一个(T,F)维度的混合语音幅值谱特征，映射到一个更高维度(T,F,D)的深度嵌入式特征空间中，即对每一个时频单元(t,f)映射成一个D维的特征向量。这样，将二维特征映射到三维空间使得输入的混合特征更加具有区分性。最后，利用K-means聚类算法对该嵌入式向量进行聚类，得到估计出来的目标掩蔽值(binary mask)。其中映射过程是利用深度神经网络实现的，其训练的目标函数为：

其中，V就是对应的嵌入式向量，Y为理想二值掩蔽值(IBM)。

DC很好的解决了单通语音分离中的排列组合问题，但是其还存在以下两个缺点：

1.DC定义的目标损失函数是在嵌入式向量上，而不是真正的目标语音的幅值谱，这样就没有办法进行端到端训练，此外，最主要的是该嵌入式向量跟目标语音存在一定的误差，所以这样做会损害语音分离的性能；

2.DC的性能受限于K-means聚类算法，并且只能得到binary mask，但是对于语音分离和增强来说往往浮点型的mask会取得更好的效果。

1.2 排列不变性训练准则(PIT)

对于说话人无关的语音分离来说其最大的难点就在于解决网络输出的排列组合问题。因为我们要把每个目标说话人的语音都给估计出来，所以对于网络来说怎么确定每个目标说话人的输出顺序是很难的一个问题。具体来说，对于一个两个说话人混合的问题，比如输入混合语音AB，网络第一个输出A，第二个输出B；当输入BC时，网络第一个输出C，第二个输出B；但是当混合语音是AC时，此时网络可能就不知道第一个该输出谁，这样就会存在矛盾。所以为了解决这个问题，俞栋老师在2017年的时候提出一种排列不变性训练准则(PIT) [Dong Yu et al, ICASSP 2017]要解决办法是输出所有可能的排列组合，然后选择均方误差(MSE)最小的组合作为优化目标。具体的算法框图如下：

图2 PIT算法框图

PIT算法包括帧级别和句子级别，理论情况下基于帧级别的PIT是最理想的情况，但是帧级别的PIT在将所有帧整合成一句话的时候没办确定哪些帧属于同一个说话人，因此还需要一个说话人追踪的技术。为了解决这个问题，基于句子级别的PIT(uPIT)算法，以句子为单位，计算所有可能的排列组合，选择最小的MSE作为优化目标。其目标训练函数为：

PIT算法给说话人无关的语音分离提供了一个很好的训练准则以处理排列组合问题。

1.3 基于深度嵌入式特征和区分性学习的语音分离方法

为了解决DC算法的缺点，Cunhang Fan等人在2019年的时候提出了一种基于深度嵌入式特征和区分性学习的语音分离方法(DEF-DL)[Cunhang Fan et al, INTERSPEECH 2019]。该方法主要是将DC看成一个特征提取器，利用DC算法提取一个具有区分性的深度嵌入式特征。这是因为利用DC可以将每个时频单元映射到一个更高维度的向量空间，从而获取深度嵌入式向量，利用无监督的K-means聚类算法就可以将混合语音分离出来，所以该深度嵌入式向量是一个很具有区分性的语音分离特征。为了使得目标函数可以直接定义在真实的目标幅值谱上，DEF-DL利用有监督的网络替换掉了K-means聚类算法。即将该深度嵌入式特征作为uPIT网络的输入特征，将目标语音分离出来。其整体框图如下图所示：

图3 DEF-DL算法框图

此外，为了进一步提升语音分离的性能，该算法还引入了区分性学习，即增大不同说话人之间的距离，减小相同说话人之间的距离。最后利用联合训练的方式同时优化DC和PIT部分。

该算法很好的解决了DC的两个缺点，同时很好地将DC和PIT算法深度的融合起来，取得了不错了分离效果。

1.4 小结

基于频域的语音分离方法还有很多，在此就不一一列举出来。以上的三种语音分离方法都存在一个共同的问题就是相位不匹配的问题，即增强的幅值谱和原始混合的相位谱进行ISTFT，会对语音分离的性能有一定的影响。因此，为了解决这个问题，在频域上的解决办法有两大类：1.对相位信息进行补偿；2.利用复数谱进行语音分离。

关于相位补偿语音分离方法，Zhongqiu Wang, Deliang Wang等人提出了WA-MISI[INTERSPEECH 2018]和Sign prediction net[ICASSP 2019]等方法。

关于复数谱的语音分离方法，Yuzhou Liu, Deliang Wang[TASLP 2019]等人提出了Deep CASA的方法。

2.基于时域的语音分离方法

解决相位不匹配的另外一类解决办法就是在时域上进行语音分离，即利用时域的波形点作为特征输入，输出为时域的波形点，这样端到端的训练就可以避免相位不匹配的问题。这是因为时域上包含了语音的所有特征(幅值谱和相位谱都包含在其中)，所以直接端到端的训练就可以避免相位不匹配的问题。

2.1 Conv-TasNet

Covn-TasNet是Yi Luo等人[Yi Luo, et al, TASLP 2019]在2019年提出来的一种语音分离方法，达到了当时最好的语音分离性能。在Covn-TasNet之前，Yi Luo等人在2018年的时候就提出了一种TasNet[Yi Luo, et al, ICASSP 2018]的语音分离方法，该方法中包含了LSTM层，而Covn-TasNet则是全卷积网络的模型，利用TCN结构替换掉了LSTM。本节重点讲述Covn-TasNet，TasNet就不做展开。

Covn-TasNet由编码器，分离模块和解码器三个主要部分组成。

编码器，利用一维卷积替换掉STFT对时域的波形点进行编码，用网络去学习编码参数。

分离模块，利用编码器编码出来的特征作为输入，使用TCN结构作为分离模块。分离模块的输出为类似频域上的掩蔽值，最后与编码器的输出进行乘积得到最终的分离特征。

解码器，利用转置一维卷积将分离后的特征解码出来得到分离后的目标语音信号。

Covn-TasNet直接以SI-SNR作为目标函数，这样可以进一步提升语音分离的性能：

Covn-TasNet的整体框图如下图所示：

图4 Covn-TasNet的整体框图

2.2 Dual-Path RNN(DPRNN)

Covn-TasNet存在一个问题就是没有办法整合整句话的信息，即它只能关注到切割语音长度的信息。为了解决这个问题，Yi Luo和Zhuo Chen等人[Yi Luo, Zhuo Chen, et al, ICASSP 2020]在2020年提出了一种DPRNN的语音分离方法。

DPRNN不光会考虑切割语音长度的信息，同时也会整合整句的信息，来使得分离网络可以关注到更长的语音信息。这也使得DPRNN刷新了语音分离的性能。其具体的算法框图如下图所示：

图5 DPRNN算法框图

2.3基于深度注意力融合特征和端到端后置滤波的语音分离方法(E2EPF)

针对频域上语音分离的相位不匹配问题和分离的性能不好，分离后的语音仍然含有干扰源的问题，Cunhang Fan等人在2020年提出一种基于深度注意力融合特征和端到端后置滤波的语音分离方法(E2EPF)[ Cunhang Fan, et al. TASLP 2020]。

该方法利用后置滤波的思想去做语音分离，将语音分离分成两个阶段。第一个阶段使用频域的语音分离方法对混合的语音进行初步的分离。为了进一步增强预分离的语音，使用端到端后置滤波和深度注意力融合特征来提升分离后语音的可懂度。深度注意力融合的特征其主要作用是使分离后的特征可以动态的关注语音分离的语音，从而在进行端到端后置滤波的时候可以更好地分离出目标语音。

E2EPF算法框图如下图所示：

图6 E2EPF算法框图

2.4 小结

基于时域的语音分离方法可以取得一个很好的分离效果，但是由于是逐点计算的，所以网络的batch size不能太大，这导致了模型训练速度比较慢的问题。

3.总结

尽管目前语音分离方法取得了很大的进展，但是在真实环境下，语音分离还面临着模型的泛化性问题。即没有办法获取真实的平行训练数据，因此只能使用模拟仿真的数据去训练模型，这导致训练数据和测试数据不匹配的问题。所以这是在真实环境下多说话人语音分离性能不佳的主要原因。

此外，随着短视频的活跃，目前好多场景都可以获取到audio-visual的多模态数据。因此，基于多模态的语音分离方法或许可以给语音分离的落地提供一点解决思路。

【参考文献】

[1] Hershey J R, Chen Z, Roux J L, et al. Deep clustering: Discriminative embeddings for segmentation and separation[C]. ICASSP, 2016: 31-35.

[2] Yu D, Kolbaek M, Tan Z, et al. Permutation invariant training of deep models for speaker-independent multi-talker speech separation[C]. ICASSP, 2017: 241-245.

[3] Kolbaek M, Yu D, Tan Z, et al. Multitalker Speech Separation With Utterance-Level Permutation Invariant Training of Deep Recurrent Neural Networks[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2017, 25(10): 1901-1913.

[4] Fan C, Liu B, Tao J, et al. Discriminative Learning for Monaural Speech Separation Using Deep Embedding Features[C]. interspeech, 2019.

[5] Wang Z, Roux J L, Wang D, et al. End-to-End Speech Separation with Unfolded Iterative Phase Reconstruction[C]. interspeech, 2018: 2708-2712.

[6] Wang Z, Tan K, Wang D, et al. Deep Learning Based Phase Reconstruction for Speaker Separation: A Trigonometric Perspective[C]. ICASSP, 2019: 71-75.

[7] Liu Y, Wang D. Divide and Conquer: A Deep CASA Approach to Talker-Independent Monaural Speaker Separation[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2019, 27(12): 2092-2102.

[8] Luo Y, Mesgarani N. TaSNet: Time-Domain Audio Separation Network for Real-Time, Single-Channel Speech Separation[C]. ICASSP, 2018: 696-700.

[9] Luo Y, Mesgarani N. Conv-TasNet: Surpassing Ideal Time–Frequency Magnitude Masking for Speech Separation[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2019, 27(8): 1256-1266.

[10] Fan C, Tao J, Liu B, et al. End-to-End Post-filter for Speech Separation with Deep Attention Fusion Features[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2020: 1303-1314.

END

如有侵权请联系小编删除

继续滑动看下一个