ICASSP 2022 成果速递：时频感知模型引领单通道语音增强革新

2025年9月20日 互联网

一、技术背景与行业痛点

在智能设备普及的今天，单通道语音增强技术成为语音交互系统的核心组件。传统方法如谱减法、维纳滤波等依赖统计假设，在非平稳噪声（如交通噪声、多人交谈）场景下性能急剧下降。深度学习虽带来突破，但多数模型直接处理时域信号或简单频谱，忽视语音与噪声在时频域的差异化分布特征。

ICASSP 2022提出的时频感知域模型，正是针对这一痛点展开创新。研究团队发现，语音信号在时频域呈现独特的能量聚集模式：语音谐波在频域形成离散谱线，而噪声能量通常均匀分布。通过构建时频感知网络，模型可精准捕捉这些特征差异，实现噪声与语音的解耦分离。

二、时频感知域模型的核心架构

1. 双流特征提取网络

模型采用双分支结构并行处理时域与频域信息：

  • 时域分支：使用1D卷积层提取短期时序特征，捕捉语音的基频周期性与起始点特征。
  • 频域分支：通过短时傅里叶变换（STFT）将信号转换至频域，利用2D卷积核学习频谱的纹理模式。
  1. # 伪代码示例：双流特征提取
  2. class DualStreamExtractor(nn.Module):
  3.     def __init__(self):
  4.         super().__init__()
  5.         self.time_branch = nn.Sequential(
  6.             nn.Conv1d(1, 64, kernel_size=3, padding=1),
  7.             nn.ReLU()
  8.         )
  9.         self.freq_branch = nn.Sequential(
  10.             nn.Conv2d(1, 64, kernel_size=(3,3), padding=(1,1)),
  11.             nn.ReLU()
  12.         )
  14.     def forward(self, x):
  15.         # x: (batch, 1, samples)
  16.         time_feat = self.time_branch(x.unsqueeze(1))  # 时域特征
  17.         freq_feat = self.freq_branch(torch.stft(x).unsqueeze(1))  # 频域特征
  18.         return torch.cat([time_feat, freq_feat], dim=1)

2. 时频注意力机制

引入时空注意力模块（STAM），动态调整不同时频单元的权重：

  • 频率注意力：通过自注意力机制识别关键频带（如语音共振峰区域）
  • 时间注意力：聚焦语音活动段，抑制长时静音区的噪声累积

实验表明，该机制使模型在3dB信噪比下的语音质量评分（PESQ）提升0.32，显著优于传统CRN模型。

三、关键技术创新点

1. 多尺度时频融合

模型采用渐进式特征融合策略：

  1. 浅层：独立处理时/频特征，保留原始域信息
  2. 中层：通过交叉注意力实现时频交互
  3. 深层：融合特征输入LSTM网络进行序列建模

这种设计使模型既能捕捉局部时频模式，又能建模语音的长期依赖关系。

2. 损失函数设计

采用复合损失函数优化：

  • 频域损失：基于理想比率掩码（IRM）的MSE损失
  • 时域损失：短时客观可懂度（STOI）导向的损失
  • 感知损失：预训练语音识别网络的特征匹配损失
  1. % 损失函数组合示例
  2. function total_loss = composite_loss(est_mask, clean_spec, est_wave, clean_wave, asr_model)
  3.     irm_loss = mse(est_mask, ideal_ratio_mask(clean_spec));
  4.     stoi_loss = 1 - stoi(est_wave, clean_wave);
  5.     asr_loss = mse(asr_model(est_wave), asr_model(clean_wave));
  6.     total_loss = 0.6*irm_loss + 0.3*stoi_loss + 0.1*asr_loss;
  7. end

3. 轻量化部署优化

针对实时应用需求，研究团队提出：

  • 频谱压缩：将257维频谱压缩至64维，通过1x1卷积实现维度变换
  • 知识蒸馏：用大模型指导小模型训练，保持95%性能的同时参数量减少70%
  • 定点化实现：在ARM Cortex-M7处理器上实现10ms延迟的实时处理

四、实验验证与性能分析

在DNS Challenge 2022数据集上的测试显示：
| 指标 | 传统CRN | 本方法 | 提升幅度 |
|———————|————-|————|—————|
| PESQ | 2.15 | 2.58 | +19.5% |
| STOI | 0.82 | 0.89 | +8.5% |
| 实时因子(RTF)| 0.32 | 0.18 | -43.7% |

特别在非平稳噪声场景（如婴儿啼哭、键盘敲击声）中，模型展现出更强的鲁棒性。主观听测显示，87%的测试者认为增强后的语音”更清晰自然”。

五、实际应用建议

  1. 硬件适配：对于资源受限设备，建议采用8位定点量化版本，配合DSP加速
  2. 噪声场景优化：可针对特定噪声类型（如风扇噪声）微调频域注意力模块
  3. 联合优化：与声源定位算法结合，实现多模态语音增强
  4. 持续学习：部署在线自适应模块，应对用户口音、麦克风特性变化

六、未来研究方向

当前工作仍存在以下改进空间：

  1. 三维时频建模：引入时-频-空三维注意力，处理多麦克风阵列信号
  2. 无监督学习：探索自监督预训练方法，减少对标注数据的依赖
  3. 神经声码器集成：将增强与波形生成统一建模，避免级联误差

ICASSP 2022的这项成果标志着单通道语音增强进入时频感知新时代。其核心思想——通过显式建模语音的时频特性实现精准增强——为后续研究提供了重要范式。随着模型轻量化技术的成熟，该技术有望在TWS耳机、智能音箱、助听器等领域实现广泛落地。

最新文章