[控场AI]
· 3 分钟阅读· 1,792 字

CallCleaner:轻量级生物声学降噪新突破

CallCleaner:轻量级生物声学降噪新突破

蒸馏SAM-Audio得1900万参数CallCleaner,CPU实时90倍降噪。

野外动物录音常受天气、车辆等背景噪声干扰,干净训练数据稀缺且动物声音多样,降噪困难。传统谱门限会残留噪声,专用神经生物声学降噪器去噪能力有限。新研究利用通用音频分离基础模型SAM-Audio,在无需训练、仅用简单动物VAD提供时间提示下去除更多噪声,并将其蒸馏为1900万参数的CallCleaner,可在笔记本CPU上以约90倍实时运行且无需检测器。评估指出SI-SDR指标存在局限,采用分离指标后,CallCleaner比Biodenoising少留11 dB噪声,在噪声去除与叫声保真度的帕累托前沿上占优。代码和权重已开源。

野外录音中的动物叫声常被天气、车辆和其他动物的背景噪声干扰,而获取干净训练数据的困难与动物声音的极端多样性让降噪成为挑战。传统谱门限方法会残留噪声,尤其缺乏语音活动检测(VAD)时;专为生物声学设计的无检测器神经网络降噪器虽无需VAD,但去除噪声能力有限。一项新研究指出,通用音频分离基础模型 SAM-Audio 在无需训练、仅用简单动物VAD提供时间提示的情况下,能比上述两类方法去除更多噪声。为将这一重型方法实用化,研究者将其蒸馏为 CallCleaner——一个仅1900万参数、无需检测器、在笔记本电脑CPU上运行速度约为实时90倍的降噪器。

CallCleaner 研究概览

从重型模型到轻量工具:蒸馏策略

SAM-Audio 作为通用音频分离基础模型,具备强大的源分离能力,但计算开销大,难以在本地设备实时运行。研究者采用知识蒸馏技术,将 SAM-Audio 的能力迁移到一个小型学生模型 CallCleaner 中。该模型参数量仅1900万,却能在CPU上实现约90倍实时处理速度,且完全无需检测器。这意味着用户可以在普通笔记本电脑上快速完成降噪,无需GPU或专用硬件,同时保证了隐私——所有处理均在本地进行。

知识蒸馏是一种模型压缩技术:让一个已训练好的大型“教师模型”在大量输入上产生输出(软标签),小型“学生模型”则同时学习真实标签和教师输出分布,从而以远小于教师的参数量逼近其行为。在音频分离任务中,学生模型学习的是教师如何从混合信号中估计目标声源。由于学生模型结构更紧凑、推理时无需运行教师网络,因此显著降低了计算和内存开销,使实时、本地部署成为可能。

动物VAD(语音活动检测) 在生物声学中用于判断一段音频里何时存在目标动物叫声,并给出时间片段提示。与语音VAD不同,动物叫声的频段、时长和模式差异极大,通常需要针对物种或类群定制简单检测器。本文所用方案仅需这种轻量时间提示来引导分离模型关注叫声出现的时段,而不要求精确的逐帧掩码,因此降低了对检测精度的依赖,也使系统保持“无检测器”的轻量特性。

性能对比:噪声去除与叫声保真度的权衡

在评估降噪效果时,传统指标 SI-SDR(尺度不变信号失真比)存在局限:它会惩罚再生输出,并将噪声去除与叫声保真度混为一谈。研究者采用分离的指标揭示了两者间的权衡关系。实验显示,CallCleaner 在叫声周围留下的噪声比当前公开权重领先的神经生物声学降噪器 Biodenoising 少11 dB。在快速、CPU可用的系统中,CallCleaner 在噪声去除与叫声保真度的帕累托前沿上占据优势,且无需检测器。

SI-SDR(尺度不变信号失真比) 衡量估计信号与参考信号在允许尺度缩放后的相似度,数值越高表示失真越小。但它基于波形逐点比较,对生成式模型引入的相位或时移变化极为敏感,且将“残留噪声”和“目标失真”混为单一分数。因此,在降噪评估中,SI-SDR 可能惩罚听感良好的再生输出,也无法分别回答“噪声去除了多少”与“叫声保留了多少”。改用噪声抑制量与目标保真度两个独立指标,才能刻画出方法在帕累托前沿上的真实位置。

帕累托前沿指在多目标优化中,无法在不牺牲某一目标的前提下改进另一目标的解集合。在降噪中,它对应“噪声去除量”与“叫声保真度”之间的最优权衡曲线:曲线上的方法已达到当前最佳折中,曲线下方的方法则存在可同时改进的空间。将不同系统投影到该平面上,可直观比较它们在同等保真度下谁去除噪声更多,或在同等噪声残留下谁保真度更高。

实际意义与开源贡献

CallCleaner 专为单发声者录音设计,支持快速、隐私的本地降噪,无需专业硬件。研究者已开源代码和权重,方便研究者和开发者直接使用或进一步改进。这项工作展示了如何将通用音频基础模型的能力浓缩为实用工具,推动生物声学研究的野外录音处理效率。

CallCleaner 示意图

随着动物行为研究和生物多样性监测对音频数据质量要求的提升,CallCleaner 这类轻量级、无需检测器的降噪方案有望成为生态学家和声学研究者工具箱中的新成员。

#CallCleaner#生物声学降噪#音频降噪#轻量级模型#SAM-Audio#知识蒸馏#动物声音处理
分享:

相关推荐