论文解读 · 2026年10月17日
学习在哪里切分：面向音频音源分离的动态频带划分
Learning Where to Split: Dynamic Band Splitting for Audio Source Separation
提出DBS，不使用固定频带，而是针对每个输入预测频带边界，同时保持token数量不变，在三个数据集上提升了多个band-split分离模型的性能。
问题
BSRNN等band-split音源分离模型将频谱按人工预先设定的频带划分，并将每个频带压缩为一个token。然而，信息丰富的频率区间因音源内容而异。固定边界可能会把需要区分的成分混入同一频带，或在信息较少的区域浪费token。
方法
将频率轴分为4个固定块，并为每个块设定使用的频带数（token预算）。在块内，通过时间卷积、幅度统计量和BiLSTM预测相邻频率bin之间的边界得分。用Hard Top-K选出固定数量的边界来形成频带。每个频带经过基于内容的加权池化变为一个token，再输入现有的分离主干网络（BSRNN、TIGER、BS-RoFormer、MelRoFormer）。分离后，用边界概率平滑地连接token，再展开回原始STFT分辨率。沿频率方向进行细化，并用所有频率共享的头预测复数掩码。离散的边界选择通过straight-through estimator进行训练，边界密度通过比例正则化损失进行调节。
结果
- 在DnR v2上，与128频带固定模型相比，平均SI-SDR在BSRNN上为7.69→9.07 dB，TIGER为8.74→10.13 dB。音乐、语音、音效三种音源均有提升。摘要中29.0%的相对提升是相对于原BSRNN报告值（7.03 dB）计算的。
- 在MUSDB18-HQ上，4个stem的平均SDR：BSRNN为5.09→5.43 dB，BS-RoFormer为4.50→6.34 dB，MelRoFormer为7.25→8.07 dB。
- 在EchoSet上，DBS-BSRNN比报告的BSRNN SDRi高3.6%，DBS-TIGER也超过了TIGER的SDRi。
- 作者报告称，在DnR v2边界分析和与固定边界的对照实验中，DBS会根据输入改变划分，并在相同token预算下提高了分离性能。
局限
虽然token数量相同，但由于边界预测和恢复模块，计算量有所增加。以DnR v2为准，MACs在BSRNN上从76.6增至124.0 G/s，TIGER从20.4增至31.6 G/s。MUSDB18-HQ实验采用不使用外部数据、用一个模型分离4个stem的设定，因此难以与原论文使用各音源专用模型的数值直接比较。EchoSet的比较依赖其他论文报告的数值。块数等部分设计由人工设定。
意义
这是一个通用模块，可接入音乐混音、电影对白与音效分离、助听器等应用中使用的band-split类模型。它表明固定的频率划分可以由学习替代。不过，计算量增加这一点也需要一并权衡。
关键术语
- Band-split结构
- 将频谱图的频率轴划分为多个频带，并将每个频带压缩为一个固定大小的token，从而缩短分离模型需要处理的长度的设计。
- STFT（短时傅里叶变换）
- 将音频切成短片段并求出各片段的频率成分，从而转换为时间-频率频谱图的变换。
- Hard Top-K + Straight-Through Estimator
- 离散地选出得分最高的K个时，梯度无法传递。因此在前向传播中使用离散选择，在反向传播中用平滑近似传递梯度来进行训练的技术。
- SI-SDR
- 衡量分离出的音源与真实音源有多接近、且与音量大小无关的指标（dB）。越高越好。
原文
作者: Bingzhe Zhang, Kai Li, Xiaolin Hu · 发布 2026-10-10 · 许可 arXiv 비독점 배포 라이선스 · 基于全文分析
本解读是 AI 阅读论文后撰写的摘要，请以论文原文为准。