DIAMOND架构设计哲学为什么双Transformer设计比传统语音增强模型更有效【免费下载链接】diamond-1.0项目地址: https://ai.gitcode.com/hf_mirrors/nineninesix/diamond-1.0DIAMOND是一款基于双Transformer架构的语音修复模型它通过自回归RQ-Transformer处理神经音频编解码器令牌将受损音频转换为接近 studio 级别的 44.1 kHz 语音。与传统语音增强模型不同DIAMOND采用创新的双Transformer设计在语音修复效果上展现出显著优势。传统语音增强模型的局限性传统语音增强模型往往将重点放在降噪等滤波处理上但语音修复并非简单的降噪。当编解码器切掉 8 kHz 以上的频段、削波切掉峰值、丢失的数据包使帧归零等情况发生时观测数据中不再包含这些丢失的内容仅靠滤波无法恢复。此时需要从幸存的共振峰中生成缺失的内容这正是DIAMOND作为生成式序列到序列模型而非滤波器的原因所在。DIAMOND双Transformer设计的创新之处双Transformer读取机制DIAMOND采用Two-transformer read-out设计这一创新架构包含两个关键部分。time-transformer负责对帧序列进行建模它采用因果自注意力与交叉注意力机制拥有20层、512维、8个头部参数达到88.7M。通过对帧序列的深入建模time-transformer能够捕捉语音在时间维度上的依赖关系为后续的语音修复提供坚实基础。而紧凑的depth-transformer则在每个帧内的9个RVQ码本中进行处理它在单个帧的9个RVQ码上进行局部自回归具有4层、384维、6个头部参数为14.0M。这一设计恢复了RVQ的因果链并分布了输出投影改变了早期模型通过并行头部从单个帧向量中读取所有九个码本的方式。从 scratch 训练的优势DIAMOND是完全从 scratch 训练的没有使用预训练的主干网络其可训练参数约为166.6M。经过63 GPU小时的训练该模型达到了最强开源修复器的水平同时仍是同类中最佳的从 scratch 修复器。这种从零开始的训练方式使得模型能够更好地适应语音修复任务的特定需求避免了预训练模型可能带来的偏差。双Transformer设计为何更有效44.1 kHz 高质量输出冻结的DAC解码器能够合成全频段音频8 kHz以上的嘶嘶声和“空气感”得以重新生成而不仅仅是通过滤波传递。这得益于双Transformer对语音数据的精准建模和生成能力使得修复后的语音在音质上有了质的飞跃。内容测量而非假设生成式修复器可能在听起来干净的同时模糊单词因此除了DNSMOS指标外针对真实转录文本的CER字符错误率是必不可少的第二个评估维度。DIAMOND在设计中充分考虑了这一点通过双Transformer的协同工作在保证语音质量的同时尽可能地保留了语音内容的准确性。校准的退化处理DIAMOND的输入来自DSP增强器其编解码器调色板是针对每个样本的真实退化语音分布进行拟合的而不是来自随机效果的集合。这种校准的退化处理方式使得模型在面对各种复杂的语音退化情况时都能表现出稳定且高效的修复能力双Transformer架构则为这种复杂处理提供了强大的计算支持和模型容量。DIAMOND的实际效果展示在实际应用中DIAMOND对真实的严重退化语音进行修复使其达到44.1 kHz的高质量。在每个剪辑上DNSMOS-P.835 OVRL都上升了整整一个点以上即使不使用耳机也能明显听到差异。以下是一些修复效果的数据对比#退化输入修复后 - 44.1 kHzDNSMOS OVRL1example1_degraded.wavexample1_restored.wav2.16 → 3.50 (1.34)2example2_degraded.wavexample2_restored.wav2.83 → 3.59 (0.76)3example3_degraded.wavexample3_restored.wav2.56 → 3.65 (1.10)4example4_degraded.wavexample4_restored.wav3.32 → 3.89 (0.57)总结DIAMOND的双Transformer设计即time-transformer和depth-transformer的协同工作为语音修复领域带来了新的突破。它通过创新的架构、从 scratch 的训练方式以及对内容和质量的双重关注克服了传统语音增强模型的局限性展现出更卓越的语音修复效果。无论是在音质提升还是内容保留方面DIAMOND都证明了双Transformer设计在语音增强任务中的有效性和优越性为语音修复技术的发展开辟了新的方向。要获取DIAMOND模型可通过以下仓库地址进行克隆https://gitcode.com/hf_mirrors/nineninesix/diamond-1.0。更多详细信息可参考项目中的TECH_REPORT.pdf。【免费下载链接】diamond-1.0项目地址: https://ai.gitcode.com/hf_mirrors/nineninesix/diamond-1.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考