厦门大学：语音大模型——从语音识别到全双工语音交互 2026

这份文档由厦门大学洪青阳于 2026 年 5 月撰写围绕语音大模型从语音识别到全双工语音交互展开从背景、技术、模型、交互到应用系统梳理行业进展核心总结如下一、背景语种、方言与交互范式演进语言基础全球现存 7168 种语言、142 个语系汉语分十大方言方言识别是语音模型重要方向。交互痛点传统级联式对话模型ASR→LLM→TTS存在信息丢失、错误累积、高延迟三大问题。范式升级从单工、半双工迈向全双工语音交互支持双方同时收发数据GPT-4o、豆包等推动实时交互响应接近人类水平。二、语音识别大模型从传统到 LLM 融合技术演进历经模板匹配、统计模型、深度学习、大模型四个阶段主流架构为Transformer、Conformer。核心技术语音识别基于贝叶斯准则依赖声学模型与语言模型BBPE 编码解决多语种 / 方言建模实现跨语言统一表征。主流开源模型Whisper68 万小时数据训练支持多语种识别FireRedASR中文工业级模型中文识别精度领先Qwen3-ASR支持 30 语种、22 种方言适配流式场景。三、端到端对话模型Speech TokenizerLLM 解码器核心架构语音 Tokenizer编码器→LLM→语音 Detokenizer解码器直接处理语音信号保留声学与语义信息。语音 Tokenizer 分类语义 Token捕捉内容信息代表模型 Whisper、HuBERT声学 Token保留语气、情感等信息用RVQ/FSQ 量化代表模型 SoundStream、EnCodec统一 Token兼顾语义与声学代表模型 SpeechTokenizer、X-Codec。关键生成技术Flow Matching流匹配将 LLM 输出 Token 转为梅尔谱再经声码器生成语音提升生成自然度。主流端到端模型Moshi、GLM-4-Voice、Qwen-Omni、Kimi-Audio、Step-Audio2均实现低延迟语音对话支持情感、方言等副语言理解。四、全双工语音交互打断、判停与实时交互核心挑战用户打断、语义判停需准确识别用户是否说完、支持随时插话。实现方案声学 VAD基于声音活动检测延迟高、易误判语义 VADEasyTurn、Phoenix-VAD、SoulX-Duplug融合声学与语义判断对话状态完整 / 不完整 / 回应 / 等待端到端建模Moshi、Freeze-Omni、Covo-Audio 等直接建模用户与模型双音频流支持实时打断。延迟优化级联式延迟 840-3550ms端到端模型可降至 200ms 内接近人类交互速度。五、落地应用与未来展望落地场景涵盖语音转写、多语种翻译、实时语音对话已有声云转写、天聪语音翻译、StepAudio 交互系统等产品。未来方向聚焦全双工端到端对话、语音思维链CoT、Voice Agent推动语音大模型更自然、智能地服务人机交互。点击文后阅读原文可获得下载资料的方法。欢迎加入智能交通技术群扫码进入。点击文后阅读原文可获得下载资料的方法。联系方式微信号18515441838