语音 AI 与实时语音智能体：如何边听边想

为什么需要：跟不上人类对话节奏的结构

人与人对话时，会在对方说完之前就开始准备回答。中间还会插入“嗯”“对”之类的附和（反馈语，backchannel），必要时也会打断对方。语音智能体（通过语音对话来处理预订、查询等事务的 AI 智能体）之所以让人感觉别扭，大多是因为跟不上这种节奏。

最常用的结构是级联（cascade，分阶段串联）。先用语音识别（ASR）把话转写成文字，再由 LLM 写出回答，最后由 TTS（语音合成）把回答读出来。每个组件都可以单独选择，因此容易搭建。但每个阶段的等待会不断累积。端点预测研究（paper）指出，级联结构只有在话语结束之后才能检测到“话是否说完了”，因此会形成瓶颈。用户停下来之后 LLM 才开始工作，中间就会出现沉默。

转成文本的那一刻丢失的信息也是问题。WavReward（paper）指出，语音对话中包含大量基于文本的语言模型难以衡量的非文本信息。语气、情绪、两人话语重叠的瞬间、插话等，无法全部装进一行转写文字里。

核心思路：从对讲机到电话

想一想对讲机。一方必须说“完毕”，另一方才轮到说话。这种同一时间只有一方说话的方式称为半双工（half-duplex）。电话则不同。两个人可以同时说和听，对方说话时也可以回应一句“啊，好”。这就是全双工（full-duplex）。日语全双工研究（paper）将全双工对话系统描述为对话语重叠、附和等人类对话的同时性和双向性进行建模的系统。

实现这一思路的方法大致有两种。一种是保留级联结构，让每个阶段“提前”运转。另一种是把语音转换为 token（模型处理的小单位），使用端到端语音语言模型（speech language model），像 LLM 预测下一个词那样直接预测下一个声音。NTPP（paper）关注的是把两位说话人的声音分别录在不同通道中的双通道数据。其观点是，这类数据完整保留了对话的结构与流程。

两种方式的取舍很明确。级联结构中间会留下转写文本，因此便于检查、记录和连接工具。代价是会产生等待，并丢失非语言信息。端到端全双工获得了自然的节奏，但内部难以观察，在复杂推理和工具使用上可能较弱。

如何运作：同时听和说，以及提前行动

端到端全双工模型大致按以下顺序运行。第一，把输入的语音转换为以短片段为单位的语音 token。第二，模型在每个时刻同时查看“用户通道”和“自身通道”。NTPP（paper）提出了将两个通道的 token 组成一对、预测下一对的方法（Next-Token-Pair Prediction）。结果表明，仅用单个解码器的结构也能学习不受说话人限制的双通道对话，并报告推理延迟比现有方法大幅降低。第三，模型自行决定此刻是说话、等待，还是只做附和。正如基于用户对话的对齐研究（paper）所指出的，实时语音中插话和填充词（“嗯”“呃”）很多，说话人话轮之间也没有明确的边界。因此，这一判断本身需要通过学习获得。

在加速级联结构方面，关键是“结束之前就开始”。端点预测（Endpoint Anticipation，paper）不是在事后检测话语是否结束，而是根据语音提前预测话轮结束的时间点。该模型最多可提前 2.56 秒预测端点。借此，即使上下文还没听完，也能对 LLM 和 TTS 进行推测执行（speculative execution，明知可能出错仍提前计算）。将其接入 Unmute 框架后，平均延迟减少了 505ms，推测计算增加了 28.4%。

这些数字体现了该领域的基本取舍。为了降低延迟，必须承受预测失误时被丢弃的计算。因此，该研究另外提出了一项指标，用于衡量实际减少的延迟与重复计算之间的平衡。

发展脉络：学习、打磨和评估对话结构

在学习对话结构方面，NTPP（paper）系统地将双通道语音数据应用于最新的 LLM 方法。该方法同时改善了话轮转换预测、回答的一致性和自然度。日语全双工研究（paper）以英语全双工模型 Moshi 为基础，发布了日语模型。其采用两阶段方式：先用大规模日语语音对话进行预训练，再用高质量立体声对话数据进行微调。训练中还加入了由可同时合成多位说话人的 TTS 生成的合成数据。这表明即使是数据较少的语言，也可以用合成数据填补空白。

在打磨模型方面，基于用户对话的对齐研究（paper）把以文本为中心的偏好学习迁移到了实时语音上。研究者利用 AI 反馈，从真实的多轮语音对话中构建了超过 15 万个偏好对，其中不仅包含话语内容，还包含对插话时机等时间上下文的偏好。用这些数据以离线方式对全双工语音到语音模型进行对齐后，回答变得更符合事实、更安全，也更贴合上下文。TiCo（paper）研究的是遵循“用 15 秒左右回答”这类时间指令的能力。它在生成过程中插入提示“到目前为止已经说了几秒”的标记（Spoken Time Markers），并用 RLVR（可验证奖励的强化学习）进行后训练。结果，长度误差比基础模型减少了 2.7 倍，比最强的对比模型减少了 1.6 倍。

在评估方面，WavReward（paper）构建了一个奖励模型，直接听取语音输入，同时为对话模型的智力能力（IQ）和情感应对（EQ）打分。它使用偏好数据集 ChatReward-30K 训练，客观准确率从 Qwen2.5-Omni 的 53.4% 提升到 91.5%。由此可见，2025–2026 年的研究已从打造“说话自然的模型”的阶段，扩展到确定用什么来打磨这些模型、用什么来衡量它们的阶段。

最近的方向：边听边工作的智能体

近期研究的重点正从会说话的模型转向一边听一边处理工作的智能体。提前工具调用研究（paper）把核心问题从“调用哪个工具”变成了“何时已经听够了”。研究者构建了 26,694 段合成语音对话（786 小时，48 个领域），并在请求所需的工具和参数首次出现的时间点（最早可执行点）做了标注，再用这些数据训练多模态模型。工具状态 macro-F1 仅为 0.48 和 0.47。但只看调用正确的情况，它比等到话轮结束的级联结构平均提前 1.8~2.0 秒（领域内）和 1.1 秒（外部基准）开始行动。

Heartbeat Thinking（paper）指出了现有推测方法的弱点：如果每次有新语音输入就中断生成，工具调用会在参数填完之前被截断。该研究在有新输入时启动新的推理，但让已经在运行的推理和正在执行的工具运行到结束。周期性执行的推理会读取最新的部分转写，以及汇集了已完成的推理和工具结果的共享记录。因此，准备工作可以跨越语音更新持续进行。在 FDBench v3 上，工具覆盖率提高了 16 个百分点，最终响应延迟减少了 36.4%。不过，对最终任务质量的影响因基准而异。

DuplexAgent-RSI（paper）总结了业界正在趋同的协作模式。全双工模型作为对话窗口停留在实时通道中，把检索、推理和编程异步交给其他智能体处理。连接两者的 harness（包裹模型、协调工作流程的装置）负责任务接收、进度汇报、取消、替换和结果传递。该研究将 harness 拆分为 6 个可修改的模块，并构建了一个闭环：由 LLM 根据模拟器生成的失败记录来修改这些模块。

局限与争议：选择时需要考虑的点

第一，提前行动是有代价的。端点预测（paper）将延迟减少了 505ms，但推测计算增加了 28.4%。Heartbeat Thinking（paper）同样降低了延迟，但对最终质量的影响因基准而异。像查询这样结果可以丢弃的任务，值得提前执行。相反，像支付、取消预订这样难以撤回的操作，合乎常理的设计是另外加以限制，使其在请求确定之前不被执行。提前工具调用（paper）的 macro-F1 在 0.5 左右，这也说明“边听边行动”仍处于早期阶段。

第二，评估很难。在 TiCo（paper）构建的 TiCo-Bench 上，现有开源和商用模型经常无法遵守明确的时间约束。WavReward（paper）之所以出现，也是因为文本评分器无法衡量语音中的非语言信息。只看平均延迟就判断“快”是常见的错误。还需要单独测试：遇到插话时是否能正确让出话轮，遇到附和时是否会不必要地停下来。

第三，对合成数据的依赖较大。日语模型（paper）和提前工具调用（paper）都使用了合成语音对话。合成对话可能与真实通话中的恶劣条件不同，例如噪声、方言和多人同时说话的情况。需要在实际运营环境中重新验证。

实际选择时的标准如下。如果工具调用多、记录和审计很重要，那么以中间保留文本的级联结构为基础，再加上端点预测和推测执行，是稳妥的起点。如果自然的对话节奏是产品的核心，就使用全双工模型。如果两者都需要，可以参考 DuplexAgent-RSI（paper），把对话和任务分开，并在两者之间用 harness 进行协调。

延伸学习

如果是初次阅读，建议从端点预测（paper）开始。它最具体地说明了级联结构的瓶颈出现在哪里，以及推测执行如何在延迟和计算之间做取舍。接着阅读 NTPP（paper）和日语全双工研究（paper），就能大致了解端到端全双工模型如何利用双通道数据学习对话节奏。

如果想了解如何打磨和评估模型，建议依次阅读基于用户对话的对齐研究（paper）、WavReward（paper）和 TiCo（paper）。它们分别涉及偏好学习、语音专用奖励模型和时间控制。

如果想转向智能体方向，可以把提前工具调用（paper）和 Heartbeat Thinking（paper）放在一起读，比较“何时行动”和“如何延续正在进行的工作”。最后阅读 DuplexAgent-RSI（paper），就能看到这些组件在实际系统中是如何组合在一起的。