E001 · 已有建议 · 2026年11月12日

原始记录

来源、收到日期和原话

深入分析

证据、对比和深入分析

解决方案

可落地的方案、流程和基础设施

建议

结论、工作量和建议的第一步

E001 本地可打断语音

结论

部分借鉴。Mac 学校机不要新起 Pipecat。AgentEar 已经有采集、SenseVoice、默认 VoxCPM2,以及 A3 上的 _a24/model/complete。缺的是播放时用语音打断,和附着推理的流式与取消。64GB 仍是一路级联,不是原生全双工。Windows 档 AgentEar 跑不了,仍用原来的 S2 到 S5,那不是第一刀。

档 第一名 打断 并发
Mac 64GB 在 AgentEar 上补语音打断。TTS 已经是 VoxCPM2-4bit。识别先沿用 SenseVoice 今天只有按键打断。补上后是级联 barge-in。原生全双工:否 未测。设计目标 1 路
Mac 128GB S1,ASR 升到 1.7B,LLM 加大,VoxCPM2-8bit 常驻 同上 未测。仍按 1 路验收,余量留给上下文
Mac 256GB S1 仍是产品路径。Moshi MLX q8 只作英语陪练旁路 产品路径同上。Moshi 才是原生全双工 未测
Windows,64GB 内存 + 24GB 级 GPU S2:同一级联,TTS 用 VoxCPM2(官方 RTX 4090 RTF) 级联 barge-in,可 未测。设计目标 1 路
Windows,128GB + 48GB 级 GPU S3:S2 的 TTS 换成 MOSS-TTS-Realtime,LLM 放进 GPU 级联 barge-in,可 未测
Windows,256GB + 80GB 级 GPU S4:SGLang-Omni 级联(Qwen3-ASR + LLM + Qwen3-TTS)。MiniCPM-o 4.5 只作实验 级联可打断。MiniCPM-o 才是原生全双工 未在本校测过。官方材料给的是服务槽位,不是学生人数
1 张 H200 S4。博客作者写过级联每卡 16 路准入上限,见分析稿,不当成学校承诺 级联可打断 同上
2 张 H100 S5:Qwen3-Omni 轮次式,说话时可被掐断,模型并不边听边说 可打断,非原生全双工 SGLang 把短对话 max_sessions 写成 4,见分析稿

值不值得借

当前架构是否撑得住

演进步骤

  1. 在 AgentEar 的 Speaking 相加一条监听。检出开口就走现成的 stop_playback 和 on_barge_in,并取消还在飞的 _a24/model/complete。
  2. 附着时的闲聊仍可走本机边车流式。要工具时再 model_complete。语音回合不要等人点批准。
  3. 在 64GB Mac 上量误打断和首字。扬声器不过关就先要求耳机。
  4. 浏览器多学生和 Windows 档另立,不放进第一刀。原生全双工仍不进 run_loop。

工作量

阶段 旧(人日) 新(人日) 原因
P0 听、想、说并打断 5 到 8 3 到 5 采集、识别、VoxCPM2、按键打断都在。新的是播放时用语音触发同一套掐断
P1 接上 agent24 并能取消 4 到 6 2 到 4 A3 和 model_complete 已通。新的是开口时取消这次 RPC,并避免整句挡住首字
P2 浏览器教室 6 到 10 6 到 10 AgentEar 没有浏览器和 Windows。这项没有变少
Mac 试点合计(P0+P1) 9 到 14 5 到 9
含教室浏览器 20 到 30 11 到 19

产品与用户影响

风险

建议的第一步

在 AgentEar 里,播放回答时打开监听。开口就调用已经存在的 talk::stop_playback 和 host::on_barge_in。先用耳机。输入法按键、A3 配对和本机 VoxCPM2 播放必须仍然成立。误打断次数记下来,再决定要不要取消飞行中的 model_complete。