原始记录
来源、收到日期和原话
E001 · 建议
部分借鉴:Mac 做在 AgentEar 上,补语音打断。64GB 级联可做一路
返回概览 · 建议
来源、收到日期和原话
证据、对比和深入分析
可落地的方案、流程和基础设施
结论、工作量和建议的第一步
recommendedbc923205,AgentEar 17e911b部分借鉴。Mac 学校机不要新起 Pipecat。AgentEar 已经有采集、SenseVoice、默认 VoxCPM2,以及 A3 上的 _a24/model/complete。缺的是播放时用语音打断,和附着推理的流式与取消。64GB 仍是一路级联,不是原生全双工。Windows 档 AgentEar 跑不了,仍用原来的 S2 到 S5,那不是第一刀。
| 档 | 第一名 | 打断 | 并发 |
|---|---|---|---|
| Mac 64GB | 在 AgentEar 上补语音打断。TTS 已经是 VoxCPM2-4bit。识别先沿用 SenseVoice | 今天只有按键打断。补上后是级联 barge-in。原生全双工:否 | 未测。设计目标 1 路 |
| Mac 128GB | S1,ASR 升到 1.7B,LLM 加大,VoxCPM2-8bit 常驻 | 同上 | 未测。仍按 1 路验收,余量留给上下文 |
| Mac 256GB | S1 仍是产品路径。Moshi MLX q8 只作英语陪练旁路 | 产品路径同上。Moshi 才是原生全双工 | 未测 |
| Windows,64GB 内存 + 24GB 级 GPU | S2:同一级联,TTS 用 VoxCPM2(官方 RTX 4090 RTF) | 级联 barge-in,可 | 未测。设计目标 1 路 |
| Windows,128GB + 48GB 级 GPU | S3:S2 的 TTS 换成 MOSS-TTS-Realtime,LLM 放进 GPU | 级联 barge-in,可 | 未测 |
| Windows,256GB + 80GB 级 GPU | S4:SGLang-Omni 级联(Qwen3-ASR + LLM + Qwen3-TTS)。MiniCPM-o 4.5 只作实验 | 级联可打断。MiniCPM-o 才是原生全双工 | 未在本校测过。官方材料给的是服务槽位,不是学生人数 |
| 1 张 H200 | S4。博客作者写过级联每卡 16 路准入上限,见分析稿,不当成学校承诺 | 级联可打断 | 同上 |
| 2 张 H100 | S5:Qwen3-Omni 轮次式,说话时可被掐断,模型并不边听边说 | 可打断,非原生全双工 | SGLang 把短对话 max_sessions 写成 4,见分析稿 |
partlyrun_loop 接不上音频时钟,而且 AgentEar 附着时本来就没有走 run_loop。部分支持rust/crates/agent24-agent/src/lib.rs 的 cancel_run(约第 1686 行)。/api/v1/events 拒绝带 Origin 的浏览器升级(rust/apps/agent24d/src/events.rs 第 72-79 行)。run_loop 在没有工具调用时才发一次 ModelDelta,文本是整段答案(同文件约第 3017-3026 行)。上限 MAX_ITERATIONS = 10(第 62 行)。daemon 只绑 127.0.0.1。HostLlm 非流式。$/cancelRequest 只在 RPC 超时发出。播放期间的麦克风监听没有接上。agent24-worker 的转写仍然没有产品调用方。stop_playback 和 on_barge_in,并取消还在飞的 _a24/model/complete。model_complete。语音回合不要等人点批准。run_loop。L 降到 M。含浏览器教室时仍是 L。src/main.rs 的按键路径、src/session.rs、src/a3.rs 的取消、src/host.rs 的 HostLlm。不先改 agent24 的 lib.rs。| 阶段 | 旧(人日) | 新(人日) | 原因 |
|---|---|---|---|
| P0 听、想、说并打断 | 5 到 8 | 3 到 5 | 采集、识别、VoxCPM2、按键打断都在。新的是播放时用语音触发同一套掐断 |
| P1 接上 agent24 并能取消 | 4 到 6 | 2 到 4 | A3 和 model_complete 已通。新的是开口时取消这次 RPC,并避免整句挡住首字 |
| P2 浏览器教室 | 6 到 10 | 6 到 10 | AgentEar 没有浏览器和 Windows。这项没有变少 |
| Mac 试点合计(P0+P1) | 9 到 14 | 5 到 9 | |
| 含教室浏览器 | 20 到 30 | 11 到 19 |
在 AgentEar 里,播放回答时打开监听。开口就调用已经存在的 talk::stop_playback 和 host::on_barge_in。先用耳机。输入法按键、A3 配对和本机 VoxCPM2 播放必须仍然成立。误打断次数记下来,再决定要不要取消飞行中的 model_complete。