返回概览 · 原始记录

原始记录

来源、收到日期和原话

深入分析

证据、对比和深入分析

解决方案

可落地的方案、流程和基础设施

建议

结论、工作量和建议的第一步

E001 可打断的本地语音交互方案

用户原话

调研全双工、可被打断(barge-in)的语音交互模型或交付模式。想在学校部署,跑在本地配置较好的主机上:Mac(M 系列 Max/Ultra)64GB、128GB、256GB 三个内存档,或同等级 Windows 主机(例如带大显存 GPU 的工作站)。希望由 ASR + LLM + TTS 一系列模型(或端到端 speech-to-speech 模型)组成语音交互 Agent,实时双工、最好可以被打断,后台可以调用跑在本机(如 64GB 机器)上的 API。也可以给几个服务器级别的选项作对比(更大内存/显存是否效果更好)。问 64GB 能不能做到可用的语音沟通。

2026-11-12 补充:要的是可部署的完整方案,不只是选模型。包括编排框架和代码级架构、正常回合与被打断回合的时序、每档的模型服务与教室网络和安全、参考代码骨架,以及分阶段工作量。

2026-11-12 再补充:必须评估 VoxCPM(OpenBMB)和 MOSS 语音模型(OpenMOSS / fnlp,例如 MOSS-TTSD、MOSS-Speech 或更新的 MOSS 语音发布),以及其他用户会认为是一线的方案。要在 GitHub 与 Hugging Face 上做调查,给出 6 到 10 个完整语音 Agent 方案的排序,每档内存一个明确的第一名。

2026-11-12 再补充:仓库 https://github.com/idoris-ai/agentear 已经有语音输入法,并且已经接上 agent24,但是没有全双工,也没有 barge-in。交互和 AI 调用路径可能也要优化。

本条目产出