极简编辑风封面:白底配声波与对话气泡图案,青灰色调,无大字

ElevenLabs 发布 Eleven Realtime:新一代语音对话模型

ElevenLabs 发布两款语音到语音模型 Eleven Realtime v1 Max 和 v1 Mini,面向自然的 AI 语音对话。旗舰版在 Big Bench Audio 基准上得分 98.8%,响应时间 0.57 秒。

产品动态ElevenLabsAI Agent

语音 Agent 的竞赛有了新的入场点。10 月 20 日(周二),ElevenLabs 发布了 Eleven Realtime——它称之为新一代语音到语音模型,专为自然、低延迟的 AI 对话打造。

两款模型一起发布。Eleven Realtime v1 Max 是旗舰:在 Big Bench Audio 基准上得分 98.8%,响应时间 0.57 秒。ElevenLabs 称,目前 Artificial Analysis 语音到语音榜单上没有又更快又更准的模型。较小的 v1 Mini 为日常自然对话打造,成本更低——而且值得注意的是,它能分辨对方是说完了,还是只是在说“嗯嗯”。

为 Agent 而造,不止于音频

定位和数字同样重要。v1 Max 面向客服这类复杂任务,准确率和可靠性决定部署能否在真实来电面前存活。v1 Mini 面向轻松的对话层——闲聊、接待、分诊电话,决定成败的是每分钟成本,漏掉一个话轮只是小瑕疵而非交易失败。

这正是语音 AI 最难产品化的部分。语音合成质量早已不是瓶颈,摩擦现在集中在话轮层。一个会打断来电者、等待太久、把“嗯嗯”当成说完了的语音 Agent,声音再好听也让人觉得难用。ElevenLabs 把 Mini 的卖点明确放在这个区别上:知道你说完了,还是只是在听。如果这个能力在生产环境站得住,它解决的是已部署语音 Agent 最常见的抱怨之一。

兼容 OpenAI,按分钟计费

两款模型都通过 ElevenAgents 平台和兼容 OpenAI 的 Realtime API 提供,降低了已基于 OpenAI 技术栈开发的开发者的接入门槛。定价为按分钟加 token 成本,v1 Max 高于 v1 Mini,详情见 ElevenLabs 定价页。

按分钟加 token 的结构值得留意。语音到语音模型在音频和推理两侧都消耗 token,按分钟计费让支持热线这类高并发部署的单位经济更清晰——而这正是 Max 瞄准的场景。

语音的拥挤一周

这次发布距离 Mistral AI 的语音栈发布只隔了几天——Voxtral 3,包含语音转文字、文字转语音和语音 Agent 模型,外加基于 LiveKit 的 SDK。Voxtral Small Transcribe 3 覆盖 50 多种语言,TTS 侧支持 35 种以上语言、50 种方言并带情感适配,转录起价每分钟 0.0035 美元。Mistral 的卖点是可控:自建基础设施或走欧盟托管 API,数据握在自己手里。

两家对语音 Agent 的叙事不同。Mistral 主打开放基础设施和数据主权;ElevenLabs 拼的是原始对话质量和话轮自然度。一个卖算力跑在哪,一个卖对话的感觉。

接下来看什么

随着语音 Agent 从演示走向真实部署,差异点越来越不是模型会不会说话,而是会不会听:知道何时等待、何时打断、何时“嗯嗯”不是回答。ElevenLabs 赌的是,问题最难的那部分——也最值得付费的那部分——是话轮。Big Bench Audio 的分数和 0.57 秒的延迟是入场券,话轮才是产品。