Live API
Google DeepMind提供的实时语音与视觉API,基于有状态WebSocket,支持多模态流式会话、打断和工具调用。
时间轴 (近 90 天)
v3.37.0 的破坏性变更影响范围集中在 Live API 的 Decisions 类型上。
对于使用 Live API 和 Decisions 类型的项目,建议在升级前全局搜索对 question.instructions 的字符串操作、检查对 Decisions 输入消息角色的穷举判断,并补充针对结构化指令的测试用例。
在 v3.37.0 中,Live 响应模型里问题(question)的 instructions 字段现在可以是字符串,也可以是结构化文本、图片或 JSON 片段组成的列表。
Live API 是 Gemini API 中面向实时双向交互的接口,基于 WebSocket 或 WebRTC 长连接,持续接收音频/视频流并即时返回语音响应。
Google 官方公告称,两个 Live API 预览模型和三个 TTS 预览模型将于 2026 年 11 月 17 日正式关停。
迁移时 Live API 的会话初始化参数(如音频采样率、语音活动检测、上下文窗口配置字段)和 TTS 请求体(如语音选择、输出格式、速率参数)需要调整。
Live API 的按会话时长计费模式通常以连接维持的秒数或分钟数为单位,即使用户沉默,只要连接保持打开就可能产生费用。
Live API 的关键特性包括90种语言支持、可打断(barge-in)、工具调用能力以及音频转录。
Live API 是一个低延迟的实时语音与视觉API,采用有状态WebSocket设计,开发者创建会话后可通过WebSocket持续发送文本、音频和视频帧,模型以音频分块实时回传并附带转录文本。
OpenAI 的 Realtime API、ElevenLabs 的低延迟模式以及谷歌的 Live API 均主打低延迟语音能力
还有 1 条时间轴事件
全部知识事实 (11)
v3.37.0 的破坏性变更影响范围集中在 Live API 的 Decisions 类型上。
50%待验证对于使用 Live API 和 Decisions 类型的项目,建议在升级前全局搜索对 question.instructions 的字符串操作、检查对 Decisions 输入消息角色的穷举判断,并补充针对结构化指令的测试用例。
50%待验证在 v3.37.0 中,Live 响应模型里问题(question)的 instructions 字段现在可以是字符串,也可以是结构化文本、图片或 JSON 片段组成的列表。
50%待验证Live API 是 Gemini API 中面向实时双向交互的接口,基于 WebSocket 或 WebRTC 长连接,持续接收音频/视频流并即时返回语音响应。
50%待验证迁移时 Live API 的会话初始化参数(如音频采样率、语音活动检测、上下文窗口配置字段)和 TTS 请求体(如语音选择、输出格式、速率参数)需要调整。
50%待验证Live API 的按会话时长计费模式通常以连接维持的秒数或分钟数为单位,即使用户沉默,只要连接保持打开就可能产生费用。
50%待验证Live API 是一个低延迟的实时语音与视觉API,采用有状态WebSocket设计,开发者创建会话后可通过WebSocket持续发送文本、音频和视频帧,模型以音频分块实时回传并附带转录文本。
50%待验证Live API 的关键特性包括90种语言支持、可打断(barge-in)、工具调用能力以及音频转录。
50%待验证OpenAI 的 Realtime API、ElevenLabs 的低延迟模式以及谷歌的 Live API 均主打低延迟语音能力
50%待验证开发者可以通过 Live API 接入这两款模型
50%待验证Google 官方公告称,两个 Live API 预览模型和三个 TTS 预览模型将于 2026 年 11 月 17 日正式关停。
50%