Realtime API
OpenAI 提供的实时交互接口，基于 WebSocket 长连接的双向流式通道，支持语音对话、实时转写等低延迟场景
时间轴 (近 90 天)
v3.36.0 集中修复了 Realtime WebSocket 相关多个边界问题，包括失败建连清理、原生选项尊重、中断时结束同步 WebSocket 恢复、终端清理期间尊重带超时的 Translation 接收、跨恢复与取消场景保留 WebSocket close 状态，以及为 legacy beta socket 尊重原生选项（PR #4121、#4129、#4132、#4117、#4120）。
文章建议：若项目正在通过 Vertex AI 调用 Responses API、使用 Realtime WebSocket 且遇到连接恢复后 close 状态丢失或取消操作后连接未正确释放的问题、或仍依赖 Pydantic v1 做请求校验，应尽快升级到 v3.36.0。
使用 beta Realtime 功能且运行在 websockets 13 上的项目应优先升级到 v3.35.1。
v3.35.1 修复了 beta Realtime 功能在 websockets 13 环境下的字节读取问题，对应 PR #4102，提交哈希为 5766349。
升级前建议在测试环境中验证 Realtime 连接的消息收发，确认字节读取路径正常，再推送到生产环境。
使用实时音频流或二进制帧的开发者建议升级到 v3.35.0 并回归测试。
v3.35.0 为实时 API 增加了带类型的 Live sideband 事件（PR #4099）。
Sideband 连接是 Realtime API 中一条独立于主 WebSocket 会话的事件通道，用于外送转写文本、工具调用状态等控制类事件。
Realtime API 的 modalities 参数用于声明当前会话所支持的输入/输出模态类型，如 text、audio
v3.19.2 澄清了 Realtime API 中 modality 数组的定义（#3954）
还有 2 条时间轴事件
全部知识事实 (14)
GPT-Realtime-2支持function calling（函数调用），允许模型在听到用户说话的同时决定调用哪个函数，无需等待完整的文本转录
85%待验证Sideband 连接是 Realtime API 中一条独立于主 WebSocket 会话的事件通道，用于外送转写文本、工具调用状态等控制类事件。
70%待验证OpenAI 在 2024 年底推出的 Realtime API 支持 WebRTC 作为传输层，延迟通常在 200ms 以内
70%待验证文章建议：若项目正在通过 Vertex AI 调用 Responses API、使用 Realtime WebSocket 且遇到连接恢复后 close 状态丢失或取消操作后连接未正确释放的问题、或仍依赖 Pydantic v1 做请求校验，应尽快升级到 v3.36.0。
50%待验证v3.36.0 集中修复了 Realtime WebSocket 相关多个边界问题，包括失败建连清理、原生选项尊重、中断时结束同步 WebSocket 恢复、终端清理期间尊重带超时的 Translation 接收、跨恢复与取消场景保留 WebSocket close 状态，以及为 legacy beta socket 尊重原生选项（PR #4121、#4129、#4132、#4117、#4120）。
50%待验证v3.35.1 修复了 beta Realtime 功能在 websockets 13 环境下的字节读取问题，对应 PR #4102，提交哈希为 5766349。
50%待验证升级前建议在测试环境中验证 Realtime 连接的消息收发，确认字节读取路径正常，再推送到生产环境。
50%待验证使用 beta Realtime 功能且运行在 websockets 13 上的项目应优先升级到 v3.35.1。
50%待验证使用实时音频流或二进制帧的开发者建议升级到 v3.35.0 并回归测试。
50%待验证Realtime API 的 modalities 参数用于声明当前会话所支持的输入/输出模态类型，如 text、audio
50%待验证v3.19.2 澄清了 Realtime API 中 modality 数组的定义（#3954）
50%待验证OpenAI 的 Realtime API、ElevenLabs 的低延迟模式以及谷歌的 Live API 均主打低延迟语音能力
50%待验证v3.35.0 为实时 API 增加了带类型的 Live sideband 事件（PR #4099）。
50%待验证2024年DevDay发布了实时语音API（Realtime API）和视觉微调（Vision Fine-tuning）等能力
50%