Voxtral
具备实时说话人分离与轮次结束检测能力的语音交互模型,支持自有基础设施或官方托管两种部署方式
时间轴 (近 90 天)
目前公开信息仅为一条推文,缺乏具体的性能指标、延迟数据与基准测试结果,Voxtral 的实际表现仍需等待更详细的技术披露。
Voxtral 展示了实时说话人分离(diarization)能力。
Voxtral 展示了实时轮次结束检测(end-of-turn detection)能力。
Voxtral 支持部署在用户自己的基础设施上或使用官方云端服务。
Mistral AI 的产品后缀编码的是功能而非规模:Pixtral 对应视觉,Codestral 对应代码,Mathstral 对应数学,Devstral 对应智能体编程,Voxtral 对应语音。
Voxtral以30亿参数的文本模型作为主干,通过音频编码器将音频转为连续嵌入直接输入解码器,这与Whisper通过交叉注意力送入解码器的做法不同
Voxtral的音频编码器每80毫秒产出一个音频token,即每秒12.5个token的固定帧率
用户可通过 FastModel 加载 Voxtral 和 Qwen2-Audio 等音频模型
全部知识事实 (8)
目前公开信息仅为一条推文,缺乏具体的性能指标、延迟数据与基准测试结果,Voxtral 的实际表现仍需等待更详细的技术披露。
50%待验证Voxtral 展示了实时说话人分离(diarization)能力。
50%待验证Voxtral 展示了实时轮次结束检测(end-of-turn detection)能力。
50%待验证Voxtral 支持部署在用户自己的基础设施上或使用官方云端服务。
50%待验证Mistral AI 的产品后缀编码的是功能而非规模:Pixtral 对应视觉,Codestral 对应代码,Mathstral 对应数学,Devstral 对应智能体编程,Voxtral 对应语音。
50%待验证Voxtral以30亿参数的文本模型作为主干,通过音频编码器将音频转为连续嵌入直接输入解码器,这与Whisper通过交叉注意力送入解码器的做法不同
50%待验证Voxtral的音频编码器每80毫秒产出一个音频token,即每秒12.5个token的固定帧率
50%待验证用户可通过 FastModel 加载 Voxtral 和 Qwen2-Audio 等音频模型
50%