Oído
由Lokutor团队开源的边缘语音识别项目,基于NVIDIA Conformer-CTC Small模型(13M参数,int8量化),可在ESP32-S3微控制器上运行,实现低成本嵌入式端侧语音识别
核心事实
时间轴 (近 90 天)
Oído 提供流式识别变体,整句模式下延迟为 7.2–22.4 秒,WER 为 4.86% / 11.03%
加上片上运行的 130 万参数语言模型后,Oído 的 WER 降至 3.33% / 7.15%
换用 transducer 头部结构后 Oído 可达到 2.99% / 6.67% 的 WER
Oído 的 int4 变体可压缩到 8.3 MB 体积
在同一颗芯片上,Oído 的错误率比芯片厂商自带识别器少 2.3 到 2.8 倍
在包含真实噪声和混响的条件下,Oído 的识别准确度优于在笔记本电脑上全精度运行的 Whisper tiny.en 和 Moonshine tiny
Oído 的西班牙语模型相比多语言版 Whisper tiny 错误减少了 34% 到 60%
Oído 固件在单核上以音频时长 1.97 倍的速度运行,一段 4 秒的指令在说完约 8.7 秒后才能得到转写结果
Oído 的双核调度方案在实际硅片上会给出错误结果,因此被禁用
Oído 是一套完整的推理引擎,能在 ESP32-S3 上运行开放词汇的英语语音识别
还有 11 条时间轴事件
全部知识事实 (20)
该项目代码与模型权重均已开源
75%待验证Oído 提供流式识别变体,整句模式下延迟为 7.2–22.4 秒,WER 为 4.86% / 11.03%
50%待验证换用 transducer 头部结构后 Oído 可达到 2.99% / 6.67% 的 WER
50%待验证Oído 的 int4 变体可压缩到 8.3 MB 体积
50%待验证在同一颗芯片上,Oído 的错误率比芯片厂商自带识别器少 2.3 到 2.8 倍
50%待验证在包含真实噪声和混响的条件下,Oído 的识别准确度优于在笔记本电脑上全精度运行的 Whisper tiny.en 和 Moonshine tiny
50%待验证Oído 的西班牙语模型相比多语言版 Whisper tiny 错误减少了 34% 到 60%
50%待验证Oído 固件在单核上以音频时长 1.97 倍的速度运行,一段 4 秒的指令在说完约 8.7 秒后才能得到转写结果
50%待验证Oído 的双核调度方案在实际硅片上会给出错误结果,因此被禁用
50%待验证Oído 是一套完整的推理引擎,能在 ESP32-S3 上运行开放词汇的英语语音识别
50%待验证Oído 的核心是一个 1300 万参数的 Conformer-CTC 模型
50%待验证Oído 采用权重 int8、激活值逐帧动态 int8、注意力机制 int8 精度并利用芯片 SIMD 指令的量化策略
50%待验证在 LibriSpeech 的 test-clean/test-other 数据集上,Oído 设备端运算达到 3.70% / 8.23% 的词错误率,与全精度版本仅相差 0.12 个百分点
50%待验证加上片上运行的 130 万参数语言模型后,Oído 的 WER 降至 3.33% / 7.15%
50%待验证在DEMAND噪声环境测试中,Oído的平均WER为8.4,而Whisper tiny.en为12.1
50%待验证Oído的运行平台是ESP32-S3配8MB PSRAM,售价约5美元,没有独立GPU也没有专用NPU
50%待验证在LibriSpeech基准上,Oído的词错误率(WER)为3.7(clean)和8.2(other),而Whisper tiny.en在笔记本上为6.3和15.9
50%待验证Oído采用NVIDIA的Conformer-CTC Small模型,参数量约1300万(13M),并经过int8量化处理
50%待验证Oído是由Lokutor团队开源的语音识别项目,运行在ESP32-S3芯片上,识别精度超过笔记本上运行的Whisper-tiny.en
50%待验证Oído的对比数据来自项目团队自述,独立复测尚未进行
50%