VKORE-46M-NPU
在推理专用NPU上从零预训练得到的46M参数语言模型,验证了推理专用NPU可完成完整反向传播与优化器更新,与GPU训练曲线相关系数达0.99
核心事实
时间轴 (近 90 天)
VIDRAFT 未宣布 VKORE-46M-NPU 的公开访问方式,没有 Hugging Face 仓库、GitHub 链接、OpenAI 兼容 API 端点或模型权重下载信息。
来源未提供 VKORE-46M-NPU 的量化基准对比,包括困惑度分数、下游任务准确率和每秒 token 训练吞吐。
VIDRAFT 的 VKORE-46M-NPU 预训练达到了收敛,即模型成功完成训练,未因硬件故障或数值不稳定而中止。
VKORE-46M-NPU 被定位为硬件无关 AI 开发的概念验证。
VIDRAFT 在一类通常只用于推理的 NPU 硬件上,从零预训练了一个 4600 万参数的语言模型 VKORE-46M-NPU,整个训练过程未依赖 NVIDIA GPU 或 CUDA 软件栈。
公开的VKORE-46M-NPU是一个46M参数、字符级、在TinyStories数据集上训练的模型,其作用是验证训练路径可行性而非模型质量。
模型权重、模型卡及NPU与GPU训练的对比分析材料已发布在Hugging Face上。
VIDRAFT发布了名为VKORE-46M-NPU的小型语言模型,参数量4600万,完全从随机权重开始预训练,训练过程未使用任何GPU。
NPU训练和GPU训练之间,损失轨迹相关系数达到0.99,衡量的是训练动态相似度,不代表吞吐量对等或速度能追上GPU。
模型权重、模型卡和对比分析材料已在Hugging Face公开,可通过huggingface-cli download vidraft/VKORE-46M-NPU获取;核心训练代码未公开。
还有 10 条时间轴事件
全部知识事实 (16)
VKORE-46M-NPU 被定位为硬件无关 AI 开发的概念验证。
50%待验证VIDRAFT 的 VKORE-46M-NPU 预训练达到了收敛,即模型成功完成训练,未因硬件故障或数值不稳定而中止。
50%待验证VIDRAFT 在一类通常只用于推理的 NPU 硬件上,从零预训练了一个 4600 万参数的语言模型 VKORE-46M-NPU,整个训练过程未依赖 NVIDIA GPU 或 CUDA 软件栈。
50%待验证公开的VKORE-46M-NPU是一个46M参数、字符级、在TinyStories数据集上训练的模型,其作用是验证训练路径可行性而非模型质量。
50%待验证VIDRAFT的发布证明推理NPU上的反向传播在数值上是可信的,但模型仅46M参数,训练代码不开源,速度指标未披露,从46M到更大规模模型之间的工程障碍目前无法判断。
50%待验证NPU训练和GPU训练之间,损失轨迹相关系数达到0.99,衡量的是训练动态相似度,不代表吞吐量对等或速度能追上GPU。
50%待验证VKORE-46M-NPU参数规模为46M,约为GPT-2 Small(约1.24亿参数)的三分之一,其意义在于验证NPU训练路径可行,而非模型本身的质量。
50%待验证VKORE-46M-NPU模型使用公开数据集训练,能够生成简短的英文故事。
50%待验证该训练跑在一款2025年发布的第一代推理专用NPU上,使用32颗芯片完成,并非最新硬件。
50%待验证研究团队在完全相同的初始化、数据和学习率调度条件下,分别在32芯片NPU和GPU上从零训练了同一个模型,两条损失曲线的皮尔逊相关系数达到0.99。
50%待验证VKORE-46M-NPU核心训练技术为专有方案,正在申请专利,细节将在后续论文中公布;核心训练代码出于知识产权保护暂未开源。
50%部分验证VIDRAFT 发布了 VKORE,一套面向 NPU 的 AI 加速软件层,通过软件手段让原本只支持推理的 NPU 具备训练能力,无需更换硬件。
65%待验证模型权重、模型卡及NPU与GPU训练的对比分析材料已发布在Hugging Face上。
50%待验证VIDRAFT发布了名为VKORE-46M-NPU的小型语言模型,参数量4600万,完全从随机权重开始预训练,训练过程未使用任何GPU。
50%待验证据VIDRAFT透露,扩展到更大模型和真实数据是下一步计划。但单一来源指出核心训练技术尚未公开,这意味着独立复现目前还无法完成。
50%待验证VIDRAFT在一款推理专用NPU上完成了完整的反向传播,从零预训练了一个语言模型,并发布为VKORE-46M-NPU。
50%