Jev
一款主打高性价比的前沿AI推理模型,声称相比现有主流前沿模型推理成本降低40-400倍、速度提升20-200倍,面向企业规模化部署场景优化
核心事实
时间轴 (近 90 天)
SparkBots AI 由 Jev 提供技术支持,Maker 为 Malcolm(Hello Spark AI)。
研究测试了TypeSafe的闭源Jev模型以及五个开源决策模型,任务涉及性别互换的是/否决策。
性别互换导致1%到3.5%的首选答案发生变化,其中Jev的部分变化源于其调用间的波动。
嵌入+sklearn方案比Jev更便宜,且几乎总是显著更准。
Voyage AI工程师在Reddit发帖称,使用嵌入模型加sklearn分类器的方案比决策模型Jev错误率降低了37%。
零样本场景下,缺乏标注数据时,Jev这类决策模型仍有价值。
该实验使用开源或低成本嵌入模型将输入文本转为向量,再在嵌入之上拟合简单的sklearn模型,并与Jev进行效果和成本对比。
Jev 的 Encoder 实现路线使用 BERT 类编码器 backbone,采用问题在前、上下文在后的 token 顺序,每个选项前插入 mask token,取其隐状态与前向点积后 softmax 得到选项概率;零训练时结果不准确,一个本应是“是”的问题只给出约30%概率。
Jev 接口分为三类概率分布形态:choice(名义型,互斥无顺序选项)、score(序数型,有顺序选项)和 null(二元型,是/否问题)。
Jev 官方支持在单个 state 上挂载多达 5000 个问题,因此推测其底层可能走解码器路线,但官方未公开实现,作者提醒不要下定论。
还有 40 条时间轴事件
全部知识事实 (20)
Jev是一类被称为'系统一模型'的前端模型,快速、便宜、结构化,专门用于决策,不生成文本而是在预设选项集合中返回概率打分
75%已验证决策型模型擅长分类、路由、判断这类结构化任务,而非长篇文本生成
75%已验证JEV 是 TypeSafe 推出的一款决策模型(decision model)
65%已验证Jev目前不能解释判断理由,且不支持图片输入
65%已验证Jev完成分类任务只需70到500毫秒,比传统LLM快40到200倍
65%已验证Jev 支持三类问题:Noul 问题(是非题)、Choice 问题(选择题)和 Score 问题(评分题)
65%已验证TypeSafe将Jev定位为'系统一模型',这一概念受丹尼尔·卡尼曼《思考,快与慢》中的双系统认知理论启发
65%已验证Jev 的设计把判断与执行解耦,让主模型专注在需要生成能力的任务上
65%已验证Jev提供三种问题类型:选择(Select)、评分(Score)、空值/布尔(Null/Bool),每个返回都带有置信度值
65%已验证Jev 的响应时间为 70-500ms
65%已验证对于跨度极大的性能区间数字,达到区间上限往往依赖特定任务、特定基线对比和特定批处理规模等有利条件
65%已验证TypeSafe AI推出了名为Jev的产品
65%已验证TypeSafe 推出的 Jev 是一个不生成文本、只输出带校准概率的类型化决策的AI模型
65%待验证本文所依据的原始素材为一条Twitter上的简短分享
70%部分验证TypeSafe AI 的 Jev 模型接受一个状态加一组带类型的问题,直接返回校准后的概率值,无需解析自然语言文本
65%待验证Jev声称使用RLCD训练方法
60%待验证官方宣称Jev相比可比的LLM工作流速度快约20到200倍、成本低约40到400倍,且输出token完全免费
60%待验证Jev被定位为TypeSafe AI的'System One'前沿模型,主打软件系统中需要快速、结构化判断的场景
60%待验证Jev更接近判别式模型而非生成式模型,本质上是一个多类别概率分类器,类似BERT系列而非GPT系列
60%待验证Jev的响应速度通常在200到300毫秒内返回结果
60%