Jev大模型对决经典机器学习：8个分类数据集实测揭示真相

一场值得关注的对比实验

当下大语言模型（LLM）被寄予厚望，甚至有人认为它们能取代传统机器学习流程。但在真实的分类任务中，LLM 到底能不能打败精心训练的经典模型？一位开发者在 Reddit 上分享了一组扎实的对比实验，用数据给出了较为冷静的答案。

实验对象是名为 Jev 的模型，测试者将其在零样本（zero-shot）与少样本（few-shot）两种设置下，与 11 个经典机器学习模型进行较量，对手阵容包括 SVM、XGBoost、逻辑回归等业界常用算法。评价指标采用平衡准确率（balanced accuracy），覆盖 8 个分类数据集。整套代码已开源，任何人都可以复现并提出改进建议。

结果并不意外：有标签数据时经典模型仍占优

实验结论与许多有经验的从业者的直觉一致：如果你已经拥有标注数据，优先训练经典模型仍是更合理的选择。

在 Banking77 这类意图分类数据集，以及多个商业表格（tabular）数据集上，经典模型的准确率明显更高。测试者特别指出，这背后还有一个现实的成本考量——训练好的经典模型可以在本地运行，完全避免了调用大模型 API 所产生的按次计费开销。对于需要高频、大规模推理的生产环境，这笔账往往具有决定性意义。

换句话说，在结构化、有充足标签的场景下，XGBoost 这类成熟工具依然是难以撼动的基线。

Banking77 是一个广泛用于对话意图分类的基准数据集，包含 77 个银行业务相关的意图类别，每类样本数量相对均衡，总计约 13,000 条用户话语。因其类别细粒度高、类间语义相近，被视为衡量分类模型区分能力的严格测试。表格数据集（tabular dataset）则是指以行列形式组织的结构化数据，特征通常由数值型和类别型字段混合构成，这类数据是 XGBoost、随机森林等树模型的传统强项，因为这些算法能有效捕捉特征间的非线性交互，无需依赖大量预训练知识。平衡准确率（balanced accuracy）则是对多类别不均衡问题的修正指标，等于各类别召回率的算术平均值，避免了模型因偏向多数类而虚高准确率的问题，在样本分布不均的真实业务数据中更具参考意义。

Jev 的亮点与局限

实验并非一边倒。Jev 在 IMDb 情感分类数据集上表现良好，说明大模型在某些自然语言理解任务上确实有其优势。这也印证了一个务实的观点：模型选型高度依赖具体任务，没有放之四海皆准的最优解。

不过，一个反直觉的发现是：给 Jev 提供少量示例（few-shot）并没有稳定地提升效果。这与「示例越多、上下文越丰富、模型表现越好」的普遍预期有所出入，提示少样本提示工程的收益可能远比想象中更不确定。

测试者的总体判断相当克制：基于这批结果，他看不出有理由去替换一个已经正常工作的机器学习模型。

零样本（zero-shot）指不提供任何任务示例，仅依靠模型预训练知识完成推断；少样本（few-shot）则是在提示词中附上少量标注样例，引导模型类比推理。理论上，示例能帮助模型对齐任务格式与标签含义，尤其在标签定义模糊时效果明显。然而实践中，few-shot 的收益高度依赖示例质量、选取策略（随机抽取 vs. 相似度检索）以及模型本身的上下文窗口利用效率。示例选取不当甚至可能引入偏差，导致性能不升反降。这也是为什么本实验中 few-shot 未能稳定超越 zero-shot——少样本提示工程并非开箱即用的提升手段，而是需要针对任务精心设计的工程环节。

实验方法的透明度值得肯定

这份分享难得的一点，是作者对实验局限性的坦诚披露，这在充斥夸大宣传的 AI 讨论中尤为可贵。

具体设置上，实验使用了三个训练随机种子（training seeds）搭配一个固定的测试集划分，并采用了有限的调参预算。作者主动说明：零样本预测结果在各随机种子间被缓存复用，因此这部分并不构成真正独立的重复实验。他也承认整个实验设置「还有不少可以改进的空间」，并邀请社区提出修改意见。

这种自我审视的态度，反而让结论更可信——它不是要「证明」某个立场，而是提供一组可复现、可讨论的证据。

对实践者的几点启示

综合这组实验，可以提炼出几条对实际工作有参考价值的经验：

• 先看数据状况：有标签、结构化数据的分类任务，经典模型通常是更高效、更经济的起点。
• 算清成本账：本地运行的训练模型没有 API 调用费用，在大规模推理场景下优势显著。
• 任务决定选型：Jev 在 IMDb 上的表现说明，特定的文本理解任务中 LLM 仍有发挥空间。
• 别迷信少样本：给大模型喂示例未必带来稳定收益，需要针对具体任务实测验证。

对于关注 AI 落地的团队而言，这类小规模但方法透明的对比实验，往往比厂商 benchmark 更有实操参考价值。感兴趣的读者可以访问作者公开的完整结果页面与开源代码，自行复现并检验结论。