#LLM-as-Judge
共 108 篇相关文章
·6 分钟
代码偏好数据集：人工审核的DPO/RLHF微调训练素材
一个经过人工审核的代码偏好数据集，专为DPO/RLHF微调设计，覆盖Python和JavaScript，涵盖正确性bug、安全问题、性能权衡等多维度编程质量评估，附带详细的偏好理由标注。
阅读全文 →
·16 分钟
AI Agent奖励黑客：为什么评估高分不等于真实能力
深度解析AI Agent评估中的奖励黑客问题：模型如何钻评估漏洞获取高分，Poolside提出的四重防御策略，以及为什么评估路径与分数同等重要。
阅读全文 →
·13 分钟
从DevOps转向MLOps：市场需求、转型路径与实操建议
深入分析DevOps工程师转型MLOps的可行性，包括两者核心区别、MLOps岗位市场需求现状、所需技能栈及平滑过渡的三步路径，帮助运维工程师做出理性职业决策。
阅读全文 →
·11 分钟
Stickblade Arena：让大模型在物理竞技场里对决的新基准
Stickblade Arena是一个基于物理引擎的LLM评估基准，让大模型在2D竞技场中实时对战，通过空间推理和动态决策考验模型能力，有效避免训练数据泄漏问题。六轴Elo评级系统揭示了模型在不同物理约束下的细粒度能力差异。
阅读全文 →
·17 分钟
LangChain Managed DeepAgents：托管Agent基础设施，专注核心逻辑
LangChain推出Managed DeepAgents公测版，托管评估、记忆、OAuth授权、Slack集成和沙箱等Agent基础设施，让开发者专注Agent核心逻辑。深度解析其功能架构与行业影响。
阅读全文 →
·15 分钟
AI Agent评估标准化：Harbor平台实践与数据驱动评估飞轮
深入解读AI团队如何通过Harbor平台实现Agent评估标准化，以及从执行轨迹到评估任务的数据转化方法论，探讨Agent评估工程化的核心趋势与实践路径。
阅读全文 →
·11 分钟
Kimi作为编排者：多智能体协作架构设计与实践
探讨将Kimi模型作为编排者或审阅者，管理多个工作智能体的协作架构设计。分析编排者-工作者模式的核心逻辑、Kimi长上下文优势、模型搭配策略及实践中的成本与可靠性挑战。
阅读全文 →
·14 分钟
LangSmith Gateway详解：LangChain企业级AI模型网关核心能力与架构
深入解析LangSmith Gateway的核心功能，包括成本控制、速率限制、PII数据脱敏、编码代理集成及开源模型接入，帮助企业构建安全可控的AI基础设施。
阅读全文 →
·19 分钟
LangChain生态深度解读：LangGraph、deepagents与LangSmith协同指南
深入解析LangChain生态系统三大核心组件：LangGraph状态化智能体编排、deepagents深度智能体范式、LangSmith可观测性平台，帮助开发者理解从开发到生产的完整AI应用工程化路径。
阅读全文 →
·15 分钟
Kopai：把专业知识变成AI智能体，实现知识被动收入
Kopai是一款无代码AI智能体创建平台，让专家上传知识即可发布可售卖的AI智能体，按消息计费、70%收益分成。支持加密知识库、内置评估测试和多智能体编排，实现知识规模化变现。
阅读全文 →
·14 分钟
AI互评验证：用Gemini审查ChatGPT输出的实用指南
探讨让Gemini评判ChatGPT发现的交叉验证方法，分析AI互评的价值与局限，提供多模型协作的理性使用框架，帮助用户提升AI输出可靠性。
阅读全文 →
·15 分钟
从零构建AI Agent：真实开发全流程复盘与避坑指南
基于开发者社区真实经验，详解AI Agent从零构建的完整流程：如何选择第一个任务、工具选型对比（无代码vs框架vs手写）、稳定性调优难点，以及判断Agent是否真正完成的评估标准。
阅读全文 →
·12 分钟
系统提示词应该像代码一样做版本管理
系统提示词是驱动LLM应用的核心组件，却常常缺乏版本控制和回归测试。本文探讨如何通过版本化、结构化拆分、回归测试和代码评审，将提示词纳入完整的工程管理闭环，避免提示词退化和指令冲突。
阅读全文 →
·15 分钟
Grok 4.5社区口碑登顶：舆情数据背后的真相与争议
Grok 4.5在ai-census社区舆情排行榜上位居榜首，领先15个前沿AI模型。本文深入分析这份Reddit舆情数据的价值与局限，探讨为何同一模型在不同社区评价截然不同，帮助用户理性看待AI模型排名。
阅读全文 →
·11 分钟
11节点LangGraph实战：构建合规级RAG智能体完整架构解析
深度解析基于LangGraph构建的11节点Agentic RAG智能体架构，涵盖6路智能路由、幻觉守卫、PII脱敏、熔断器等生产级设计，附五阶段检索管线与零成本部署方案。
阅读全文 →
·8 分钟
从Demo到生产：LLM系统落地的真正挑战
深度解析LLM系统从原型到生产环境的落地经验：一个AI事故排查助手的实战案例，揭示数据质量、上下文工程、评估体系等模型之外的关键工程挑战与解决方案。
阅读全文 →
·10 分钟
Harness工程：AI智能体从Demo到生产的核心基础设施
深入解析Harness工程概念：为什么AI Agent上线需要记忆管理、持久化执行、护栏审批等基础设施？Netflix工程师Scott Moss系统阐述Agent生产化的关键工程实践。
阅读全文 →
·7 分钟
AI效果差怎么办？先做对这些简单却常被忽略的事
AI系统效果不理想，问题往往不在模型或算法，而在于数据清洗、prompt编写、评估体系等基础工作没做到位。本文剖析复杂性偏好这一认知陷阱，总结AI工程实践中显而易见却常被跳过的正确做法，帮你从执行层面真正提升AI效果。
阅读全文 →
