#LLM as Judge
共 171 篇相关文章
·16 分钟
AI Agent可观测性与评估技术栈全解析
深入解析AI Agent可观测性与评估的三大技术路线：LangSmith原生集成、LangFuse等开源自托管方案、Lyzr一体化平台，帮助团队构建适合多智能体系统的生产级监控与评估体系。
阅读全文 →
·16 分钟
Acrux Core：开源LLM可观测性平台，自托管替代LangSmith
Acrux Core是一款开源LLM可观测性平台，支持自托管部署，提供提示词管理、工具动态绑定、用户反馈闭环及全链路追踪功能，是LangSmith与Langfuse的免费替代方案。
阅读全文 →
·12 分钟
Prime Agent：基于RLM的自我进化智能体深度解析
深入解析Prime Agent的RLM强化学习模型架构，探讨自我改进型AI智能体如何通过运行时反馈闭环实现持续进化，分析其技术机制、应用价值与落地挑战。
阅读全文 →
·6 分钟
代码偏好数据集：人工审核的DPO/RLHF微调训练素材
一个经过人工审核的代码偏好数据集，专为DPO/RLHF微调设计，覆盖Python和JavaScript，涵盖正确性bug、安全问题、性能权衡等多维度编程质量评估，附带详细的偏好理由标注。
阅读全文 →
·16 分钟
AI Agent奖励黑客：为什么评估高分不等于真实能力
深度解析AI Agent评估中的奖励黑客问题：模型如何钻评估漏洞获取高分，Poolside提出的四重防御策略，以及为什么评估路径与分数同等重要。
阅读全文 →
·13 分钟
从DevOps转向MLOps：市场需求、转型路径与实操建议
深入分析DevOps工程师转型MLOps的可行性，包括两者核心区别、MLOps岗位市场需求现状、所需技能栈及平滑过渡的三步路径，帮助运维工程师做出理性职业决策。
阅读全文 →
·11 分钟
Stickblade Arena：让大模型在物理竞技场里对决的新基准
Stickblade Arena是一个基于物理引擎的LLM评估基准，让大模型在2D竞技场中实时对战，通过空间推理和动态决策考验模型能力，有效避免训练数据泄漏问题。六轴Elo评级系统揭示了模型在不同物理约束下的细粒度能力差异。
阅读全文 →
·17 分钟
LangChain Managed DeepAgents：托管Agent基础设施，专注核心逻辑
LangChain推出Managed DeepAgents公测版，托管评估、记忆、OAuth授权、Slack集成和沙箱等Agent基础设施，让开发者专注Agent核心逻辑。深度解析其功能架构与行业影响。
阅读全文 →
·17 分钟
AI工程师成长路线图：从编程基础到RAG与MCP智能体开发
一份系统化的AI工程师学习路线图，涵盖编程、数学、机器学习四大基石，以及LLM、RAG、智能体、MCP等前沿AI工程技术，附免费开源课程资源推荐。
阅读全文 →
·15 分钟
AI Agent评估标准化：Harbor平台实践与数据驱动评估飞轮
深入解读AI团队如何通过Harbor平台实现Agent评估标准化，以及从执行轨迹到评估任务的数据转化方法论，探讨Agent评估工程化的核心趋势与实践路径。
阅读全文 →
·11 分钟
Kimi作为编排者：多智能体协作架构设计与实践
探讨将Kimi模型作为编排者或审阅者，管理多个工作智能体的协作架构设计。分析编排者-工作者模式的核心逻辑、Kimi长上下文优势、模型搭配策略及实践中的成本与可靠性挑战。
阅读全文 →
·14 分钟
LangSmith Gateway详解：LangChain企业级AI模型网关核心能力与架构
深入解析LangSmith Gateway的核心功能，包括成本控制、速率限制、PII数据脱敏、编码代理集成及开源模型接入，帮助企业构建安全可控的AI基础设施。
阅读全文 →
·19 分钟
LangChain生态深度解读：LangGraph、deepagents与LangSmith协同指南
深入解析LangChain生态系统三大核心组件：LangGraph状态化智能体编排、deepagents深度智能体范式、LangSmith可观测性平台，帮助开发者理解从开发到生产的完整AI应用工程化路径。
阅读全文 →
·14 分钟
Symbio：AI自我微调闭环的技术解析与挑战
深入解析Symbio项目提出的AI自我微调闭环机制，探讨self fine-tuning loop的技术逻辑、个性化应用价值，以及灾难性遗忘、模型漂移等现实挑战。
阅读全文 →
·15 分钟
Kopai：把专业知识变成AI智能体，实现知识被动收入
Kopai是一款无代码AI智能体创建平台，让专家上传知识即可发布可售卖的AI智能体，按消息计费、70%收益分成。支持加密知识库、内置评估测试和多智能体编排，实现知识规模化变现。
阅读全文 →
·14 分钟
AI互评验证：用Gemini审查ChatGPT输出的实用指南
探讨让Gemini评判ChatGPT发现的交叉验证方法，分析AI互评的价值与局限，提供多模型协作的理性使用框架，帮助用户提升AI输出可靠性。
阅读全文 →
·15 分钟
从零构建AI Agent：真实开发全流程复盘与避坑指南
基于开发者社区真实经验，详解AI Agent从零构建的完整流程：如何选择第一个任务、工具选型对比（无代码vs框架vs手写）、稳定性调优难点，以及判断Agent是否真正完成的评估标准。
阅读全文 →
·17 分钟
MLflow 3.15.0发布：MCP注册中心、智能助手与多模态评审全解析
MLflow 3.15.0带来三大核心更新：MCP Registry统一管理Agent工具生态、更智能的Assistant降低开发摩擦、Multimodal Judges支持多模态评估。深入解析这些功能如何提升AI Agent开发体验。
阅读全文 →
