#LLM as Judge
共 154 篇相关文章
·7 分钟
LLM-as-a-Judge校准指南：裁判模型可靠性验证实践
探讨LLM-as-a-Judge评估方案中裁判模型校准的关键问题，包括人工评审对照、一致性比率监控、触发式重新校准等实践方法，帮助团队构建可信的AI评估体系。
阅读全文 →
·10 分钟
自建还是购买LLM基础设施？7个月实战复盘揭示隐藏成本
一位工程师耗时7个月自建LLM基础设施后的深度复盘：拆解自建vs购买的决策边界、被严重低估的隐性工程成本（路由、容错、评估等），并横向对比orq.ai、LangSmith、Helicone等主流工具，帮助团队避免重复踩坑。
阅读全文 →
·12 分钟
零成本Agentic RAG架构：为何LLM是最不可靠的节点
深度解析一套运行在免费512MB容器上却实现99.9%可用性的Agentic RAG系统架构，涵盖保活设计、混合解析路由、断路器容错、置信度门控等关键模式，揭示LLM作为最不可靠节点的应对策略。
阅读全文 →
·10 分钟
应届生如何选择技术专精方向？从ML工程实践谈起
应届生如何在AI时代选择技术专精方向？本文从一位ML工程师的真实困惑出发，分析模型调用者与构建者的差距，探讨Kubernetes经验迁移、C++/CUDA学习路径，以及AI辅助编程时代深度专精的价值。
阅读全文 →
·13 分钟
AI评估集构建与维护实践指南：让LLM应用质量可量化
详解如何构建可持续维护的AI评估集，涵盖评估集设计原则、评估方法选择（精确匹配、LLM-as-Judge、人工评估）及CI/CD集成策略，帮助团队实现LLM应用质量的系统化管理。
阅读全文 →
·12 分钟
Langfuse入门指南：LLM可观测性与智能体评估平台详解
详解Langfuse开源LLMOps平台的核心功能与定位，涵盖智能体追踪、Token成本分析、提示词版本管理、自动评估与人工反馈等能力，帮助开发者实现LLM应用的全链路可观测性。
阅读全文 →
·11 分钟
强化学习教AI找漏洞：CMU教授揭秘从崩溃到沙箱逃逸的实战路径
CMU教授David Brumley分享如何用强化学习训练AI进行网络安全攻防，揭示现有漏洞基准测试的致命缺陷，展示AI在Chrome V8引擎上实现沙箱逃逸的惊人实验结果，以及用零日漏洞构建训练环境的前沿方法。
阅读全文 →
·18 分钟
Gemini 3.7 Flash发布：编程与网页开发能力全面升级
谷歌发布Gemini 3.7 Flash模型，在编程、知识型工作和网页开发三大场景实现显著增强。了解这款轻量级AI模型的能力升级、产品定位及对开发者的实际价值。
阅读全文 →
·12 分钟
AI Agent测试实战：五大核心要点与量化评估方法详解
深入解析AI Agent测试与传统测试的本质区别，详解意图识别、槽位填充、否定处理、提示词设计、安全性测试五大要点，以及精确率、召回率、F1分数等量化评估方法，帮助测试工程师快速掌握AI测试核心技能。
阅读全文 →
·15 分钟
从ML到AI工程师：务实的转型学习路线图
详解机器学习工程师与AI工程师的核心差异，提供从工程基础、LLM应用开发到生产化落地的完整学习路线，包含RAG系统、智能体开发等实操项目建议，帮助ML从业者高效转型AI工程师。
阅读全文 →
·8 分钟
康州法官发现诉状暗藏AI隐藏指令：提示词注入攻击入侵司法系统
美国康涅狄格州法官在诉讼文件中发现针对AI系统的隐藏指令，揭示提示词注入攻击对司法领域的新威胁。本文解析攻击原理、司法风险及防范对策。
阅读全文 →
·10 分钟
83亿AI数字人镜像全人类：产品测试方法论的颠覆性变革
哈佛、MIT联合OpenAI等巨头发布83亿AI数字人论文，用1290维画像模拟全球人口做产品测试。深度解读合成用户的方法论、三大判断信号与三大陷阱，揭示AI评测的代表权危机。
阅读全文 →
·16 分钟
Oh-My-Pi深度体验：内置LSP和调试器的编程Agent全面评测
深度评测Oh-My-Pi编程Agent的核心功能：hashline编辑模式、内置LSP工作区重构、真实调试器、语音交互与协作功能，对比Pi框架的设计哲学差异，帮你判断是否值得迁移。
阅读全文 →
·19 分钟
LangChain入门生成式AI开发：学习价值与路径全解析
深入分析LangChain框架的技术定位与学习价值，涵盖核心组件解读、GenAI课程评估标准及初学者实战路径建议，帮助开发者高效入门生成式AI应用开发。
阅读全文 →
·13 分钟
上交大ARIS框架：让科研Agent靠谱自动做研究
上海交通大学发布ARIS框架，实现从文献调研到审稿响应的科研全流程自动化。通过自我审查循环、评分门槛和人工干预机制，解决AI科研Agent长时间运行易跑偏的可靠性问题，已有论文被学术会议接受。
阅读全文 →
·12 分钟
BigQuery与ADK构建数据Agent实战：一行代码搞定AgentOps
深入解析谷歌云基于BigQuery与ADK构建数据Agent的完整技术栈，涵盖MCP Toolbox参数化SQL、托管MCP服务器零运维部署、Agent Analytics一行代码接入可观测性，以及家乐福生产级落地的关键工程经验。
阅读全文 →
·12 分钟
quick-sandbox：轻量级代码沙盒，AI编程时代的安全执行方案
quick-sandbox是一款面向AI编程场景的轻量级代码沙盒工具，提供秒级启动、隔离执行环境，适用于AI Agent代码运行、不受信任代码测试等场景。本文解析其设计理念与应用价值。
阅读全文 →
·15 分钟
可回放A2A陪审团：如何追踪多AI智能体决策影响链路
深入解析可回放A2A陪审团项目，探讨多智能体协作系统中的决策追踪与影响归因技术，涵盖可解释性、影响追踪、调试优化等核心价值与应用场景。
阅读全文 →
