引言

在 AI 应用开发中，“可靠性”已成为影响用户体验和产品成功的关键因素。与传统软件不同，基于大规模语言模型（LLM）的系统具有非确定性和易于“故障”的特点：它们在实验室环境中表现良好，却常因用户意料之外的输入而出现不一致甚至严重错误。本文将以 Vercel 工程师 Ido Pesok 在「AI Engineer 世界博览会」上分享的“Evals Are Not Unit Tests”为蓝本，深入剖析如何通过「评估（Evals）」构建设计一套完整、高效的质量保障体系，帮助知识工作者及开发者在实际场景中以系统化的方法提升 AI 应用的可靠性。

本篇文章面向知识工作者与 AI 工程师，旨在：

• 系统梳理 Evals 的概念、流程与最佳实践
• 从「数据收集—评估设计—打分—持续集成」四大环节详解如何落地
• 提供配套的流程图、示例对比表、实践建议，帮助读者快速上手
• 最终形成一套可复用的评估框架，让 AI 应用在真实环境中稳健运行

目录

• 一、背景与挑战：LLM 应用的非确定性问题
• 二、引入 Evals：从篮球比赛到质量保障
  • 2.1 Evals 概念诠释
  • 2.2 篮球场比喻解析
• 三、Evals 实践环节详解
  • 3.1 确定评估「球场」：定义输入域与边界
  • 3.2 收集评估数据：真实用户交互与日志抽样
  • 3.3 设计评估任务：常量与变量的拆分
  • 3.4 评估打分策略：简明、可调试的评价标准
• 四、与 CI/CD 集成：评估持续化的关键
• 五、案例剖析：水果字母计数应用
• 六、专业术语清单与常见问题
• 七、实践建议与行动指南
• 八、总结

一、背景与挑战：LLM 应用的非确定性问题

随着 ChatGPT、GPT-4 一类的大规模预训练语言模型进入工程应用阶段，AI 从研究实验室走向产业端，开发者面临的新挑战主要集中在非确定性与可靠性两大方面：