01服务器在运行，但用户满意吗
一家在线教育平台部署了一个AI助教，用于帮助学生解答数学题。系统可用性长期保持在99.8%，平均响应时间只有2.3秒，工程团队对系统稳定性非常满意。
六个月后，运营团队发现一个令人困惑的现象：AI助教的日活用户数在持续下滑，但系统的技术指标一直保持优秀。他们对离开的用户进行了访谈，听到的反馈是："AI给的答案经常不对，或者答了但我还是不懂，还不如直接去搜索。"
工程团队意识到，他们测量的是系统的运行状态，而不是系统的服务质量。99.8%的可用性意味着服务器在响应请求，但不意味着Agent在帮助学生真正理解数学题。他们需要的不是更多技术监控指标，而是一套能够捕捉"Agent是否真正有用"的质量指标体系。
02传统SRE指标的三个盲区
传统SRE（站点可靠性工程）的指标体系——可用性、延迟、错误率——在Agent场景中存在系统性盲区，不是因为这些指标不重要，而是因为它们回答的问题与Agent服务的本质需求不匹配。
盲区一：无法捕捉任务是否真正完成。传统错误率测量的是HTTP请求是否成功返回，而不是Agent是否真正解决了用户的问题。一个AI助教返回了一段文字，从HTTP层看是成功的，但这段文字可能是错误的、不相关的，或者用学生无法理解的方式表达的。技术成功不等于业务成功。
盲区二：无法捕捉成本的可控性。传统SRE关注资源使用效率，但Agent的成本结构完全不同：每次任务的Token消耗、工具调用费用、人工审校成本，构成了一个复杂的成本组合。一个"响应很快"的Agent，可能正在以三倍于竞争对手的成本运行，而传统指标对此无感知。
盲区三：无法捕捉质量的稳定性。传统监控可以检测到系统崩溃，但无法检测到Agent输出质量的渐进性下滑——例如，提示词随着知识库更新产生了轻微的分布漂移，导致回答质量每周下降1-2%，但系统层面的指标毫无异常。这种"慢慢变坏"是Agent最危险的失效模式。
03三层金字塔的结构
三层SLI/SLO金字塔从底层到顶层，分别对应了三个递进的质量问题：这个Agent能否负担得起运营（成本层）？这个Agent的系统表现是否满足要求（性能层）？这个Agent是否真正为用户创造了价值（质量层）？
成本层（Cost Layer）。核心指标是CPTA（Cost Per Task Achieved，每个业务语义成功任务的成本）。CPTA的计算不只是总API费用除以任务数，而是总成本（含Token消耗、工具调用、人工审校）除以真正成功完成的任务数。一个失败的任务消耗了资源，但没有创造价值；如果用总任务数（含失败任务）计算平均成本，会低估真实的每单位价值成本。
性能层（Performance Layer）。核心指标包括P99延迟（第99百分位的响应时间）和端到端可用性。注意这里是"端到端"可用性——不只是API网关的可用性，而是从用户发出请求到收到有效回答的整个链路的成功率。一个API成功率99.9%但有20%的任务因为内部错误产生空响应的系统，端到端可用性只有约80%。
质量层（Quality Layer）。核心指标是业务语义完成率——Agent的输出是否真正解决了用户的实际需求。这个指标无法通过简单的技术手段测量，需要LLM-as-Judge机制：用一个校准过的Judge Agent来评估每一个（或抽样的）Agent输出，判断其是否真正完成了任务。幻觉率（输出中包含事实错误的比例）也是质量层的重要指标，特别是在教育、医疗、法律等需要高准确性的场景。
04Error Budget：管理三角关系的核心机制
三层指标之间存在内在的制约关系：追求质量（更多的人工审校、更严格的LLM-as-Judge过滤）会推高成本；追求性能（更低的延迟）可能需要使用更贵的模型；追求成本（换用更廉价的模型）可能牺牲质量。这个三角关系没有全局最优解，只有根据业务优先级做出的权衡。
Error Budget（错误预算）是管理这个三角关系的核心工具。每一个SLO目标都对应一个Error Budget：如果任务完成率SLO是95%，那么每100个任务允许5个失败——这5个失败就是这个SLO的Error Budget。当Error Budget消耗过快时，需要减缓改进节奏，集中资源修复质量问题；当Error Budget充裕时，可以加速新功能的部署。
Error Budget消耗率的管理策略分为四个级别：消耗率0-50%（健康），可以正常部署新功能；50-80%（关注），新功能部署需要额外审查；80-100%（警告），冻结新功能，全力修复问题；超过100%（超支），高管介入，暂停部分功能，增加人工兜底。
值得注意的是三层之间的联动规则：当成本层的Error Budget耗尽时，质量层的SLO应该自动收紧。这个规则的逻辑是：如果成本已经超出控制，必须通过更严格的质量过滤来减少无效任务的产生，而不是继续扩大质量的容忍范围来消耗更多的成本预算。
05质量层的测量难题：LLM-as-Judge
质量层指标的最大挑战是测量。"这个回答有没有真正帮助用户"是一个需要主观判断的问题，无法用规则引擎自动判断。LLM-as-Judge机制通过训练另一个LLM来扮演"质量审核员"的角色，评估每一个Agent输出是否满足质量标准。
这个机制有一个根本性的校准问题：Judge Agent的判断是否与人类专家的判断一致？答案会随着时间漂移——LLM模型更新、业务场景变化、评估标准演进，都可能导致Judge Agent的判断逐渐偏离人类期望。
因此，每月需要进行一次人机一致性校准：随机抽取100条Agent输出，同时由人工专家和Judge Agent进行独立评分，计算两者的一致性系数（Kappa系数）。如果一致性低于0.8，说明Judge Agent的判断已经发生漂移，需要重新调整Judge Prompt或更换基础模型。这不是一次性的配置工作，而是需要持续维护的运营活动。
06SLO不是越高越好
一个常见的管理直觉是：SLO目标当然应该越高越好，99%的质量比95%更好。这个直觉在Agent场景中是有害的。
SLO=100%意味着零Error Budget，意味着团队不允许任何失败，意味着每一次实验性的改进都可能违反SLO而被迫回滚。在一个需要持续迭代的AI系统中，这种压力会让团队停止改进。Error Budget存在的意义，是为持续学习和实验提供空间。
SLO的设定应该基于三个维度的综合考量：用户能容忍多低的质量而不流失（用户期望）、当前系统在历史上能达到什么水平（历史基线），以及提升质量需要付出多少成本（改进成本）。基于这三个维度设定的SLO，才是有意义的管理目标，而不是在纸上写了一个令人印象深刻的数字。
07回到那个在线教育平台
那家在线教育平台在引入三层SLI/SLO金字塔之后，重新定义了AI助教的核心指标。质量层的核心SLI不再是"API成功率"，而是"学生理解率"——通过用户在收到AI回答后的后续行为来代理测量（是否继续提问、是否成功完成练习题）。
三个月的数据揭示了一个令人惊讶的洞察：当他们为了降低CPTA而削减了某类复杂题目的人工审校成本时，质量层的"学生理解率"显著下滑——那类复杂题目正是需要人工审校来确保答案解释清晰的场景。成本层和质量层的指标，第一次以可量化的方式揭示了它们之间的制约关系。
这个发现改变了他们的产品策略：对于简单题目，他们继续优化CPTA；对于复杂题目，他们保留了人工审校，并将这部分成本作为核心用户体验投入来核算。两种策略在同一个三层指标体系下并存，清晰地呈现了成本-质量的权衡决策。
01"指标全绿但价值流失"——技术与业务的盲点
企业在部署智能体系统之后，通常会建立一套监控仪表盘。仪表盘上最常见的指标：系统可用性（99.9%，优秀）、平均响应时间（1.2 秒，达标）、错误率（0.3%，良好）。每次运营周报，这三个指标都是绿色的。
但在同一段时间里，业务侧发现了一个令人困惑的问题：引入智能体之后，预期的业务效率提升没有出现。用户确实在使用智能体，响应也够快，也没什么明显的错误，但最终的业务产出没有改变——有时候甚至更差了。
技术团队和业务团队各执一词，谁也说服不了谁，因为他们用的是完全不同的衡量体系，而这两个体系之间没有连接。技术指标显示系统在正常工作，业务指标显示系统没有产生价值。两件事都是真的，但没有一个框架能把它们放在一张图里同时看清楚。
02SRE 指标体系为什么对智能体不够用
本框架创新：在 SRE 指标体系基础上，增加智能体系统三个新指标维度——任务真实完成质量、单位成本效能、输出质量稳定性，构建三层指标金字塔；揭示三层之间的本质性制约关系。
站点可靠性工程（SRE）是 Google 在 2003 年前后系统化的工程实践体系。SRE 提出的黄金指标——延迟、流量、错误率、饱和度——已经成为现代互联网基础设施运维的标准语言。
这套指标体系的价值是真实的，但它有一个隐含的设计前提：服务的价值可以用"正确完成了多少请求"来衡量。一个 API 请求，要么成功（HTTP 200），要么失败。
智能体系统打破了这个前提。一个智能体"成功完成"了一个任务（没有报错，在正常延迟内返回了结果），和这个任务"产生了真实的业务价值"，是两件完全不同的事。传统 SRE 指标只能衡量前者，而后者才是企业真正关心的。
更深的问题是：智能体系统还引入了一个传统 IT 系统几乎不需要考虑的成本维度——每次任务执行都有直接的算力成本（以 Token 为单位），而这个成本和任务的业务价值之间的关系，是非线性的、需要主动管理的。
03三层指标金字塔
智能体运营指标金字塔把智能体系统的运营健康状态，分解为三个层次递进、相互制约的指标维度。
底层·可用性指标（Availability Layer）
延迟、错误率、吞吐量——继承自传统 SRE 体系的技术性指标。这是整个金字塔的基础，是运营质量的必要条件。没有稳定的可用性，上面两层都无从建立。但这层指标只是入场券，在智能体系统里单独看这层指标，会产生严重的管理盲点。
中层·效能指标（Efficiency Layer）
任务真实完成率（结合 JTBO 的结果层定义，不只是"任务被执行了"，而是"业务目标被实现了"）、单次成功任务成本（CPTA，把所有相关成本分摊到每个真正完成的任务上）、人工 Override 率（用户推翻 AI 决策的频率，这是可靠性信任的晴雨表）。
顶层·质量稳定性指标（Quality Stability Layer）
P50/P90/P99 的输出质量分位数（追踪大多数用户的体验，而不只是平均值）、质量退化预警信号（在退化明显之前，分布变化的早期信号）、跨场景一致性（相同类型的任务，在不同上下文下的表现差异）。
04三层之间的本质性制约关系
这个框架最重要的洞察，不是三个独立的指标维度，而是它们之间存在一种无法被消除、只能被管理的本质性制约关系。
降低成本往往损害质量。最直接的成本优化手段——减少 Token 消耗、使用更轻量的模型、压缩上下文长度——几乎都会在某种程度上影响输出质量。把成本优化到极限，质量通常也到了它的下限。
提升质量往往增加成本。为了提高输出质量，通常需要更丰富的上下文、更多的工具调用、更复杂的推理链——这些都会增加 Token 消耗和调用成本。
提升性能可能降低质量。为了加快响应速度，可能需要简化推理过程、减少检索步骤、使用更快但不那么精准的模型——这些都可能影响输出质量的深度和准确性。
这三组制约关系，意味着智能体运营不存在"把所有指标都优化到最好"的解。每一次运营决策，本质上都是在这三个维度之间做出明确的权衡取舍。没有意识到这个权衡关系的团队，会发现自己在优化一个维度时，另一个维度在悄悄退化，而他们不知道为什么。
05系统在运行 ≠ 系统在产生价值
智能体运营指标金字塔揭示的，是企业在 AI 系统运营上最普遍的认知错误：把"系统在正常运行"等同于"系统在正常产生价值"。
传统软件运维里，这两件事的差距很小——系统正常运行意味着用户可以正常使用功能，功能被使用通常意味着产生了某种价值。这个逻辑链条在传统软件里基本成立。
在智能体系统里，这个逻辑链条断了。系统正常运行，只是价值产生的必要条件，不是充分条件。智能体可以在技术上"正常运行"，同时在业务上"没有产生有效价值"——它在高效率地做了大量无效的工作。
认识到这个断裂，意味着运营团队需要把工作重心从"保证系统可用"向"保证系统有效"扩展。这不是技术工作量的增加，而是运营思维方式的根本转变。
T1理论来源与学术引证
以下为本框架的理论基础说明，提炼自正文中的理论注释块。
本框架创新：在 SRE 指标体系基础上，增加智能体系统三个新指标维度——任务真实完成质量、单位成本效能、输出质量稳定性，构建三层指标金字塔；揭示三层之间的本质性制约关系。
T2框架定位与适用边界
本框架是管理实践工具，为高管和研究者提供结构化分析视角，不提供可直接验证的因果预测。其有效性依赖于：分析者对所在行业的深度认知、可获取的组织数据质量、以及将分析结论与具体决策场景相结合的能力。
智能体时代的框架有一个共同的时效性问题——AI 技术演化速度快于传统战略框架的更新周期。建议每 12–18 个月对本框架的核心假设进行一次复盘，检视其前提条件是否仍然成立。