编程 Agent 可以同时变得更强、更贵,即使评测中的任务成本看上去令人放心。Airbnb 在美国时间 11 月 18 日、上海时间 11 月 19 日与 AWS 联合发布的案例中,描述了这种情况。其内部 AirChat 工具通过网关调用 Amazon Bedrock。对企业负责人,值得带走的经验在于,一次漂亮评测进入日常使用之后,谁来继续拥有这项决策。Airbnb 与 AWS 案例
我们的判断是,模型默认值应成为一项可以撤回、有明确负责人的运营决策。任务测试为推广提供证据,后续开销和产出决定是否继续。Airbnb 的案例由客户与供应商共同陈述,模型未具名,观察期也有限。它提供了适合采购和运营参考的机制。另一家公司的财务结果,仍取决于自己的任务、人员和商业条款。
在账单旁边,放一个经过验收的工作单位#
Token 单价在采购前就能看见,因此很适合放进表格。一个编程任务可能经过多次模型调用、工具动作和验证,才有人接受修改。因此,影响决策的工作单位需要明确起点和终点。例如,组织可以把代表性任务定义为,满足既定检查和审阅条件的代码库变更。这是对评测设计的分析建议,价值在于让出资、交付和维护的人,都能认出结果是什么。
Airbnb 表示,评测把每项任务全部调用的 Token 按公开标价加总,并把平均成本与质量并列,包括得分较低的尝试。最后这一点值得重视。失败或不合格工作同样消耗资源,评测若删去这些尝试,就可能把方案描述得比实际预算体验更有吸引力。采购团队应追问分母包含什么,评分标准与可用工作有什么关系。质量分数和验收交付数量,是相关但含义不同的问题。
数字还有另一层边界。模型费用只是运营成本的一部分,审阅时间、执行基础设施,以及合格变更的集成成本,都可能重要。公司可以先建立精确的模型成本指标,同时单独记录其他资源。要合并,就需要明确方法和一致观察。模型账单下降,不能直接推导为节省了相应人工。更扎实的商业论证,应追踪到验收,并说明哪些成本经过观察、哪些来自估算、哪些留在比较之外。
任务差异较大时,这一点尤其重要。修复小缺陷、准备迁移和调查偶发故障,可能形成不同工作模式。把它们合成一个平均数,会掩盖昂贵的成功和便宜的失败。有用的任务组合,应保留分类,并记录结果出现时的条件。负责人才能决定默认模型适用哪里。一个模型可能在某类任务值得付费,另一类则需要不同选择或更密切监督。
这一阶段应产出可理解的决策记录,包含任务集、验收规则、工具配置、价格日期和结果分布。工程团队可以解释测了什么,财务也能理解数字覆盖什么。它还会让下一次比较减少临时修改定义的空间。当接手者能够重建推理,并重新执行相关任务,采购决定就更牢靠,无需依赖供应商发布时的一张排名图。
生产环境会改变人们提出多少工作#
Airbnb 案例中最值得注意的部分,在推广之后出现。一个未具名模型在评测中表现良好,任务成本相近,生产环境的人均开销却上升数倍。公司描述了每人请求增加、单次请求更贵这两个驱动因素,合计账单会把它们混在一起。这也说明,固定任务评测有用,同时还留下一个重要商业问题。人们拿到能力不同的工具,会改变行为。
能力更强的 Agent,可能让人委派更长任务、多试一次,或者探索本来会推迟的工作。这些都是可能解释,价值取决于产出。更多请求可以代表有用新增工作、反复修正,或两者混合。预算负责人需要足够信息区分它们。自动把额外使用称为浪费,与自动称为生产率提升,同样薄弱。相关问题是,创造了什么有效工作,又需要多少资源才能验收。
这提示我们,部署前应做两个相关预测。一个估计固定代表任务集的资源用量,另一个估计访问范围、默认值和用户信心变化后,需求会如何变化。第二个预测的不确定区间更宽,仍然有用,前提是负责人明确情景并安排复查。公司可以为需求稳定、适度扩大和密集使用做准备,同时承认尚不知道会出现哪条路径。运行记录再告诉团队该修改哪个假设。
人群对照会有帮助,但限制应清楚。跟踪同一组人换模型,能减少一项变动来源,项目构成、学习和其他变化仍会影响结果。第一周给出早期信号,持久性还需要更长观察。因此,证据应始终附着于它的时间窗口和人群。这样,负责人更不容易把一个合理案例扩展为通用开销预测,也能保留早期结果值得继续测量的实际价值。
可撤回的默认选择,把不确定性转为运营流程。组织可以从明确人群开始,同时观察任务质量和需求,再扩大或调整。这个方法需要一个有权根据新证据行动的人。缺少决策权的看板,可能只是在记录意外。采购协议、网关配置和复查节奏若支持调整,同样的信息就能推动行动。学习成本由此与有边界的部署决定相连。
缓存上下文,仍可能占据实际开销#
模型用量包含费率不同的多类 Token。Bedrock 文档按所用模型的规则,区分未缓存输入、缓存写入、缓存读取和输出。有用的成本视图应分开记录,再应用对应日期的价格。把请求称为命中缓存,只解释了部分财务情况。反复读取的数量和请求频率,仍可能很重要。Bedrock 提示词缓存文档
长 Agent 会话提出一个直接的管理问题。账单里多少用于推进工作,多少用于重新读取已经积累的材料?重复上下文可能对正确决策不可缺少,也可能包含继续保留却价值很小的内容。答案取决于任务和 Agent 设计。改变行为之前,团队应检查真实 Token 构成。只为让曲线下降而移除上下文,可能损害质量,并在别处制造昂贵返工。
有用的比较,是受控改变整个流程。假设团队调整历史工具输出的摘要方法,就可以在同一任务上测量合格结果、持续时间和模型总费用,再考虑推广。这是一个假想评测建议,允许较小输入产生帮助、损害或影响不大三种结果。按完整结果做决定,比把每段较大上下文都视为缺陷更有说服力。组织采购的是结果,以及让结果可靠所需的足够信息。
价格也需要一致的参照。公开标价让案例比较更容易理解,企业真实条款可能产生不同发票。清楚标记之后,两者都有用。财务可能需要内部预算视图,工程则需要比较多次运行的共同基础。记录应保留足够细节,方便之后对账。否则,商业条款变化可能看起来像技术效率提升,真正改进也可能被新的计费安排遮住。
责任分工再次重要。工程解释上下文为何存在,调整是否保留行为。财务帮助确定预算口径。服务负责人决定应用适合怎样的质量、延迟和成本组合。让这些人共享同一份决策记录,可以减少各自优化不同分母的风险。如果一次更贵请求,因为更容易产生合格结果而合理,取舍也能被看见。
更多推理,需要按任务证明价值#
模型推理档位,在产品内部又产生一项采购选择。Airbnb 案例描述,一次评测里,更高档位只带来小幅评分提升,任务成本却显著提高。有用的含义是,应测量它对本组织任务的边际收益。更高档位可能适合困难任务,在另一些任务里没有必要。档位名称本身,几乎无法证明额外支出能否改善某个合格结果。
默认值和上限承担不同职责。默认值影响保持原配置的人如何日常使用,上限约束他们可以选择的范围。设好两者,需要了解任务分布和差结果的后果。公司可以给值得增加投入的任务保留升级路径,同时保持常见工作的可预测性。重点是,谁能批准例外、什么证据支持、什么时候复查成本,都要清楚。
质量还应有独立于成本比较的门槛。便宜尝试若无法满足验收条件,对生产变更就价值有限。反过来,合格结果继续提高,需要与具体工作相关的理由。有些任务失败后果较大,值得增加可靠性投入;另一些更早达到实际停止点。企业应以可检查的语言交代差别,并给每类任务配套适当评测证据。
同样逻辑适用于围绕模型的提示词和 Agent 软件。要求更详尽的指令,可能改变响应长度、工具使用和完成时间。客户端更新可能改变会话积累上下文的方法。这些都属于服务运行方式的变化,应该留下可追踪的发布记录。账单波动时,团队需要知道配置改了什么。否则,客户自己应用引入的行为,也可能被归功或归咎于模型供应商。
有效复查应按同一验收规则比较多个允许配置,然后记录所选范围。它应说明,便宜选择在哪里损失重要工作,昂贵选择在哪里新增价值很少。这样的采购材料,比单一总排名更有力。它让用户有理由信任默认值,也让管理者能回答为何每项任务都不能使用最高档位。政策由此反映测得的价值和有责任人的选择。
容量和账单,描述不同约束#
一项服务可以看上去负担得起,同时遇到请求准入限制。Bedrock 介绍了因模型而异的配额 Token 计算,包括请求初始预留与最终用量的关系。运营上的经验是,支出曲线无法回答所有容量问题。团队需要理解真实模型和端点采用的配额机制,再监测相应信号。Bedrock Token 与配额计算
这对预算负责人重要,因为中断有代价。等待被限流 Agent 的人,可能重试、换工具或放弃任务。每种反应都会改变需求,以及开销比较的含义。因此,推广应同时给成本和服务质量划范围。可用性与完成时间,决定工具能否在需要时提供帮助。如果应用缺少余量,较低的平均模型费用也可以与糟糕体验并存。
延迟也需要拆解。AWS 指南说明,应结合首 Token 时间、生成输出量和生成速度观察。这样可以区分请求变慢的多种原因。响应变长时,生成速率仍可能相近。该采取什么措施,取决于哪部分变化。商业含义是,先调查任务和配置,再判断供应商是否变慢。延迟诊断
容量规划随后应跟随推广前建立的需求情景。团队可以测试目标负载,检查限制环节,再决定为多少缓冲付费。重试政策也属于评估内容,因为出问题时它可能放大压力。这些是一般运营原则,具体设置取决于服务。实用交付物,是应用在满足自身验收与时间要求下能支持多大负载的测量记录,以及需求超限时的清楚应对。
这也说明,应在危机前准备替代项。替代模型需要合适的任务质量、权限和真实容量。目录里有名字,不能证明它能按所需规模接替服务。采购与工程应把合同上的更换权,与经过运行检验的路径相连。当切换在明确条件下能保留足够服务行为,让工作继续,企业才获得一项有意义的选择。
账单下降之后,仍要检查产出#
Airbnb 表示,在新未具名模型得到更好任务评测后,把重度用户迁过去。该人群的第一个完整星期,主模型开销降至约七分之一,请求数大致相同。这是采用文章公开标价口径、针对特定人群和时期的陈述。范围具体,才使它有用。它给出了证据变化后重新选择默认模型的例子,同时给其他公司的节省幅度保留了独立测量空间。
接下来的管理问题,是合格工作怎样了。请求数相近,让一个维度更容易比较,任务构成、审阅投入和完成结果仍有待了解。考虑类似方法的企业,应在自己的部署中测量这些维度。账单下降可以释放预算,也可以支持继续追问,每项合格变更的价值是否提高。答案应跟随证据,避免预先写好必然提高生产率或必然浪费的故事。
来源身份也需要同样精确。文章由 Airbnb 工程师与 AWS 员工共同撰写,发表在 AWS 网站,属于参与方的运营陈述。独立审计需要获得足够任务、测量与假设,才能检验结果。读者可以学习机制,同时保留作者身份和披露范围。这样,案例在决策会上能启发一项测试,并让企业继续依靠自己的证据。
监测本身也有数据责任。网关可以收集归集费用所需的信息,调用日志则可能包含敏感代码、提示词或输出。AWS 文档介绍了日志控制与访问考虑。团队应决定什么证据必要、谁可以使用、保留多久。这些选择影响真实运营方式,也能让成本分析维持用途,避免测量项目失控地积累工程材料。模型调用日志
复查节奏应与变化速度匹配。新模型、修订提示词、不同客户端或价格变化,都可能值得再看一次。团队可以记录,什么事件触发有限复测,什么需要更大范围部署审查。目标是可管理的流程,维持定义稳定,同时更新结论。负责人由此能识别真实改进、调查意外,也能避免因无人负责重看,就把曾经合理的默认值一直保留下去。
给决策一个负责人,也给退出一个条件#
案例最有力的企业经验,在组织层面。有人必须拥有默认值,有人必须维护评测,有人必须把生产行为与预算对照。职责可以分属不同团队,交接需要明确。决策要有复查日期和支持改变的条件。技术负责人应能解释,质量下降、开销超出约定情景,或模型不再满足服务要求时,谁负责行动。
退出也需要准备。模型生命周期政策会影响持续访问,替换的工作量超过改一个标识符。组织需要经过测试的候选、足够容量,以及保留应用核心行为的方法。AWS 公布了生命周期文档,可供采购审查。具体承诺仍要按实际采购的模型和商业安排核对。Bedrock 模型生命周期
一份实用决策备忘录,应汇集任务证据、预期需求、价格口径、允许配置、容量计划与产出复查,明确谁有权修改默认值,哪些条件需要升级处理。支撑测量保存在可追踪记录里,备忘录本身可以简洁。它的作用,是把出资的人与交付、验收工作的人连接起来。这样的联系,比只报告数字上升、却不解释下一步决策的看板更有价值。
当明确观察期内,任务质量、合格产出和生产行为保持满意,我们会更支持扩大推广。如果收益无法通过复查、用量扩大却缺少清楚价值,或者运行约束让交付不可靠,我们会支持缩小部署或换模型。这些都是企业可以真实执行的条件性决定。它们把快速变化模型的不确定性,转化为可以学习、也可以停止的责任流程。
Airbnb 的报告有用,因为它展示了真实使用挑战评测预期之后,默认值可以被重新选择。持久的经验,是保留重审能力。企业购买的是一项不断变化的服务,由不断变化的人用于不断变化的工作。定义清楚的任务指标、单独记录的需求,以及具名负责人,能让采购有更牢固基础。可靠的 AI 预算,应该让假设可检查,也让证据变化时的运营选择能够随之调整。