Meta 在 11 月 18 日的工程更新中,介绍了从一套广告排序模型向其他模型推广改进的做法。公司估计,Agents 自 3 月开始承担执行以来,已处理超过 60% 的推广工作。公司称单名工程师可处理的适配量约为原来的三倍,部分技术与模型组合的训练算力用量中位数约为先前的四分之一。Meta 估算到年底可以节省超过 4,500 万美元的算力支出。打算采购自动化的读者应先看看这些测量之前定义了什么。基本工作单位是某项技术向某个目标模型的一次适配。公司已有办法判定这次适配值不值得放行。Meta 11 月工程更新
值得迁移的选择,是把自动化放到可以重复的决策旁边,让它看得到以往的尝试,给准备上线的改动一条明确的审批路径。Meta 要反复回答的问题,是在一处发现的改进,能不能在另一套模型自己的约束下发挥作用。回答仍需证据,工程师还要决定时间花在哪里。已经具备这些条件的公司,可以测量 Agents 帮助完成了多少有用工作。还在争论什么算可靠结果的公司,则会得到一条更长的提案队列。推广过程的质量决定新速度有没有意义。
条件变化后,每项改进都需要再验证一次#
Meta 的排序模型分别服务不同产品界面和广告目标。每套模型可能有自己的训练数据、特征、线上服务预算和架构。让一套模型变好的训练改动,可能抬高另一套模型的成本,也可能依赖后者没有的输入。公司可以从在某一处奏效的技术开始,挑选合适的目标,做适配、检验,再决定能不能接触真实流量。维护一系列相关产品的工程师对此并不陌生。缺的是既懂得上次改动为什么起效,又来得及把经验传过去的人。
把发现和推广分开,有助于让比较成立。Meta 3 月对 Ranking Engineer Agent 的说明,讨论的是为新想法提出假设和管理实验;11 月的更新,讨论如何把已经显示潜力的技术用到更多适合的模型。一个环节找值得尝试的改动,另一个确定改动到了别处还有没有用。两种工作都可能持续数日,也都可能因减少人工跟进而受益,但基线和有效产出不同。选试点的负责人应明确选择哪种工作。只问一支团队能否用 Agent 改善排序,不说明需要做什么,结果就很容易被事后重新解释。Meta 3 月的实验工作说明
改动排队的时间有直接的经济意义。变化快速的系统里,一项改进只会在有限时间内产生价值。新模型或新的产品目标,可能在旧适配还没验证完成时就把它取代。更早发布的收益,来自在技术还有效的时候触达最能受益的模型。选择哪些模型和启动多少任务同样重要。评估试点,可以记录合格变化走到生产需要多久、排优先级时可用哪些证据、为什么有的模型被排除在外。
共享模板把重复的小决定合并起来#
Meta 另一篇工程文章介绍了标准模型模板。同组模型在架构、训练和线上服务上沿用一些相同选择。工程师可以在代表性模型上跑测试,然后用结果完善共享模板。通用设计也给 Agent 一些先验信息,减少从空白开始猜哪些设置有希望的工作。即使 Agent 很能干,在彼此不兼容的模型配置上各跑一遍也会消耗资源。Meta 同时说明,有需要时团队仍保留特定逻辑。模板化适用于底层负载确实有共性、剩余差异也更容易被看见的地方。Meta 的标准模型模板说明
另一家公司也能找到与模板相似的东西,不必先拥有一大批广告模型。把报表流程落到多个办公点时,产品团队或许发现其中几个使用相同的字段和输出标准;公司在多个市场调整预测模型时,也许会碰到重复的服务约束。这些共同成分使代表性比较变得可行,也能说明哪些差异需要单独测试。先把工作具体定义,才便于问下一次提案是否在重复已经得到的结果,以及省掉一轮单独实验的理由是什么。
合并也有边界。占据很高营收份额的模型,或必须遵循严格服务约束的模型,仍可能值得做定制评估。Meta 表示,最高收入模型的个别适配仍由专家主导,Agents 与工程师一起学习并处理部分工作。别的组织同样可以在回归代价高时保留直接的专家参与,把时间留给这些组合。制定标准化范围时,应写清哪些团队或负载可以用共享流程、新成员要拿出什么证据,以及谁来判断哪些例外承担的后果足够重,应继续独立处理。
更早筛选,会改变预算流向哪里#
Meta 的做法是给出可能值得适配的组合,并按预计收益排优先级。一个有用的候选需要有明确改动、明确接收模型,以及说明两者为什么适合放在一起的证据。没被选中的组合根本没有机会被验证。把所有能想象的组合都列进去,训练和审核又可能被低价值尝试塞满。Meta 称它会看选中的模型里最后有多少上线了该技术,也会看可行模型里有多少被发现。两项衡量回答不同问题。放到一起,才能观察效率增益是不是靠把范围收得过窄换来的。
这个环节也用得上实验记录。Meta 描述了用过往训练和目标模型条件选起点、调整后续试验,并提前结束希望不大的运行。累积起来、能够互相比对的决策记录,才是长期资产。尤其不能漏掉没成功的尝试。只收藏胜利的目录,会让 Agents 一遍遍重试工程师早就做过的昂贵试验。其他团队可以先保留驳回改动的理由,同时记录获批改动。这样的资料能帮助判断,是候选本身不合适,还是用来试它的测量方法出了问题。
Agent 也可能对不完整的记录过于自信。模型数据或基础设施一变,旧版本的优良结果可能失去参考意义。如果只按历史表现分配工作,团队会持续遗漏新的场景。好的决策流程应能给证据标日期、说明候选的评判办法,以及回访没被选中的案例。拥有规律工作流的团队,可以给排在前面以外的候选少留一点验证空间,看看有没有一种有价值的情况总被排除,以免暂时的遗漏变成永久的前提。
人工、算力和交付时间要分别记账#
公告里的数字大致指向两件事,工程师有了更多可用时间,训练资源分配更精细。60% 指公司估计的 Agent 工作覆盖份额,三倍指每名工程师能负责的适配数,训练算力中位数来自筛选过的组合,年底节省则是 Meta 的估算。四个数字可以同时有参考意义,但各自都有单位与比较基线。没有实施、复核和维护成本估算的团队,还不能用训练算力数字推断自己的 AI 项目会收回成本。
实际比较成本时,也要给中止的候选和试验后的工作记账。一套方案也许通过便宜的筛选省下一项昂贵测试,却让团队花更多时间检查进入下一步的提案;另一套方案的试验本身更贵,反复尝试更少,审批也更快。成本表应记录规划、执行、人工、算力和后续维护。目标是适配并发布一项已验证改动时,分母可以取新旧流程分别产出多少通过同一放行标准的适配。再另列总尝试次数,才能看出有多少节省来自及早停止低价值试验。
交付时间也应进账,因为少花钱和早发布是不同结果。工程师确实可能腾出时间批准更多工作,同时数据或算力排队时间还在增加。人均实验数的增长可以写入项目汇报,业务负责人还需要知道发布日期有没有提前。Meta 表示,覆盖所有适用模型的推广可能超过一年,希望压到三个月,并把端到端吞吐提高到约五倍。这些是未来方向。采用相似目标的公司可以标记各节点的等待时间,测出改动落在哪段队列才真正改变交付。
放行依据应能在 Agent 的汇报之外独立核对#
Meta 说技术上线之前要符合预测表现与成本约束。缩小模型规模可以较低成本筛出候选,随后用代表性的完整模型验证保留下来的组合。公司还要求按自己的标准在线上实验中拿到有统计显著性的提升,最终由人审批。每一关回答不同问题。便宜试验判断值不值得多花资源,代表性更强的试验检验在现实条件下是否仍起作用,线上比较和审批才决定公司与用户是否实际承受这项变化。
这对试点有直接影响。负责人应能拿出独立成立的证据,即便负责写汇报的人从未看过 Agent 的解释。改造代码仓库评估程序的团队,可以按相同产出设立外部复核;想改变预测行为的团队,可以留出部分历史区间比较原有和新系统,随后在新数据上检查表现。这些领域不同,责任相似。提案可以生成得很快,放行仍要靠能依据既定标准独立看到结果的人。
审批规则要具体到人和决定。工程师可以负责判断提升是否穿过代表性条件,运营团队可以对预算和容量上限负责,产品负责人可以确认是否测试到正确人群,以及必须撤回时怎样做。如果全等同一个人,系统就制造了新的瓶颈。写清决定有助于把工作分出去,也保留了问责路径。还要规定哪些失败要求人接手。Agent 即便能恢复卡住的训练,也仍需要负责人发现一份可能误导判断的结果。
单次试验变便宜,也可能让团队启动更多试验#
Meta 说 Agents 能管理长时间实验,帮助对使用共享资源的任务排优先级。当试验多到争抢同一批容量,调度本身就有了经营意义。单次运行更便宜,可以腾出资源做更多试验,反过来也增加调度、复核和存储需求。合格产出增加时,总支出仍可能持平或上升。公司可以接受这样的结果,但账目不能把它写成减少预算。负责人应该先确定是要释放容量、在相同资源下做出更多可上线改动,还是缩短到见效的时间。
优先级规则也表达了谁的工作可以等。Meta 表示,它考虑相对收入重要性、预期潜力和截止日期。其他团队可能要给稳定性、使用频率低的功能或未来系统变化留资源。如果所有任务都按短期可见收益排队,即便今天看着产出不错,价值难以提前估算的重要案例也可能长久排不到。负责人可以先划清共享资源、可用数量和需要留存理由的决定,再观察例外是逐渐增多还是减少。
实际做起来,试点预算更像一项运营决定。给一组代表性适配安排固定资源,观察全过程。记下中途放弃的尝试用了多少预算、选择为何改变,再用现有流程里的相似任务比较。若训练变省,工程师却仍花工夫解决审核归属不明的问题,下一笔投入也许该改善审批环节。审批已经很快而容量不足时,提高候选选择质量可能更有收益。两个结论都可以来自同一组上线统计,而不同团队的实际安排可以不同。
共享推广也可能把一个错误一起放大#
模板既方便传递经验证的改进,也方便传播一个错的假设。在代表性模型上看着不错的变化,到了只有某个本地模型才有的边缘场景,可能带来负面结果。推广越快,覆盖这些场景也越快。记录若不完整,恢复旧行为更费力。对多个区域版本,团队可以事先决定第一波覆盖高价值对象还是低风险对象,并记住每组使用的具体版本。这样既保留很大一部分复用收益,也能帮运维人员定位意外只出现在哪里。
可以分别为常见流量和反应可能不同的人群设放行标准。比如预测团队给一组商店引入训练调整,整体误差下降,同时有季节性需求的门店预测变差。是否推广要看接收方符合哪个模式,有足够数据说明才好做决定。合理的停止规则能提示负责人暂停,不让一个好看的平均数遮住实际损失。分阶段发布和回退手段也能留住可逆性,让团队有时间弄清共享模板下的各组到底有多少共性。
团队之间怎么交接记录也是运营问题。设计技术的人清楚某个参数为何被选,日后维护的人可能只能看到当前版本。适配记录可以留下起点技术、目标负载、采用条件、试验结果和生产负责人。失败后,下一支团队需要确定是原来的想法本身没效果,还是实现条件已经改变。把这些细节写到能看懂,可以让后来的工程师和会查旧证据的 Agent 一起受益。
明确责任常比把每个问题都送中心委员会更有效。地方维护者可以确认新配置是否符合预期,共享负责人可以观察多个地方是否出现相同问题。回退要有人决策,以前的版本要能找到。试点期间可以选一项不重要的改动实际走一遍恢复。这样的检查会把战略主张落实到可回答的问题。若流程一次改动十二个对象,谁能说出变更落在何处?那个人能把它们恢复到上一次的可用状态吗?
扩大试点前,该看到哪些结果#
团队若想做一个小规模版本,可以选一项已验证过的改动,列出可能用到它的地方。挑几种典型情况,再挑至少一个有明显差别、可能不适合采用的目标。留下现有流程作比较,让 Agent 能读取适当资料,并把每项适配分别记录为一项决定。最后按同一个质量标准,检查交付量、等待时间、算力和复核工时。如果 Agent 提出了有意思的工作,但没通过放行,结论就是它帮助探索取得进展。这可以支持继续探索,距离让它负责生产还有检验要做。
当选定的一组产出更多合格工作,或在相当质量下更快、更便宜交付,扩大试点有了基础。最好还能看到有人妥善处理异常,团队也能独立解释结果。工作负载构成变化后,优势仍然存在,保留的验收案例也符合预期,证据就更可靠。反过来,如果可行组合越来越少被发现、有损失的回归增多,或审核积压迟迟不散,就说明应缩小范围。这些都是运转信号,测量期需要长到能覆盖最初学习和一个正常发布周期。
Meta 的披露给这些问题提供了具体场景。推广更快可以有价值,算力和审批仍应有明确约束。别的公司能得到什么收益,要看流程有哪些可共享的部分、哪些证据可以复用,以及一次错误会带来多大后果。Meta 的数字是一个大型平台的内部报告,已有成效和目标可以从案例里分辨。实际的第一笔投入,可以让一项常见改动从头到尾都易于评估。组织看得见什么合格、谁负责批准以后,才能测出 Agent 是否把真正有用的东西更快送到了目的地。