11 月 18 日,AWS 开放 SageMaker AI 跨区推理路由,同时发布 Salesforce 在内部网关使用该功能的案例。托管服务可以在不同 AWS 区域与账户下已部署的端点中选择。Salesforce 将有地域驻留要求的请求留在本区,只有其他请求在本地端点失常时,才有资格使用经批准的外区容量。对已经在多处运行同一模型、各处分配有余缺的企业,这项技术值得看。收益取决于组织是否说得清哪些调用能动、谁留出了接收容量,以及如何知道某次请求走了预定路径。Salesforce 与 AWS 案例

测试也说明了一个限制。在一次本地饱和试验中,延迟上升数分钟,请求仍留在原区域。服务开始报错后,流量才逐步转移到第二区域。这是预定规则下共享容量的案例。另一个业务问题是,等到规则生效前,用户能等多久。我会把它当成把部分流量分配工作交给供应商的一种方式,同时保留企业对地域资格、端点、恢复和客户回应的责任。购买一次托管的目的地选择,企业还要决定调用带什么、什么时间以内必须有结果。

三十多个区域解释了问题,不能用来描述此次上线规模#

Salesforce Agentforce Foundation 团队介绍,它在三十多个全球区域、多套 AWS 账户里提供模型服务。这是原有业务的足迹。公开的路由测试范围更窄,作者将扩大部署列为后续工作。读企业案例时,这一区别很实际。覆盖面大的客户能说明在自身规模下遇到什么问题,需要另以验证说明新方法用到了哪里。对 Salesforce 而言,客户高峰和新业务进入,会令某些端点短缺、另一些仍有余量。每区都为所有高峰重合准备资源可能很贵。如果请求与接收区都具备资格,使用部分共享容量就有理由。

传统做法是在应用或网关负责地区切换。Salesforce 说原有网关有健康检查、重试与地区切换,但对发送端和接收端的容量信息都看得不完整,也希望限制故障时外溢对其他区域的影响。把部分逻辑交给托管功能,可以减少每个应用反复维护一套,也改变企业看见和测试决定的方式。负责人需要问平台接手了哪些决定、公司保留什么规则,以及哪些故障仍要演练。调用方式更简洁,这些责任仍然重要。

发布还给直接买容量提供了一个对照。AWS 称上线时实时推理覆盖 32 个商业区域,异步覆盖 25 个。这两个是平台支持数,与 Salesforce 既有区域足迹和两区实时试验各有口径。它指明去哪里查可用性,并不会让端点自动出现在客户账户。部署选择要从企业真正运营的区域与模型开始。第二区域若跑的模型不同,或无空间收请求,合同上多写一个地名也得不到接得住的容量。AWS 正式发布公告

分配容量之前先确认路由资格#

Salesforce 的内部网关先读驻留要求,再决定请求能否进入跨区路径。必须留在本区的调用只指向本地目的地,其他调用才可被送往事先批准的端点。两组在故障时不一样,一组目的地少,本地紧张时余量可能更有限;另一组能够利用外区分流。只看合并的服务水平,会遮住没有合格后路的客户。引入路由的负责人需要同时弄清两类业务都能拿到怎样的可用性。

风格化示意图:请求在驻留检查闸口分流,一路留在本地服务器,另一路前往经批准的区域端点。

企业政策不是从区域选择界面推出来的。合同可能说明哪些数据或任务需留在约定边界,模型团队再转成允许的目的地清单,以及无可用去处时的本地处理方式。对于同一地理区域,不同团队可以有不同要求。例如一项服务处理客户对话,另一项处理汇总的例子,两者路径可以不同。应用主人要有能识别适用政策的方法,也要留下决定记录。在客户能说清的范围内使用容量逻辑,才有把握理解自动决定。

还要试一试没有资格信息或信息冲突时会怎样。应用需要明确无法确认时的处理方式。一类任务适合保留本地或临时暂停,另一类或许有书面规则允许更多目的地。选择来自组织的责任,不由当时流量有多高临时决定。繁忙的发布或产品输入变化时,这类情况有可能发生。Salesforce 案例有意义,是因为网关保留了能查的业务规则,再让托管服务处理剩下选择。别的买家也应明确自己要在网关保留哪项判断。

接收端点也需要自己的容量预算#

路由器可以把调用交给客户已有的端点,自己无法部署模型、复制模型文件或增加实例。即使路由由别人运行,端点主人也有容量决策。如果一个已繁忙的区域接受邻区的全部请求,本地故障可能扩大。AWS 提供可选的实时端点跨区上限,以给本区流量留出空间。各方能先约定跨区流量可用多少容量、不会妨碍现有用户,再测触到上限时路由怎样处理,这项限制才有用。

预算有两块。接收端自己在高峰期需要的容量,以及能留给外区的余量。两地高峰可能重合,也可能各自发生。平常安静的地域可以给某类可预期高峰兜底,同一个事件让两边都忙时,它也许就帮不上太多。Salesforce 报告把跨区流量触顶时是否会级联列为扩大前的工作。团队需测日常情况,也要测最不方便的重合情况,然后才能用共享容量支持新的可用性承诺。

跨账户访问还带来一项归属问题。Salesforce 描述了只授权指定路由器调用的端点策略,让接收方仍控制准入。负责端点的人需要知道服务归属、已经批准的路径,以及什么时候能调整授权。故障当中,有人应该能说明接收端愿意接多少外溢,怎样影响原有客户。一层通用路由能减少调用方的工作,提供与消费容量的团队仍需要有明确约定。AWS 的数据保护及路由文档

Salesforce 的时间是一次试验的顺序#

案例中,Salesforce 把俄勒冈的端点打到饱和,并另设探针测量。本地约五分钟饱和期间,探针延迟中位数从 0.2 秒上升到约 45 到 58 秒,流量仍在本地。单有延迟不会触发切换。随后模型容器超时开始报错。最初报错后约两分钟,一部分请求抵达俄亥俄,再过约一分钟约 78% 的探针流量由俄亥俄服务。按这段顺序读结果,可以看到采购时触发条件和有无备用容量都重要。AWS 的路由工作说明

转移后报告的中位延迟回到约 0.2 秒,在此次配置下跨区路径的额外耗时中位数不足 100 毫秒。恢复后流量用了约十分钟逐步回去。案例说,探针在切换和回流期间未记录错误。这个细节说的是本次试验里的探针,与饱和端点产生的错误不同,也不能说明其他流量会得到相同结果。其他区域的余量和延迟有差别。企业应选这项演示的相关部分复测,不能直接把耗时抄进新的服务承诺。

从业务看,切换之前的时间可能比切换之后的快速响应更重要。需要很快交互的应用,等一分钟就可能失去一部分使用者。批任务面对的取舍另有口径,可能允许更长恢复,也不希望单凭慢响应移动到第二地区。产品负责人应决定系统判断状态时,用户能看见什么、能做什么。案例说明这个时间段怎样开始和结束,操作期间的用户体验仍由应用负责。

能看到请求去了哪里,也要能解释原因#

案例称 Salesforce 网关将服务端点、路由选择原因与请求标识一起记。AWS 用 CloudWatch 汇总各目的地的指标。运营者因此可以区分正常本地调用和故障后被派去别处的调用。业务端可以沿用这套观测思路。监测预算应能描述系统有没有按企业规则运行。判断结果不符合预期时,应用负责人要知道那次由哪里服务,也要知道找哪位负责人。AWS 的路由监测指南

记录位置与原因,并不要求把原始请求内容广泛公开。请求标识、获准端点和原因可以支持调查,必要的详细内容可用受限访问。资料还要有保留规则和责任人。开始前可问怎样核验这些选择,在出错之前先用经批准的数据比较出发和目的地历史,检查是否符合约定。好用的监测页面能说明需求与故障,具体的记录则应让某次请求的决定日后能够核对。

端点版本是否一致也会在这些记录里体现。一次更新后,某区可能跑不同的模型版本、容器或文件。路由器能送到登记的端点,却不会让该部署自动与另一区相同。若输出变了,可用性看起来恢复,对用户却可能是质量回归。批准某区接外溢前,可以要求用合规样例查验结果相近,并记录版本与不同进度如何处理。平台提供送出请求的去处,企业决定哪些地方能代表它回答同一个问题。

路由无额外收费,只改变预算表的一行#

发布公告说路由功能不另收费,端点和 CloudWatch 指标按标准价计。企业应同时列出备用容量、跨区验证模型的工时、支持、监控与架构产生的其他费用。如果有用工作能用上其他地方原本闲置的容量,投资理由强一些。若接收区留的量和完全本地容灾相差不大,请求识别与检查的工作还增加不少,理由便弱一些。公告足够作为比较的出发点,看不出建好以后自己的账单。

两种架构可直接比较在可接受时间内得到一次成功响应的全成本。记录日常请求去哪里、哪些发生重试,以及本地仍需要多少容量。财务负责人可以把支出和真正从中受益的调用组对应起来。本地专用的服务可能要另投入,不能算入它用不到的节省。若各团队或地区在不同时间使用,共享备用资源可以划算。如果高峰重合,双方都可能仍要为同一个繁忙日留额度。托管功能改变容量怎样使用,买多少还是由企业决定。

运营成本还应计算能介入的人。换用供应商的托管逻辑,可能去掉各应用重复写的工作,同时要求团队在压力中看得懂平台行为、监控和控制。如果没先走过试验,原本写代码时间可能只换成了远程排查时间。应用负责人如果能理解流量转移、处理故障并守住客户承诺,工作范围才会实际减轻。采购应对比旧的工作量,说明谁负担首次部署、持续服务检查和接收端点日常管理。

明确慢的时候和恢复后,什么样才算服务可用#

第一项有用的承诺,应说明合格请求比预期慢时,仍能提供什么。网页交互可以告诉使用者准确状态,无法及时完成时给另一条可行路径。定时任务则可能安全等待,直到有结果或明确记录失败。二者用了相同路由,服务设计却不同。主管可以测人等多久、断线时的尝试怎样处理,以及最终答案仍是否属于原请求。应用若没记录这些,单看恢复走势图看不出来。

还值得理解重试边界。案例提到,模型未执行时某些故障可由路由重试一次,Salesforce 网关在该路径没有另加一层。运营者应该知道哪一次提供了结果,调用方还会不会自己再试。接受跨区流量的时候,重复工作会给接收区增加压力。对于有严格时限或额度的客户,质量要看能否拿到结果而没有意外重复、跨层排队增幅。这个结果取决于平台怎么处理,也取决于应用设定。

区与区之间也应该约定怎样算恢复。当主端点恢复健康,托管服务会逐步把调用带回原区。转回期间,接收端的本地用户可能仍在共享容量。团队需要知道流量和费用会不会回到预期,下一次变化时谁能暂停扩大。演练前就可以定好谁看发起区,谁盯接收区,谁告诉产品团队什么时候实验结束。即使没人手动切流,也要安排这些事情。

约定还应覆盖两个端点都缺容量的时间。各方可以说明愿意共享多少,以及触到限制怎么办。限制更低可能保住当地用户,同时给调用区的容量就少一些。多分一些给外溢,可能解决一项故障、让另一群人变慢。两种都应当测,写清谁能批准更改。发起应用看起来恢复,不能遮住接收方额外的支出。如果新产品上线后使用条件改变,仍可以据此回调这项决定。

小试验也需要检验不能移动的情况#

有边界的试点可以从一个模型开始,两处端点都在企业已经允许的区域。使用适合两个地方的测试数据,查验响应是否可比,再设定每一端能承接多少工作。在测试环境模拟本地失去服务,核对符合资格的调用去了哪里。还要跑一条本地专用的负载,确保错误不会让请求去向不允许的地方。没有合格目的地还有余量,或者端点恢复服务,也是演练要包含的场景。测试既要看到一次转移成功,也要知道企业能处理哪些其他结果。

扩大前,记录低质量响应持续多久、错误率和恢复,加上接收端普通客户受到的影响。把试验条件跟着报告,主管才能说清哪项承诺验证过。负责人要知道怎样暂停扩大路由,找不到合适去处时,客户会看见什么。一家有多个可用部署、各地负载不匀的企业值得试。如果长期在切换前变慢、接收区客户受压,或团队说不清一条受保护的调用去了哪里,我会重新评估。一次演示连通无法回答这些实际问题。

Salesforce 与 AWS 给出一个把外区余量作为可主动分配资源的案例。它也显示,主要责任在路由收请求之前和之后都能看见。企业批准数据类别和地区,团队准备端点,有人核对流量改变后的踪迹。把这些责任与托管服务配合好,可以简化运营。能否扩大,要拿出证据说明请求究竟守住了哪些关于目的地和用时的承诺。