AWS 在 11 月 19 日发布了 Amazon Connect Talent 结构化语音面试的原理和早期评估结果。面试程序提问与岗位相关的内容,也可以追问。随后的单独流程从转录中找行为证据,再按既定标准给能力项评分。亚马逊委托的工业与组织心理学机构审查了 36 场面试,识别出 252 个可用于评分的行为信号。AWS 称,系统与专家的判断在其中 89.3% 的情况下一致。这份结果值得做一次受控验证,目前测到的是软件与专家怎样解读同一批面试片段。要判断软件能否预测工作表现、哪些人可能难以使用,以及分数会如何改变招聘结果,还需额外证据。AWS 面试评估
我的采购判断是,可以把它作为在明确岗位上收集与整理信息的工具来评估。业务价值取决于题目有多适合那个岗位、人类复核者能否弄清一个有争议的得分,以及有人不能可靠地使用语音界面时,公司怎样处理。若企业连行为要求都说不明白,或没有可用的复核流程,就应先解决这两件事。多做一次语音面试的价格不难查,失实的面试记录与不公平淘汰带来的代价,则由招聘组织承担。
11 月披露的是评估,产品已在此前上线#
AWS 在 9 月 16 日宣布产品正式可用,当时提供于弗吉尼亚北部和俄勒冈两个美国 AWS 区域。11 月文章讨论设计和测试,把话题从「产品会做什么」转到「怎样评估它做得如何」。对买家而言,这个区分有用。软件可以正式销售,仍然有未回答的效果问题。案例介绍的是 AWS 对特定主张提供的证据,不能代表每个国家、语言或劳动力市场的客户都能获得相同结果。试验应当定在具体区域和招聘流程。AWS 9 月正式开放公告
结构化面试也是早已有的做法。面试官先统一与岗位相关的问题,寻找可比较的例子,并按评价标准判断,而不是凭印象给整场对话打分。Sackett 等人在 2022 年的元分析讨论了不同选聘方法的效度。结构化面试在修订后的对比里排在较高位置,研究也认为过去高估了多种方法。这个结果让人有理由重视结构。至于一个具体软件能否给不同候选人相近的机会来展现能力,还需检验产品本身。Sackett 等人的选聘方法研究
结构化须从岗位实际需要出发#
Connect Talent 根据职位描述和职业框架生成能力项、提问和证据标准,招聘团队可以审改后使用。这种设计让复核者有可看的东西。它也可能让一份不准确的岗位描述变得详细、统一,反而更难发现问题。询问客户交接,对某一岗也许很重要,对另一岗几乎无关。雇主需要懂岗位的人说明一道题会反映什么、回答在哪个环节使用。合适的面试从这项决定开始,与软件全天能不能打开没有直接关系。
受委托的机构发现,生成的能力项中有 91% 能明确追溯到职位描述,98% 的题目针对既定能力项,另有 94% 的评分信号被评为清楚衡量相应能力。这些是人类编辑前的内容评估,有各自的样本与单位。它们不能判断雇主的下一份岗位描述是否正确,也不能告诉人一道不合适的题最终影响了谁。团队可以用这些百分比决定是否试一下机制,同时由有相关知识的人审核最后的一组提问。
对照岗位还有另一个理由。题目都符合某种能力项,该能力项本身仍可能过宽。一份工作也许要求在信息变化后记录决定。面试可以找这项具体行为的例子,允许不同背景的人给出不同好答案。模糊的「说话果断」就可能奖励一种语气。任务写得精确,复核者就更容易判断候选人展现过的能力是不是工作所需。发现哪道题在替不相关的因素打分时,雇主也有依据修订或删除。
把对话和评分分开,才有可复核的环节#
AWS 把面试对话和评估分为两步。面试程序收集信息并追问,随后的评估找出记录里的行为、引用转录片段,再用固定的 1 至 5 分尺度算出能力项结果。证据不够时,系统标记该项,暂不评分。这比只见一个总排名多了审查的依据。招聘团队可以读片段,判断它是否支持结论。最有价值的是必要时能修正结果。负责复核的人应该能接触相应证据,也有权不同意给出的分数。
「证据不足」尤其重要,因为没说到一个细节的原因很多。题目可能不清楚,连接可能中断,或者例子有用,却没讲自己承担的部分。这些情况都没有证明候选人做不了工作。雇主应该分清一场还需补充材料的面试与一项已经决定的流程。否则下游招募软件可能在没人读过转录的情况下,把空值当作不利决定。应当明确谁接手未解决的问题,以及怎样补足证据,同时让申请仍处于考虑范围。
AWS 在早期比较里发现,只用首答所得的分数比根据完整对话打分最多低 1.14 分,适用五分制。这是该次比较的最大差,不能当成每个候选人的平均增益。结果支持适当追问可以带出缺少资料的想法。具体问什么仍然重要。一条追问可能让人有机会讲明白结果,也可能长短、针对性与含义不同,使两场面谈很难比较。买家需要观察不同情况下怎样继续问,两个人是否都有公平机会回答。
一致性检验有价值,需要保留分母#
容易被引用的是 89.3%。AWS 说,外部机构审查 36 场面试里的行为信号,在这组判断上的总体一致率为该比例。证据清楚的子集一项是 97.6%,另报告 Cohen κ 系数为 0.79。κ 在这里考虑了偶然一致,对于大部分项目落在同一类别时仍需衡量两个评估者是否相近,有实际用途。这解释的是已测样本表现,不能给出录用成功率,也不能说明之后一千位求职者及各个群体的稳定错误率。清楚证据子集之所以有用,恰是实际复核较难的地方可能出现在含糊资料里。
也要问评估者不一致时发生了什么。原文有两种合理解释吗?系统没找到清楚的引用吗?转录漏了一段,还是题本身无法带出需要的行为?挑出一组有代表性的分歧,可能比给合计百分数再添一位小数更能帮到招聘团队。这样能告诉主管,把人用在哪些环节确实会改变决定。买家还可以问材料怎样选,以及能否自行用相同的成功定义审下一组。
公司还说,结构化计算在对比中用到五个分值,整体评分倾向集中在中间三档。分布变宽只有遇到真实的能力差异才有价值。同样一道题拿两分或四分,复核者要能指出回答如何对应行为标准。否则数值看着精确,却可能因很弱的理由让候选人进入不同流程。下一次效果评估可以看理由充分的分差是否对应岗位相关结果,以及差别能否在不同招聘人员、样本和使用时段里保持。
候选人能否参加,是需要检验的运营要求#
AWS 称,能力评分输入来自转录,不以视频、声调、外貌或候选人身份信息计算分数。去掉这些输入,为买家提供了一项可核实的设计选择。从候选人说话到得到转录仍有别的问题。语音系统可能漏字、误解嘈杂通话或问出令人意外的题。评分很准的转录,也可能来自某些人难以完成的对话。雇主需要考虑界面无障碍和替代方式,也要观察有这些选择后如何使用评分。只因某人不能用一种形式参加,不应在没人处理的情况下形成不利结果。求助路径要实际可用。EEOC 关于招聘、AI 和无障碍的资源
好的申请体验能让人明白下一步。参与者需要知道自己面对的是自动面试,会收集什么信息,有技术问题或需要其他方式时怎么联系人。运营团队则应能解释哪类题结构会被评分,也有办法审查据称不准确的转录。即使供应商提供申请人门户,这些仍然是产品和流程的选择。主管应明确谁来接手,替代方式才不会悄悄变成更慢、较少获重视的一条路。测试这些环节,不需要向读者宣称某个网页证明所有地区都合规。
值得观察分数出现之前的过程。雇主可以在适当监督下,记录未获回应的邀请、中断、调整形式的请求和后续处理。完成语音面试的人才能进入完整的转录对照。无法使用预期设置的人,可能根本不会进入分母。看参加条件和替代方式的结果,可以发现流程究竟接触到了谁。要说一致性,既要看能不能同样充分地回答,也要看对实际收到的回答判断得怎样。
采购账单可算,其他成本要另列#
AWS 的公开定价为每次已完成的组合评估 20 美元,包含 AI 面试和候选人评估。按该表,完成 1,000 次需要 20,000 美元,还没算操作、审核和支持工时。定价页称申请人没有完成时,不作为一次完成对招聘组织计费。申请人还是损失失败预约的时间,招聘人员也可能要介入。公司应该与现有流程比较,到得到一份可用且经审核的评估究竟要花多少。公开账单把其中一项说得很清楚,随后出现的复核工作仍要另付成本。AWS 公开定价
录音、转录、评估和申请资料,也是采购涉及的内容。AWS 管理员指南写明,转录、候选人评估结果与申请资料,默认在创建一年后删除,也说明可向支持申请其他期限。雇主导出材料或把评估传到另一个系统时,会留下副本,需要独立处理。采购要明确保留责任,以及哪些人何时可以访问材料。不能只看一个服务内的一组记录何时删除,就推断全部资料都一样。AWS 资料保留文档
雇主也可以和更小的流程改善比较。资深招聘人员用较统一的题目,并花时间处理分歧,可能收集到更好的证据。语音服务可以增加能安排面试的时段,也有人员有限时的实际价值。哪一种投入更有效,要看现在卡在哪。已有可靠和有资源的复核,提高收集速度会有用。若没人有时间看转录,再多材料也可能被搁下。预算要写出希望哪段工作变快,以及由谁接手新增工作。
让以后的人能复原当时的决定#
候选人记录可能比所用模型、版本和负责招聘的人留得更久。以后复查时,应能找到当时的问题、与得分对应的资料、以及执行决定的人。如果标准已经改变,只显示当前版本会误导。评估结果需要带上足够背景,让雇主知道用了哪套规则、人有没有修正。供应商继续改进,也不改变这个要求。今天的软件更好,不能说明上个月那次程序为什么给出那样的结果。
面试程序和评分表变化时,都值得单独核验。买家可以问服务商怎样描述版本升级,以前的哪些数据还可以看。雇主也需要判断岗位职责变更到什么程度时,应换一套题目。两种变更各有理由,也可能要由不同人员批准。一方是经过验证的软件改进,另一方改变的是雇主对某项能力的定义。没有清楚记录,就很难比较不同时间的结果,也难说明为何现有界面复原不了旧决定。
内部复核可以确定三件事。岗位负责人批准需要考查的行为。招聘复核者判断证据能否支持分数,必要时记录异议。服务管理员处理访问或连接失败,找到能提供替代方式的人。小型组织可以由同一人承担几项工作,但责任要看得见。分工的好处是问题有明确去向。指出错误片段的候选人,可以联系得到能查证和更改记录的人,无须再回到只显示分数的页面。
比较节省了什么,又把工作转到了哪里#
流程可以把一轮面试变快,也可能在别处增加工作。招募者少花时间协调日程,多花时间处理意外结果。岗位主管得到更详尽的转录,也可能更难定位几段相关话。候选人欢迎灵活安排,但会在出故障找不到人时反对这一流程。买方可以分开记这些变化,区分经过的时间、个人工时和证据质量。供应商能提供更多完成的面试,价值还得看其中多少成为可以负责的决定的依据。
比较时还要带上出了问题才贵的情形。有人得重做一场,有一个判断需要请同事核对,还有人需要另一种方式。把这些例子留在试点,负责人才能了解支持负担和它与当前做法的区别。完成的评估便于收费。企业要买的却是走完招聘流程,有清楚结果和能负责任的复核。试验应当说明新路线实际改变了什么,也要能向主管和候选人解释变化。
先检验判断,再考虑影响录用#
雇主可以先用获准的案例,请复核者对照结果,暂时不用自动分数作决定。约定与岗位有关的标准、无法接受的结果和分歧处理方式。要留可比的人工评价,也让复核者有足够信息。可以包括含糊回答、中断,以及适用的替代方式,这些才是语音流程可能最容易卡住的时候。看人能不能找到支持证据,能不能指出一段话没有证明评分标准中的行为。这样公司尚在理解指标时,就能检验产品而不让申请人的机会依赖未经了解的新分数。
试点也要有停止办法。发现参与障碍或无法解释的差别时,雇主可以暂停,指定谁回看记录,也要知道供应商不可用时原流程怎样继续。如果真实招聘条件下更容易复核,实际证据也仍有用,可以评估有适当审核的小范围上线。负责人需要留出时间看后续结果,记录人在哪些地方不同意软件。这些记录也是做好采用的一部分,让下一个团队判断日程或一致性的收益值不值成本。
AWS 的新披露,让人更有理由审查结构化会谈工具。它给了买家一个成本单位、一组选用评估和操作文档。真正的决定仍在岗位及使用环节。在推进或淘汰之前,应有人对决定负责,候选人提问题或回答有缺失时可以核对证据。招聘团队如果想得到一份更好用的特定面试记录,产品值得检验。要让分数承担更大权力,需要本地流程怎样运作、实际服务了哪些人的证据。