19 ноября AWS опубликовала принципы и первые оценки структурированных голосовых собеседований Amazon Connect Talent. Интервьюер задаёт вопросы о работе и может уточнить ответ. Отдельный процесс ищет примеры поведения в расшифровке и оценивает компетенции по заданным критериям. Нанятая Amazon группа специалистов по организационной психологии просмотрела 36 собеседований и выделила 252 признака из оценочных правил. AWS сообщает о совпадении с экспертными суждениями в 89,3 % этих случаев. Результат даёт основание для контролируемой проверки. Он показывает, насколько похоже программа и эксперты разобрали одни и те же примеры. Он не определяет предсказание рабочих результатов, доступность формата и последствия применения оценки к реальным решениям. Оценка собеседований от AWS
Для закупки я бы оценивал инструмент как способ собирать и организовывать сведения по конкретной должности. Деловой результат зависит от связи вопросов с работой, возможности разобрать спорный балл и реакции работодателя, если кандидат не может надёжно пользоваться голосом. Если организация не умеет определить умение или проверить результат с понятным итогом, эти задачи предшествуют автоматизации. Стоимость отдельной сессии видна в тарифе. За необоснованный отказ или ненадёжные записи отвечает нанимающая организация.
Ноябрьская оценка появилась после запуска продукта#
16 сентября AWS объявила общую доступность. Тогда сервис предлагался в двух регионах в США, Северной Виргинии и Орегоне. В ноябрьском материале речь о конструкции и тестах. Компания перешла от перечня функций к свидетельствам того, как применяются методы собеседования. Покупателю важно видеть различие. Доступный сервис может сохранять вопросы, для которых нужны измерения. Случай показывает доводы AWS по определённым утверждениям. Он не устанавливает одинаковый опыт для разных стран, языков и рынков труда. Для испытания нужны конкретный регион и процесс найма. Сентябрьское объявление AWS
Структурированное собеседование существовало задолго до этого продукта. Интервьюеры согласуют относящиеся к работе вопросы, ищут сопоставимые примеры и применяют правила вместо оценки беседы по общему впечатлению. В метаанализе 2022 года Сэкетт и коллеги рассмотрели валидность разных методов отбора. Структурированные интервью занимали высокую позицию после пересмотра результатов. Для многих методов авторы сочли прежние оценки завышенными. Это повод учитывать структуру. Затем нужно проверить, даёт ли конкретное воплощение сравнимую возможность показать относящийся к работе навык. Само исследование общего метода не отвечает за продукт. Исследование Сэкетта и коллег
Структура начинается с действительных требований работы#
Connect Talent использует описание должности и профессиональные классификации для подготовки компетенций, вопросов и условий оценки. Команда найма может их проверить и изменить. Это даёт человеку конкретный материал. Вместе с тем неверное описание должности может стать более подробным и последовательным, из-за чего ошибку будет тяжелее заметить. Вопрос о передаче клиента важен на одном месте и почти ничего не говорит о другом. Работодателю нужен специалист, который понимает должность и может объяснить, о чём говорит ответ и где он будет использован. Собеседование начинается с такого решения.
В проверке нанятой организацией 91 % созданных компетенций связывались с описанием должности, 98 % вопросов относились к намеченному умению, а 94 % признаков ясно измеряли соответствующую компетенцию. Это разные показатели для созданных материалов до редакторской проверки. Они не отвечают за следующую должность работодателя или последствия ошибочного вопроса. Проценты дают повод оценить метод. Список вопросов по-прежнему должен утвердить человек, знакомый с работой.
Сопоставление с работой важно ещё по одной причине. Компетенция может быть расплывчата, даже если все вопросы ей соответствуют. Должность, например, требует записать решение после изменения исходных сведений. Можно попросить пример этого действия, допуская подходящие ситуации из разных профессий. Требование «звучать решительно» может вознаградить манеру речи. Конкретное действие позволяет выяснить, показал ли человек нужный навык. Оно также помогает работодателю изменить вопрос, который стал косвенно оценивать посторонние свойства.
Разговор и балл разделены, чтобы результат можно было проверить#
AWS описывает разговор и оценку отдельно. Интервьюер собирает сведения и задаёт уточнения. Затем программа определяет увиденное поведение, цитирует фрагменты текста и вычисляет оценку от одного до пяти. Если оснований мало, она отмечает компетенцию без балла. Это практически полезнее общего рейтинга без объяснения. Команда может прочесть материал и проверить вывод. Особенно важно иметь возможность его исправить. Человек, который пересматривает работу, должен получить доступ к нужному фрагменту и право не согласиться.
Отметка о нехватке материалов важна, потому что детали пропадают по разным причинам. Может быть непонятен вопрос, может прерваться связь, а человек может описать случай без указания своей роли. Ни одно из этих обстоятельств не устанавливает, что он не справится с работой. Работодатель должен отделять собеседование, где нужно уточнение, от принятого решения. Иначе следующая программа может превратить отсутствие оценки в отказ, не показав расшифровку человеку. Нерешённому вопросу нужен ответственный и способ получить дополнительные сведения без исключения кандидата.
В предварительном сравнении AWS оценки по первым ответам были до 1,14 балла из пяти ниже оценок по полной беседе. Это максимальная разница в исследовании, не средняя прибавка каждому человеку. Она поддерживает понятную мысль о пользе уточнений. Важно, какие уточнения заданы. Они могут дать возможность объяснить результат. Они также могут различаться длиной, точностью и смыслом так, что две беседы трудно сравнить. Покупателю надо увидеть, как вопросы приспосабливаются к разным случаям и у кого была сопоставимая возможность ответить.
У согласия с экспертами есть узкий знаменатель#
Основным числом станет 89,3 %. AWS сообщает его как согласие с внешней фирмой по признакам из 36 интервью. Для случаев с ясными свидетельствами компания называет 97,6 %. Коэффициент каппа Коэна равен 0,79 и учитывает согласие, которое ожидается случайно. Это полезно, если большинство примеров относится к одной категории. Данные описывают проверенные случаи, не долю успешных наймов и не частоту ошибок среди следующих 1 000 кандидатов и их групп. Поднабор ясных ответов помогает сравнить условия, поскольку большая нагрузка на проверку может возникнуть там, где решение неоднозначно.
Нужно также знать, что случилось при расхождении. Допускал ли текст два разумных толкования? Не заметила ли система конкретное свидетельство? Часть ответа потерялась или вопрос не позволял увидеть умение? Несколько примеров разных расхождений могут быть полезнее дополнительного знака в сводной доле. Тогда руководитель поймёт, где специалист способен изменить правильность решения. Покупатель может спросить, как отбирались интервью и можно ли проверить следующую группу независимо по заранее согласованным условиям.
Компания также сообщает, что структурированный подсчёт задействовал пять уровней шкалы, а общая оценка чаще давала три средних значения. Более широкий разброс полезен, когда соответствует значимым различиям. Проверяющий должен понимать, чем ответ на два отличается от ответа на четыре по правилам оценки. Иначе точное число способно отправить человека дальше или остановить по слабому основанию. Следующая работа могла бы проверить, связаны ли объяснимые оценки с относящимися к должности результатами и сохраняются ли различия между оценщиками, выборками и периодами.
Доступ кандидатов нужно проверять как часть процесса#
AWS говорит, что баллы основаны на тексте ответов. При расчёте не применяют видео, голосовой тон, внешность и данные об идентичности. Это конкретный элемент дизайна, который можно проверить. Остаются другие вопросы получения текста. Голосовой инструмент может пропустить слова, неверно обработать шум или неожиданно уточнить вопрос. Хорошо оценённая расшифровка могла появиться из беседы, которую другому человеку трудно закончить. Работодатель должен рассматривать доступность, другие способы участия и использование баллов вместе с этими вариантами. Возможность обратиться за помощью должна появиться до того, как неудобный формат незаметно повлияет на шансы кандидата. Материалы EEOC об ИИ и доступности при найме
Нужен понятный следующий шаг. Кандидат должен знать, что собеседование автоматизировано, какие сведения собирают и как связаться с человеком, если возникнет техническая проблема или нужен другой формат. Оператор должен объяснять, какие вопросы оцениваются, и разбирать жалобу на расшифровку. Эти решения нужны, даже когда поставщик даёт готовый кабинет для кандидата. Руководитель может назначить того, кто отвечает за последующие действия, чтобы альтернативный путь не оказался медленнее и формальнее. Это можно проверять без вывода о соответствии продукта законодательству всех стран.
Имеет смысл наблюдать и за тем, что происходит до оценки. Работодатель может учитывать приглашения без ответа, незаконченные сессии, просьбы об адаптации и их обработку при надзоре. В сравнении полных записей остаются люди, закончившие интервью. Те, кто не смог использовать ожидаемую настройку, могут совсем исчезнуть из знаменателя. Условия доступа и итоги других методов помогают понять, каких кандидатов охватил процесс. Последовательность относится и к возможности ответить, и к качеству суждения по полученному ответу.
Счёт за услугу можно рассчитать, остальные затраты надо выяснить#
AWS указывает 20 долларов за завершённую оценку, которая объединяет собеседование с ИИ и оценочное задание. При таком тарифе 1 000 завершённых комбинаций стоят 20 000 долларов без времени на подготовку, проверку и поддержку. Как указано на странице с ценами, с организации не берут плату за оценку, которую кандидат не закончил. Кандидат всё равно тратит время на неудачную запись, а рекрутеру может потребоваться вмешательство. Стоит сравнить все расходы до получения пригодной проверенной оценки с действующим процессом. Цена ясно определяет часть расчёта. Она не оплачивает работу, которая возникает при пересмотре. Опубликованный тариф AWS
В закупку входят запись, расшифровка, оценки и документы кандидатов. В руководстве AWS сказано, что расшифровки, результаты оценки и документы заявки по умолчанию удаляют через год после создания. Можно запросить отличающийся срок через поддержку. Если команда передаёт результат другой системе или выгружает его, могут остаться дополнительные копии. Им нужны собственные правила. Закупке следует определить ответственных и перечислить, кто и на каком этапе видит сведения. Срок жизни одной записи у поставщика не позволяет понять судьбу всех копий. Документация AWS о сроках хранения
Работодатель может сопоставить покупку с меньшей переменой. Опытный рекрутер может получить лучшие свидетельства, если вопросы станут одинаковее, а разногласия можно будет обсудить. Голосовой сервис предлагает больше времени для записи, что имеет смысл при нехватке кадров. Выбор зависит от нынешнего затруднения. Ускорение сбора помогает там, где есть надёжная и обеспеченная людьми проверка. Если читать некому, дополнительные расшифровки можно отложить в ту же очередь. Бюджет должен называть нужный этап и людей, которые будут выполнять добавившуюся работу.
Следующему проверяющему нужно восстановить решение#
Запись может пережить модель, версию и рекрутера, которые её создали. При пересмотре нужно найти прежние вопросы, подходящую выдержку и имя того, кто принял решение. Текущая шкала может вводить в заблуждение, если критерии менялись. Вместе с результатом надо сохранить достаточно деталей, чтобы выяснить, какое правило использовано и было ли оно исправлено человеком. Это важно и при развитии сервиса. Улучшение сегодняшней версии не раскрывает причин результата конкретного кандидата месяц назад.
Новая версия интервьюера или правил заслуживает своей проверки. Покупатель может спросить, как поставщик объявляет обновления и какая информация об оценках остаётся. Работодатель может определить, когда изменение обязанностей требует новых вопросов. У причин разные авторы и способы согласования. Одна может быть проверенным улучшением программы. Другая меняет нужное работодателю умение. Без записи обоих изменений сложно сравнивать результаты и объяснять, чего нельзя восстановить с текущего экрана.
Во внутреннем процессе можно определить три роли. Владелец должности утверждает нужное поведение. Специалист по найму проверяет, подтверждают ли сведения оценку, и отмечает разногласие. Ответственный за услугу решает проблемы доступа и находит другой способ проведения. В маленькой компании один человек может совмещать роли, если он знает свою ответственность. Распределение помогает направить проблему в правильное место. Кандидат, заметивший ошибочную выдержку, сможет найти человека, способного её проверить и исправить, а не снова открыть экран с числом.
Сопоставить экономию с работой, которая меняет место#
Собеседования могут ускориться, а работы стать больше в другом месте. Рекрутеры тратят меньше времени на согласование графика и больше на неожиданные результаты. Руководитель получает подробную запись, но долго ищет нужные места. Кандидат ценит выбор времени, но возражает, если на вопрос о сбое никто не отвечает. Стоит раздельно считать сроки, время людей и качество свидетельств. Поставщик может дать больше завершённых сессий. Их ценность зависит от пригодности к решению, за которое отвечает организация.
Нужно учитывать дорогие именно из-за ошибки случаи. Одно собеседование придётся повторить, одну интерпретацию дать второму специалисту, кому-то предоставить альтернативную форму. Включение этих случаев в пилот даёт сведения о поддержке и её отличиях от действующей. Завершённая оценка удобна для тарифа. Компания покупает прохождение процедуры с ясным итогом и ответственным пересмотром. Испытание должно показать, как меняется такой путь, на языке, понятном и руководителю, и кандидату.
Сначала проверить суждения, потом учитывать их при найме#
Сначала можно сравнить результаты на разрешённых примерах без применения автоматических оценок к решениям. Определить связанные с работой правила, неприемлемые исходы и способ разбирать расхождения. Обеспечить сопоставимую человеческую оценку и полный материал для проверки. Включить двусмысленные ответы, перерывы и подходящие альтернативы. В таких случаях голос может потребовать наибольшей поддержки. Проследить, находит ли специалист нужный фрагмент и замечает ли отсутствие доказательства заявленного поведения. Так компания узнает, что именно измеряется, не ставя шанс человека в зависимость от недостаточно понятного показателя.
У испытания должна быть остановка. При ошибках доступа или необъяснимых отличиях работодатель может поставить процедуру на паузу и назначить ответственного за пересмотр. Нужно понимать, как старый процесс продолжится, если сервис недоступен. Если проверка становится проще, а данные полезны в реальной работе, можно рассмотреть ограниченный запуск с надзором. Ответственному нужно время наблюдать за последствиями и хранить случаи несогласия с программой. Они помогут следующей команде решить, оправдывает ли расписание или согласованность дополнительные расходы.
Публикация AWS делает более убедительной возможность проверить структурированную беседу. Она даёт покупателю единицу цены, отдельные результаты и инструкции для эксплуатации. Решение зависит от местного процесса. За переход дальше или отказ должен отвечать человек, который при неполной записи или вопросе кандидата может прочитать доказательства. Инструмент стоит проверить, если организация ищет более пригодную запись известного типа интервью. Чтобы числа получили больше влияния, понадобятся сведения о том, как работает конкретный найм и кого он достигает.