В инженерной публикации от 18 ноября Meta описала, как переносит улучшения с одной модели ранжирования рекламы на другие. По оценке компании, агенты выполнили больше 60 % этой работы с тех пор, как в марте начали отвечать за часть исполнения. Meta сообщает, что один инженер может обработать примерно втрое больше адаптаций. Медианный объём вычислений для обучения в отобранных сочетаниях оказался примерно вчетверо ниже прежнего. Компания оценивает ожидаемую экономию на вычислениях к концу года более чем в 45 млн долларов. Потенциальному покупателю автоматизации стоит сначала посмотреть на то, что определили до измерения. Рабочая единица здесь — перенос определённого метода на определённую модель. У компании уже есть критерии, позволяющие понять, заслуживает ли эта адаптация запуска. Ноябрьский инженерный отчёт Meta

Наиболее переносимое решение состоит в том, чтобы встроить автоматизацию рядом с повторяющимся решением, дать ей доступ к прошлым попыткам и определить порядок допуска до запуска. В Meta регулярно проверяют, поможет ли улучшение из одной модели другой с её собственными ограничениями. По-прежнему нужны доказательства и решение инженера о том, куда направить время. Если эти условия уже есть, компания сможет измерить, сколько полезных работ ей помогают завершить агенты. Если команда ещё спорит о признаках качественного результата, сначала у неё вырастет очередь предложений на рассмотрение. Новая скорость приобретает смысл благодаря качеству процесса внедрения.

При смене окружения улучшение нужно проверить ещё раз#

В Meta много моделей ранжирования, обслуживающих разные продукты и рекламные цели. У каждой могут быть собственные данные для обучения, признаки, ограничения на стоимость обслуживания и архитектура. Изменение обучения, полезное для одной модели, может повысить стоимость другой или зависеть от признака, которого у неё нет. Компания может взять идею, уже показавшую пользу, выбрать подходящие модели, сделать адаптацию, проверить её и решить, можно ли подавать на неё реальный трафик. Эту работу знают инженеры, поддерживающие семейство продуктов. Сложно найти людей, которые понимают причины успеха старого изменения и успевают применить их до появления следующего.

Различие между поиском и внедрением помогает сохранить корректное сравнение. В мартовском описании Ranking Engineer Agent рассказывалось о гипотезах и управлении экспериментами для новых идей. Ноябрьская публикация рассматривает, как уже перспективный метод переносится на другие подходящие модели. Одна работа находит, что стоит попробовать. Другая выясняет, где результат можно повторить. Обе могут занимать дни и выигрывать от сокращения ручного контроля, но отправные точки и полезные результаты различаются. Руководителю стоит точно назвать задачу пилота. Вопрос о том, может ли агент «улучшить ранжирование», оставляет слишком много возможностей переосмыслить итог задним числом. Мартовская публикация Meta об экспериментах

У времени в очереди есть экономическое значение. В быстро меняющейся системе улучшение сохраняет ценность лишь какое-то время. Другая модель или новая цель продукта может обойти адаптацию, которая ещё ждёт допуска. Ранний запуск приносит пользу, если успевает охватить модели с наибольшим выигрышем. Важен выбор этих моделей, как и число запущенных заданий. При оценке пилота полезно измерять время до запуска подходящего изменения, наличие доказательств в момент определения приоритета и причины, по которым некоторые модели оставили в стороне.

Общие шаблоны собирают мелкие решения в одно#

В сопутствующей публикации Meta описывает стандартные шаблоны моделей. Группы получают общие решения по архитектуре, обучению и обслуживанию. Инженеры могут проверить изменение на представительном наборе моделей и использовать результаты для развития общего шаблона. Единая конструкция также даёт агенту отправную точку в выборе параметров. Повторные проверки несовместимых конфигураций занимают вычисления даже при хорошем агенте. Meta указывает, что команды сохраняют особую логику там, где она нужна. Общий шаблон полезен, если он следует реальному сходству нагрузок и позволяет яснее увидеть различия, которые остаются. Публикация Meta о стандартных шаблонах

Другая компания может найти аналог шаблона и без множества рекламных моделей. Команда, которая переносит процесс отчётности между офисами, может заметить несколько одинаковых схем и один формат результата. При изменении прогнозирования для разных рынков могут повторяться требования к работе в эксплуатации. Такая общая часть позволяет провести представительную проверку и выделить различия, для которых нужен свой эксперимент. Сначала полезно определить работу. С ясной исходной точкой проще спросить, не повторяет ли предложение известный результат и обоснован ли отказ от отдельного эксперимента.

Объединение имеет пределы. Модель, отвечающая за большую часть выручки или имеющая строгие требования к обслуживанию, может заслуживать отдельной оценки. Meta говорит, что специалисты всё ещё руководят индивидуальной адаптацией самых доходных моделей, а агенты учатся рядом с ними и берут отдельные действия на себя. Другие организации могут аналогично сохранить прямое участие специалистов там, где последствия регрессии особенно велики. Это осознанное распределение инженерного времени. Решение о стандартах должно содержать условия, при которых команды пользуются общим процессом, доказательства, необходимые для присоединения, и имя того, кто решает, когда риск оправдывает отдельный путь.

Ранний отбор меняет распределение бюджета#

Meta описывает процесс, который предлагает возможные адаптации и расставляет приоритеты по ожидаемому эффекту. Полезный кандидат связывает определённое изменение с моделью, где его можно применить, и объясняет причину такого выбора. Отбор влияет на весь проект, потому что сочетание, которое не появилось в списке, уже не покажет свою ценность. Если же предлагать каждую возможную пару, обучение и проверка могут утонуть в малоценных попытках. Meta выясняет, сколько выбранных моделей в итоге получают технику и какая часть всех подходящих моделей была обнаружена. Это разные вопросы. Вместе они помогают увидеть, когда рост эффективности достигнут за счёт слишком узкого отбора.

На этом этапе помогает история экспериментов. Meta использует прежние запуски обучения и свойства целевой модели, чтобы установить начальные параметры, корректировать дальнейшие попытки и завершать бесперспективные. Накопленная история сопоставимых решений становится активом компании. В неё важно включать неудачи. Архив одних успехов теряет ценную информацию и позволяет агентам заново проводить дорогие проверки, которые люди уже делали. Команда может начать с сохранения причин отказа вместе с принятыми изменениями. Такие записи помогают определить, не подошла ли сама идея или ошибку допустили в способе её измерить.

Агент может слишком уверенно опираться на неполные записи. После замены данных или инфраструктуры удачный результат старой версии модели способен потерять смысл. Если приоритеты строятся только на прежней производительности, команда может снова пропустить новый случай. Понятный процесс позволяет хранить дату результата, основание оценки и список вариантов, которые решили не рассматривать. В регулярно повторяющейся работе можно оставить несколько проверок для менее приоритетных предложений. Их результаты помогут вовремя обнаружить тип задач, который процесс постоянно упускает.

Труд, вычисления и срок доставки надо учитывать по отдельности#

Числа Meta описывают больше доступного инженерного времени и более прицельное использование вычислений для обучения. 60 % — оценка доли работ по переносу, которыми занимаются агенты. Трёхкратный рост относится к количеству адаптаций на инженера. Медианное снижение вычислений измерено на выбранных сочетаниях. Экономия к концу года остаётся прогнозом Meta. Все цифры могут быть обнадёживающими одновременно. У каждой свой объём и основа сравнения. Из цифры для обучения нельзя вывести окупаемость собственного проекта, пока не оценены внедрение, проверка и поддержка.

Учитывать следует также расходы на отброшенные варианты и работу после эксперимента. Один подход может заменить дорогую проверку дешёвым отсевом и увеличить время просмотра оставшихся предложений. Другой тратит больше на саму проверку, но сокращает число повторов или срок одобрения. В расчёт нужно включать планирование и выполнение, участие людей, вычисления и обслуживание. Если повторяющаяся задача состоит в адаптации и запуске уже проверенного изменения, сравнивать можно расходы на принятые адаптации, соответствующие одному и тому же критерию. Отдельный учёт общего числа попыток покажет, где экономию дали ранние остановки.

Следует учитывать время, потому что уменьшение расходов и ускорение запуска — разные результаты. У инженера может быть возможность просмотреть больше работы, пока очереди на данные или вычисления растут. Рост опытов на человека достоин внимания, но руководителю также нужны даты фактических запусков. Meta считает, что перенос на все подходящие модели порой занимает больше года, и хочет сократить его до трёх месяцев, увеличив сквозную пропускную способность примерно в пять раз. Это направления работы, а не достигнутые результаты. Другая компания может записывать время каждой очереди и выяснять, на каком этапе вмешательство меняет срок доставки.

Условия запуска должны существовать отдельно от отчёта агента#

По описанию Meta, методы перед экспериментом на реальном трафике должны пройти проверки предсказательной способности и ограничений затрат. Уменьшенные модели дешевле использовать для первого отбора. Выжившие решения проверяют на представительных полноразмерных моделях. По критериям Meta требуется статистически значимое улучшение в онлайн-эксперименте, а окончательное решение принимают люди. Каждый этап отвечает на свой вопрос. Дешёвая проверка оценивает, стоит ли тратить больше. Представительная проверяет, сохранится ли эффект в реалистичных условиях. Онлайн-сравнение и утверждение определяют, можно ли показать изменение бизнесу и пользователям.

Абстрактная схема процесса: одно улучшение ранжирования рекламы проходит через фильтры к множеству блоков моделей.

Из этого следует требование к пилотам. Владелец должен иметь доказательства, которые выглядят убедительно для человека, не читавшего объяснение агента. Команда, меняющая оценку репозиториев кода, может организовать независимую проверку одинаковых результатов. Группа, меняющая прогноз, может сравнить старое и новое решения на отложенных периодах и проверить на новых данных. Задачи различаются, ответственность похожа. Предложение можно получить быстро. Выпуск зависит от людей, которые могут самостоятельно сопоставить результат с уже известным стандартом.

Правило утверждения полезнее при конкретной ответственности. Инженер может проверять, сохраняется ли выигрыш в представительных условиях. Операционная команда может следить за лимитом бюджета и ресурсов. Владелец продукта может уточнить, охватил ли тест нужных пользователей и что сделать, если результат надо отменить. Если всё ждёт одного человека, появляется новая очередь. Названные решения позволяют распределить нагрузку, сохранив ответственность. Нужно также указать, где требуется вмешательство человека. Агент может восстановить остановившееся обучение, и всё равно понадобится владелец, который усомнится в вводящем в заблуждение результате.

Более дешёвые испытания позволяют запускать больше испытаний#

Meta сообщает, что агенты могут управлять длительными экспериментами и помогать расставлять приоритеты для работ, использующих общие ресурсы. Это выбор руководителя, когда испытаний хватает для конкуренции за одни и те же мощности. Снижение стоимости одного запуска освобождает пространство для новых, увеличивая нагрузку на планирование, проверку и хранение. Суммарные расходы могут остаться прежними или вырасти при увеличении числа принятых результатов. Это может быть разумным для компании. Просто в отчёте не появится сокращение бюджета. Руководителю нужно решить, требуется ли высвободить мощность, сделать больше подходящих изменений на прежние средства или приблизить дату получения эффекта.

Порядок очереди также показывает, чья работа может подождать. Meta называет относительную важность для выручки, ожидаемый потенциал и срок. Другим группам может требоваться резерв для надёжности, редких конфигураций или предстоящих изменений. Если краткосрочный результат решает всё, у производительного сегодня процесса может не оказаться времени на важные случаи, которые сложно оценить заранее. Руководитель может сначала определить объём общих ресурсов, правила использования и решения, для которых требуется проверяемая причина, а затем наблюдать, становится ли исключений больше или меньше.

На практике бюджет пилота скорее напоминает операционное решение, чем заказ оборудования. Выделите фиксированный объём ресурсов для обычного набора адаптаций и посмотрите на всю цепочку. Запишите, сколько ушло на прекращённые попытки и почему поменялись приоритеты. Сопоставьте с похожими задачами в действующем процессе. Если обучение стало экономнее, а инженеры продолжают разбираться с неопределённой ответственностью за проверку, следующая трата может относиться к согласованию. Если проверки уже быстрые, а мощности не хватает, полезнее улучшить выбор кандидатов. Одна статистика может привести к этим разным решениям у разных команд.

Общий процесс способен разнести ошибку по всем моделям#

Шаблон упрощает перенос как проверенного улучшения, так и неверного предположения. Изменение, которое понравилось в представительном наборе, может повлиять на редкий случай, встречающийся только в локальной модели. Быстрый запуск скорее доходит до таких ситуаций, а при неполных записях прежнее поведение труднее вернуть. Команда с региональными конфигурациями может заранее определить, охватит ли первая волна самые ценные или менее рискованные случаи, и сохранить версию для каждой группы. Это оставляет преимущества повторного использования и помогает точно найти источник неожиданных результатов.

Для обычного трафика и для отличающихся групп нужны свои условия выпуска. Вот пример. Команда прогнозирования добавляет новое правило обучения для группы магазинов. На обычных магазинах средняя ошибка сокращается, а у магазинов с сезонным спросом прогноз ухудшается. Расширение имеет смысл, если известно, к какому типу относится следующая площадка. Правило остановки подскажет руководителю поставить процесс на паузу до того, как хорошее среднее скроет убыток. Поэтапный запуск и откат сохраняют возможность исправления, пока команда выясняет, достаточно ли общего у моделей одного шаблона.

Передача записей между командами тоже относится к эксплуатации. Авторы метода могут понимать причину выбора параметров, а будущий сопровождающий увидит только текущую версию. Карточка адаптации может хранить исходную технику, целевую нагрузку, условия принятия, результаты испытаний и владельца в производстве. При отказе следующей команде пригодится возможность определить, оказалась ли слабой сама идея или изменились условия реализации. Понятный архив помогает инженерам и агентам, которые будут искать в нём свидетельства позднее.

Ясные роли бывают полезнее обязательного обсуждения каждого вопроса одним комитетом. Местный владелец способен проверить работу очередной конфигурации, а ответственный за общий процесс — заметить, что та же проблема появилась в нескольких местах. Назначьте человека, который решает об откате, и сохраните способ найти предыдущую версию. Можно проверить восстановление на малозначительном изменении во время пилота. Так стратегическое обещание сводится к делу. Если процесс одновременно меняет двенадцать мест, кто сможет найти все затронутые модели? Сможет ли этот человек вернуть последнее работавшее состояние?

Что стоит увидеть до расширения пилота#

Для небольшой проверки можно выбрать уже подтверждённое изменение и перечислить места, где оно предположительно поможет. Подберите несколько типичных случаев и хотя бы один, где отличие может сделать технику неподходящей. Сохраните прежний процесс для сравнения. Разрешите агенту читать подходящие записи и учитывайте каждую адаптацию как самостоятельное решение. В конце оцените выполненные работы, ожидание, вычисления и время проверки по одному качественному стандарту. Предложения, которые не прошли условия запуска, могут означать полезную помощь в исследовании. Для автоматизации производства всё ещё нужны доказательства.

Расширение оправдано, если выбранная группа даёт больше принятых работ или выполняет их быстрее и дешевле при сопоставимом качестве. Полезно видеть, кто разбирает исключения и может ли команда объяснить результаты независимо от агента. Доказательства сильнее, если выигрыш сохраняется при другом составе задач и отложенные случаи ведут себя как ожидается. Если подходящих изменений обнаруживают меньше, растёт число серьёзных регрессий или проверка надолго задерживает выпуск, область пилота стоит уменьшить. Наблюдать необходимо достаточно долго, чтобы охватить стартовое обучение и обычный цикл выпусков.

Публикация Meta даёт этим вопросам конкретный пример. Более быстрый перенос может принести пользу даже при жёстких ограничениях на вычисления и решения о запуске. Отдача для другой компании зависит от общих частей её процесса, пригодных для повторного использования данных и последствий ошибки. Цифры Meta — внутренний отчёт одной крупной платформы с некоторыми целями, которые ещё предстоит достичь. Разумное первое вложение — сделать одну повторяющуюся адаптацию хорошо измеримой от начала до конца. Когда организация видит, что прошло проверку и кто согласовал запуск, она способна оценить, действительно ли агент ускоряет полезную работу.