Яндекс: LLM в QA экономит в среднем 50% времени на чек-листах и тест-кейсах

Команда автоматизации процессов проверяла границы применимости генеративных нейросетей и нашла три направления с наибольшей потенциальной выгодой: генерация чек-листов и тест-кейсов, написание E2E-автотестов и ручное (в том числе регрессионное) тестирование. Параллельные эксперименты в нескольких департаментах дали разрозненные прототипы: чуть за пределами узких сценариев качество резко падало, инструменты приходилось поддерживать по отдельности, а общих метрик качества на уровне компании не было.

Центральная команда отвечает за инфраструктуру подачи данных и измерение качества, локальные команды экспериментируют с промптами и агентами. Системообразующий элемент — система управления тестированием (TMS), где хранятся тест-кейсы. Для генерации чек-листов и тест-кейсов LLM получает контекст из Трекера и связанного pull request, результат возвращается в комментарий к задаче. Каждый сгенерированный тест-кейс проверяет человек, при этом каждый шаг можно принять или отклонить отдельно. Качество релизов оценивает LLM-as-a-Judge на «золотом датасете». Для автотестов базовый инструмент — Yandex Code Assistant.

MVP генерации чек-листов начали использовать несколько десятков команд, ежедневно создаётся более 200 чек-листов. Затем потребовались интеграции с источниками данных, workflow принятия или отклонения результата в TMS и контур оценки качества; по словам автора, это заняло месяцы. Выложенных материалов по работе с ассистентом оказалось недостаточно, и центральная команда перешла к тренингам-хакатонам в малых группах на кодовой базе конкретного сервиса. К моменту публикации в ноябре 2025 года обучена половина QA-инженеров компании. Отдельное направление — ИИ-агент для прохождения ручных тестов: первичный замер дал около 45% точности при необходимых не менее 80%.