Т-Банк: ИИ-агент ведёт регресс-тесты приложения, экономия ресурсов около 25%

В мобильном приложении Т-Банка десятки тысяч тест-кейсов, регресс проводится дважды в месяц, и каждый цикл занимает значительную часть ресурсов QA-команд: на время регресса инженеры фактически недоступны для других задач. Из-за санкционных ограничений окна для релизов ограничены, поэтому цена пропущенного дефекта возрастает. Ручное тестирование плохо масштабируется, а E2E-автотесты требуют затрат на написание и поддержку и ломаются при изменениях интерфейса. Банк поставил задачу передать прохождение рутинных тест-кейсов ИИ-агенту, который действует как человек.

ИИ-QA-агент запускает приложение на iOS-симуляторе или Android-эмуляторе, выполняет сценарий шаг за шагом, делает скриншоты и сравнивает ожидаемый результат с фактическим. Экран анализирует визуальная языковая модель (VLM) — большая открытая модель с MoE-архитектурой; рассуждение и выбор действия разделены на два этапа. Действия выполняет собственный навигационный движок на Swift поверх XCUITest. Оркестратор готовит окружение и собирает отчёт, парсер превращает тесты из Allure в сценарии для агента, мок-прокси подменяет ответы сервера. Инфраструктуру мультимодальных моделей развивает внутренняя команда VLM Core.

QA выбирает тесты в Allure и запускает прогон, например вечером, а утром получает отчёт: пройден ли тест, на каком шаге расхождение, скриншоты и рассуждения агента. Верификация результатов инженером остаётся обязательной. Тесты, написанные для людей, пришлось адаптировать: сначала по инструкции вручную, затем умным парсером. Средний тест из 8 шагов агент проходит за 3 минуты с учётом подготовки. На первом бенчмарке точность на «красных» дефектах составила 87% при цели 95%, на «жёлтых» — 61%, на «зелёных» — 56%; точность попадания в элементы интерфейса — 92%. Банк оценивает экономию ресурсов команды примерно в 25% в месяц и планирует распространить агента на все команды мобильного приложения, где это экономически оправданно.