ДОМ.РФ: ИИ-ассистент тестировщика поднял покрытие автотестами на 20%

Отдел тестирования «ДОМ.РФ Технологии» опросил тестировщиков, какие ручные задачи рутинны и занимают больше всего времени, и сопоставил ответы с возможностями моделей ИИ. В пул задач для автоматизации вошли тестирование требований, генерация тестовых кейсов и API-тестов, подготовка отчётной документации — прежде всего программы и методики испытаний, которую команда ежеквартально сдаёт заказчику, — и генерация UI-автотестов. Цели внедрения компания определила так: сократить time to market и время на рутину, повысить качество продуктов и удовлетворённость сотрудников.

Сравнение трёх готовых решений на рынке не дало варианта, отвечающего всем требованиям: интеграция с Jira, Confluence и TMS TestIT, генерация тестовых кейсов, тестовых данных и автотестов, контроль отправляемых данных и open source либо отечественное ПО, поскольку компания государственная. Свободный доступ сотрудников к общедоступным GPT-чатам отвергли из-за ручной подготовки данных и отсутствия контроля над ними. Команда разработала собственного Telegram-бота «Ассистент тестировщика» на Python с PostgreSQL, библиотекой Spacy и подключением к внешним GPT-моделям; лучше всего для задач компании показала себя YandexGPT3 pro.

Работу разбили на два этапа — MVP и продуктивное решение; в рамках MVP реализовали весь запланированный объём функций, подготовили спецификации и инструкции и передали ассистента в пользовательское тестирование сотрудникам отдела. Бот по номеру тикета забирает описание из Jira, генерирует тестовые кейсы, по запросу дополняет их без дублирования и отправляет результат в комментарий к тикету или в TestIT. По данным компании на ноябрь 2024 года, тестирование завершено: покрытие автотестами выросло на 20%, время подготовки артефактов тестирования сократилось на 30%, время поставки изменений — на 10%. Исходный код и docker-контейнер компания выложила на GitHub.