Архив Образование · EdTech и корпоративное обучение
Duolingo: ИИ-агент GPT Driver сократил ручное регрессионное тестирование до 70%
По данным Duolingo, инструмент GPT Driver от MobileBoost, который выполняет тесты по инструкциям на естественном языке на виртуальном устройстве, сократил ручную работу QA-команды в регрессионном тестировании еженедельных релизов до 70%.
/01 · ключевые результаты
-
результат
до 70%
сокращение ручного регрессионного тестирования
Duolingo, блог компании, 07.02.2025
по данным на февраль 2025 года · регрессионное тестирование еженедельных релизов приложения Duolingo
данные компании
оценка strategai
Оценку не приводим: исходные трудозатраты QA-команды в часах не указаны
По данным Duolingo, инструмент GPT Driver от MobileBoost, который выполняет тесты по инструкциям на естественном языке на виртуальном устройстве, сократил ручную работу QA-команды в регрессионном тестировании еженедельных релизов до 70%.
/02 · паспорт кейса
Бизнес
- Компания
- Duolingo
- Отрасль
- Образование · EdTech и корпоративное обучение
- Функция
- ИТ, разработка ПО и кибербезопасность
- Задача
- Генерация кода и модернизация ПО
Технология
- Класс AI
- ИИ-агенты и мультиагентные системы
- Тип решения
- Решение вендора: MobileBoost
Внедрение
- Стадия
- Промышленная эксплуатация, на 07.02.2025
- География
- Соединенные Штаты
/03 · описание кейса
Зачем
Бизнес-задача
Duolingo выпускает обновления приложения еженедельно, и новые функции и прочие изменения несут риск регрессий. QA-команда тратит существенную часть своих ресурсов на мониторинг и тестирование еженедельных релизов. Компания давно хотела автоматизировать регрессионное тестирование, чтобы команда больше времени уделяла исправлению ошибок и проверке новых функций. Требования к инструменту: простое сопровождение силами любого сотрудника независимо от навыков программирования и устойчивость к множеству изменений, которые вносятся каждую неделю. Дополнительная сложность — множество вариантов интерфейса из-за A/B-тестов: заранее сказать, какой экран увидит пользователь, часто невозможно.
Что
Решение
В 2024 году Duolingo начала работать с MobileBoost над инструментом GPT Driver. Он принимает инструкции на естественном языке и выполняет их на виртуальном устройстве; сотрудник описывает тестовый сценарий, запускает его и наблюдает за прохождением теста в браузере в реальном времени. Вместе с MobileBoost команда перешла от пошаговых команд вида «нажми эту кнопку» к целевым формулировкам вроде «проходи экраны, пока не увидишь XYZ»: модель интерпретирует каждый экран с учётом конечной цели. По оценке компании, такая постановка делает прогоны надёжнее при неопределённости интерфейса. GPT Driver записывает прогоны и хранит их для просмотра.
Как
Внедрение
За несколько часов команда создала тесты для ключевых сценариев — прохождения уроков, онбординга и социальных функций. Просмотр записей прогонов стал основой процесса регрессионного тестирования: раньше несколько сотрудников QA каждую неделю вручную проходили сценарии по несколько часов, теперь записи просматриваются за минуты. По данным компании, это сократило ручное регрессионное тестирование до 70%. Duolingo называет и ограничения: модель может обойти ошибку, не блокирующую прохождение, иногда неверно интерпретирует инструкции и плохо справляется с самыми сложными типами заданий — длинными переводами и задачами на время. MobileBoost добавляет проверки в свой программный слой.
/04 · источники и проверка
Что подтверждено
- По данным Duolingo, GPT Driver сократил ручное регрессионное тестирование до 70%.
- Ручное прохождение сценариев, занимавшее у нескольких сотрудников QA по несколько часов в неделю, заменено просмотром записей прогонов, который занимает минуты.
- Тесты для ключевых сценариев — уроков, онбординга и социальных функций — созданы за несколько часов на естественном языке.
Ограничения
- 70% — верхняя граница сокращения ручного регрессионного тестирования; исходные трудозатраты в часах и численность QA-команды не названы.
- Цифра не показывает, как изменилось число пропущенных ошибок: модель может обходить дефекты, которые не блокируют прохождение сценария.
- Самые сложные типы заданий приложения — длинные переводы и задачи на время — инструмент, по словам компании, проходит с трудом.
-
[1] Duolingo
How we reduced manual regression tests by 70% using AI tools
компания · 07.02.2025
Открыть источник
АрхИИВ /strategai · CB-000601 · Версия 1 · 11.10.2026 · /c/CB-000601/