Магнит: LLM-пайплайн даёт 15 качественных продуктовых гипотез за прогон

Команда товарных рекомендаций «Магнита» придумывает и проверяет гипотезы, которые улучшают рекомендации в приложении: добавляют релевантные товары, повышают выручку с реко-полок и конверсию. Каждая гипотеза проходит путь от идеи до A/B-теста. Скорость закрытия задач росла квартал за кварталом, а приток новых идей снижался: сильные гипотезы уже ушли в прод, в бэклоге остались идеи с низким эффектом или высокой трудоёмкостью. Мозговые штурмы, анализ конкурентов и конференции упёрлись в предел, и команде понадобился масштабируемый источник идей.

Компания построила собственный LLM-пайплайн, который превращает архив прошлых экспериментов в поток новых гипотез. Карточки экспериментов выгружаются из Confluence, LLM-скрипт оценивает их бизнес-эффект, данные складываются в SQLite вместе с кратким инсайтом по каждому эксперименту. Контекстный селектор отбирает релевантную историю под лимит окна модели, и LLM генерирует гипотезы пяти типов — от близких к успешным до новых направлений. Авто-ревью оценивает дублирование, пересечение с историей и потенциал, а интегральный Quality Score выводит наверх сильнейшие идеи. Финальный отбор делает продакт.

Пайплайн написан без выделенного разработчика силами одного продакт-менеджера. Первая версия была простым скриптом, затем каждый квартал добавлялся новый элемент: парсинг, реестр текущего состояния полок, ревью. Реестр и явный запрет понадобились, потому что первые версии предлагали механики, уже работающие в продакшене. Около половины гипотез оказывались нерабочими, и команда заложила время на ручную корректировку. По данным публикации августа 2026 года, из более чем сотни артефактов один прогон даёт примерно 200 гипотез, около 50 проходят авто-ревью, 15 качественных попадают в бэклог.