Т-Банк: ИИ-фильтр подсказок кода поднял долю принятых на 5,2 п. п.

Т-Банк развивает собственный copilot-инструмент для разработчиков; система автодополнения кода в IDE работает в проде два года, и ею пользуется почти вся разработка банка — 7,5 тыс. пользователей в день. Доля принятых подсказок (Acceptance Rate) держалась на уровне около 20% и перестала расти: удлинение подсказок, смена стратегии генерации и новые места показа давали лишь точечные улучшения, а объём принимаемого кода упёрся в потолок. Команда решила добавить отдельный слой, который решает, показывать ли сгенерированную подсказку. Бизнес согласовал ограничение: фильтр может отсечь не более 5% принятых подсказок. Целевой рост доли принятых — не менее 3 п. п., с 20 до 23%.

Подсказки генерирует модель ByteDance SeedCoder-8b, развёрнутая на GPU-кластере банка. Фильтр получился двухслойным. Первый слой — Qwen2.5-Coder 1.5B, у которой генерационную голову заменили бинарной классификацией; модель получает промпт строгой структуры (префикс, текущая строка, подсказка, суффикс) и токены источника, языка и позиции, дообучена с LoRA и focal loss. Второй слой — CatBoost: он принимает итоговое решение, добавляя к оценке LLM табличные и исторические признаки, в том числе время между запросами пользователя и объём дописанного кода. LLM-фильтр работает в Triton Inference Server после конвертации в ONNX, с динамическим батчингом, CatBoost встроен в бэкенд на Go.

Простой CatBoost-классификатор на офлайн-данных дал рост на 2,3 п. п.; LLM-фильтр после адаптации — 6,8 п. п. офлайн, но в теневом тестировании на проде лишь 5,5 п. п. при отбрасывании 6–7% трафика. После переобучения на недельном окне и добавления второго слоя CatBoost теневой тест показал около 6 п. п. при 5% отброшенных подсказок. В A/B-тесте выявился перекос: SQL фильтровался жёстче остальных языков, около 12%. После ещё одной итерации обновлённый A/B-тест дал рост на 5,2 п. п. при 4,7% отброшенного трафика без перекосов по языкам и IDE, и фильтр выведен в прод.