ВТБ: ИИ-сервис разбирает обращения в поддержку КИБ, метрики не менее 90%

В центре клиентской поддержки корпоративно-инвестиционного бизнеса (ЦКП КИБ) ВТБ обращения приходят звонками, чатами и письмами и объединяются в одно клиентское обращение, которое может содержать несколько вопросов. Сотрудник сам анализировал содержание и размечал обращение по многоуровневому справочнику категорий, чаще по основному вопросу; дополнительные темы фиксировались не всегда, и из-за сложной структуры справочника выбиралась более общая категория. Команде ML CRM поставили задачу создать сервис, который автоматически обрабатывает обращения из разных источников, классифицирует их по атрибутам, учитывает смену тематики внутри обращения и выдаёт суммаризацию с обезличенными данными клиента.

Сервис состоит из декомпозированных модулей. Обращение из разных каналов объединяется, затем LLM 32B, доступная по API в промышленном контуре и контуре разработки, формирует суммаризацию и определяет дополнительный тип обращения (жалоба или пожелание). Обезличивание выполняют регулярные выражения и библиотека Natasha. Смену темы внутри обращения находит графовый алгоритм на NetworkX по семантической близости фрагментов. Классификацию по иерархии «продукт → вопрос → суть вопроса» выполняют классификаторы на базе эмбеддера deepvk/USER-bge-m3; при низкой уверенности модели обращение уходит в категорию «неизвестная».

Команда начала разработку MVP в феврале 2025 года, в мае–июне представила первую версию с согласованными продуктами и классами по двум каналам. В сентябре 2025 года внедрили версию со всеми отфильтрованными классами, в ноябре провели первое дообучение моделей на обновлённом справочнике. Для обучения использовали около 100 тыс. очищенных обращений; редкие классы дополнили обращениями, сгенерированными LLM 32B. На отложенной выборке F1-score составил 77% для уровня «продукт», 60% для «вопроса» и 40% для «сути вопроса». На выборке, которую сформировал заказчик и проверили сотрудники ЦКП, итоговые метрики выросли до 90%+. К августу 2026 года идёт второй цикл обучения на новой версии справочника, в категорию «неизвестная» попадает около 10% обращений.