ВТБ: языковая модель в пилоте разбирает звонки клиентов с точностью 83–84%

Контакт-центр ВТБ проверял, на что способны большие языковые модели в работе с клиентами. Одна из задач — интеллектуальный анализ телефонных разговоров: по каждому диалогу получить краткое резюме и определить, решён ли вопрос клиента, а если нет — назвать причины и предложить возможные решения. Банк использует только отечественные модели с поддержкой русского языка, которые можно интегрировать в банковскую систему и дообучать на собственных данных.

Для пилотов банк выбрал два российских решения, которые в материале обозначены как LLM1 и LLM2. Эксперименты шли в песочнице Ассоциации финансовых технологий с доступом к API и фреймворкам. Модель получала диалог клиента с банком, составляла резюме и классифицировала исход разговора. Для длинных диалогов применили Map-reduce суммаризацию: диалог делится на фрагменты, по каждому строится резюме, затем они объединяются в общее. Сравнивались режимы с размеченным примером диалога и без него; с примером точность классификации выше.

Банк обезличил клиентские диалоги, выгрузил их в песочницу и разметил часть для проверки качества. Модели передали более 35 тысяч реальных диалогов, из них 2 тысячи были размечены. После первых прогонов средняя точность составила около 60%, что банк счёл неподходящим для практического применения. После доработок точность выросла до 83–84%. По оценке банка, этого пока недостаточно для промышленного применения; ВТБ оставил текущий уровень и планирует вернуться к пилоту после настройки ряда бизнес-процессов. Итоги описала руководитель направления «Контактный центр» Татьяна Курганович в декабре 2024 года.