Точка Банк: LLM оценивает чаты, время подбора диалогов сократилось на 35%

Онлайн-чат — одна из главных точек контакта клиента с Точка Банком. Качество диалогов оценивают диалог-коучи: они выставляли оценки по 10 критериям и разбирали чаты на встречах. При потоке в сотни обращений в день часть диалогов не попадала в разбор; часть оценивалась субъективно: инструкции и примеры каждый применял по-своему. На предварительный отбор и анализ диалогов могло уходить до 900 часов в месяц. Банк поставил задачу сократить ручную работу и сохранить точность оценки: коучи должны работать только с отобранными показательными диалогами.

Сервис «Автомануал для диалог-коучей» прогоняет пул чатов через серию промптов: LLM выставляет оценку по каждому параметру критериев и даёт обоснование, общую среднюю оценку диалога считает код. Каждый промпт решает одну задачу; параметры, которые не поддаются формализации, исключили. Подробную шкалу 1–3 заменили упрощённой (2 — попадание в критерий, 1 — есть над чем поработать, 0 — критерий не применим). Часть промптов работает на gpt-4o и gpt-4o-mini, часть перевели на gpt-4.1 и gpt-4.1-mini. Перед оценкой переписки обезличивает маскиратор, промпты хранятся в Prompt Storage.

Работу начали в январе 2025 года. Промпты тестировали на выгрузке 500 чатов, сравнивая ответы модели с ручной оценкой коучей; по большинству критериев точность составила 95–97%, по канцеляризмам — 87–90%. От дашборда на Power BI отказались из-за сложности связки «DWH — маскиратор — Prompt Storage — ChatGPT» и реализовали сервис внутри банка. По данным на ноябрь 2025 года доступ открыт всем диалог-коучам, активно пользуются около 30 человек; время на подбор диалогов сократилось на 35%. За 1,5 месяца работы на оценку диалогов потратили чуть больше 150 долларов. Следующий этап — стабильная выдача большего числа диалогов и фильтры.