RUTUBE: RAG-помощник поддержки отвечает почти на 70% запросов

В поддержку RUTUBE ежедневно поступают тысячи обращений. На простой вопрос специалист тратит меньше минуты, на сложный около 15 минут. База знаний включает более 40 тем и более 1 500 вопросов-ответов и обновляется ежедневно. Среднее время первого ответа поддержки на все виды вопросов составляло 7 минут, и компания хотела сократить его до одной минуты. Требования: только локально развёрнутые модели внутри контура без GigaChat, YandexGPT и других проприетарных систем, ответ не дольше 20 секунд по REST API и сохранение привычной базы знаний.

ML-команда RUTUBE построила систему на подходе Retrieval Augmented Generation. Ответы генерирует модель Vikhr-Nemo-12B, инференс идёт на vLLM. Поиск гибридный: семантический на модели ai-forever/FRIDA и классический BM25 в векторной базе Milvus. LLM также перефразирует вопрос пользователя для улучшения поиска. Система встроена в единое окно заявок на базе HelpDeskEddy: открывая тикет, оператор видит подсказку и может отправить готовую формулировку или скорректировать её. Компания называет решение инструментом генерации ответов для операторов; полноценным чат-ботом оно пока не является.

База знаний остаётся в привычной системе FAQ. Python-парсер забирает пары «вопрос — ответ», запуск по расписанию через Airflow каждые 60 минут обновляет Milvus и переиндексирует векторы. Скрытые страницы для парсера связывают сленговые запросы со статьями, например «Как получить галочку?» со статьёй о верификации канала. Все этапы обработки запроса пишутся через Apache Kafka в ClickHouse, метрики отслеживаются в Grafana. Главный KPI — доля ответов «Я не знаю» с целью менее 15%, ближайшая цель по доле ответов бота — 80%. Находки хакатона «Цифровой прорыв», где команды решали кейс RUTUBE, компания использовала для улучшения решения.