КРОК: RAG-ассистент CAFY ищет по смыслу во внутренних документах

Знания КРОК хранятся в нескольких крупных корпоративных системах — для проектной деятельности, документации и нормативных материалов, у каждой свой поиск и своя структура. По словам компании, сотрудники тратили часы, пытаясь вспомнить формулировку, место и контекст нужного документа; особенно трудно приходилось новым сотрудникам и тем, кто работает с незнакомым разделом. Донастройка встроенного поиска нужного эффекта не дала. Задачу компания сформулировала как сокращение времени на рутинный поиск: нужен был инструмент, который ищет по смыслу, объединяет разрозненные источники и работает внутри периметра, поскольку внутренние документы нельзя выносить во внешние сервисы.

Croc Assistant For You (CAFY) — внутренний ассистент по корпоративным документам на основе RAG: документы индексируются в поисковый и векторный индекс, система извлекает релевантные фрагменты и передаёт их языковой модели, которая собирает ответ. Источники — регламенты, методички, договоры, проектная документация, артефакты рабочих групп, а также личные материалы сотрудника. Ядро — готовая RAG-платформа вендора; вокруг неё КРОК построил систему управления ассистентами, которая проверяет права доступа, запускает парсеры и готовит данные к индексации. Запросы идут через корпоративный мессенджер на базе Express и корпоративную шину взаимодействия с LLM. Качество ответов контролируется бенчмарками: отдельная LLM сравнивает фактический ответ с эталонным.

КРОК сначала собирал собственные прототипы RAG, затем выбрал коробочное решение по качеству ответов на своих тест-кейсах. Совместная работа с вендором длилась почти год: обновления продукта меняли качество — метрика опускалась с 85% до 70%, поэтому компания выстроила регулярные статусы, согласование изменений и откат версий, а также добилась интерфейса, позволяющего самой выбирать LLM для найденного контекста. Из-за сложной ролевой модели в части сценариев общие ассистенты заменены персональными, коллекции изолированы. На этапе тестирования открыт веб-доступ для пилотов. В опытной эксплуатации загрузка вычислительных мощностей не превышала 30%, архитектура рассчитана примерно на 3 тыс. ассистентов. Следующий шаг — подключение SQL, CRM и других систем.