Nomura Research Institute: частная LLM сократила время подготовки Q&A на 60%

Nomura Research Institute (NRI) вместе с дочерней NRI Digital готовила к выводу на рынок решение «Частная LLM» для компаний с жёсткими требованиями к информационной безопасности, в первую очередь для финансовых организаций. Открытые модели наподобие Llama 2, по оценке NRI, пока уступают внешним сервисам, поэтому компании требовалось проверить, достигает ли такая модель после дообучения на собственных данных уровня, пригодного для реальной работы. Для проверки NRI выбрала собственную задачу — поддержку сотрудников по внутренним бухгалтерским процедурам.

«Частная LLM» запускает модели с открытыми весами, прежде всего Llama 2 компании Meta, в частном облаке на базе дата-центров NRI или в собственной инфраструктуре заказчика, так что конфиденциальные данные не покидают контролируемый контур. Модель настраивается под задачи конкретной компании через дообучение и предварительное обучение; данные обучения также остаются внутри контура. В состав решения входят графические ускорители, поиск по внешним данным (RAG) и дополнительные модули, в том числе «частное распознавание речи» для контакт-центров. В пилоте NRI модель Llama 2 работала на GPU в дата-центре компании и готовила вопросы и ответы для поддержки бухгалтерских процедур.

Для пилота NRI дообучила Llama 2 на 60 тыс. записей обучающих данных; после этого, по данным компании, качество модели выросло до уровня, достаточного для применения в работе. Решение взяло на себя часть операций в поддержке бухгалтерских процедур и сократило время подготовки вопросов и ответов на 60%. Результаты NRI опубликовала 11 января 2024 года в пресс-релизе о решении «Частная LLM», которое компании планировали предлагать клиентам с весны 2024 года.