KPMG Australia: ИИ-ассистент KymChat ответил на 540 тыс. запросов

В начале 2023 года служба безопасности KPMG Australia заблокировала сотрудникам доступ к ChatGPT из-за рисков. Компании требовался инструмент, который даёт сотрудникам возможности генеративного ИИ в защищённой среде, где данные фирмы не покидают её контур. Сотрудникам нужно было быстрее находить информацию во внешних и внутренних источниках, готовить черновики писем, презентаций и документов, разбираться во внутренних политиках. По описанию Microsoft, речь шла о фирме примерно с 10 тыс. сотрудников.

KymChat — корпоративный генеративный ИИ-ассистент KPMG Australia на моделях GPT-3.5 и GPT-4 через Azure OpenAI Service в закрытой среде. Он ищет ответы во внешних и внутренних сайтах компании, базах знаний и файлах Microsoft 365. Для векторного поиска и извлечения данных используется Azure Cosmos DB for MongoDB vCore; по словам старшего продакт-менеджера Роберта Финлейсона, качество поиска выросло с 50% до 91%, а ответы стали приходить менее чем за секунду. Курируемые наборы данных, такие как база налоговых прецедентов, подняли точность ответов с 60% до 94%. Пользователи могут оценивать точность ответов и проверять цитаты.

Прототип KymChat показали руководству в феврале 2023 года, бета-версию запустили в марте, функцию Personas — в июле 2023 года. Работу вела междисциплинарная команда из технологий, рисков, юристов, безопасности и управления изменениями; каждый запрос в бета-период отслеживался. Сотрудникам предложили обучение промпт-инжинирингу. По данным Microsoft на ноябрь 2023 года, KymChat пользовались 70% сотрудников, было сделано более 120 тыс. запросов. По данным KPMG на июнь 2024 года, ассистент ответил на 540 тыс. запросов 10 тыс. пользователей, из них 40 тыс. — за первые 8 недель. Появились специализированные версии, в том числе для черновиков налоговых консультаций.