Sandia National Labs: чат-ассистентом SandiaAI Chat воспользовались более 10 тыс. человек

Sandia National Laboratories — федеральный научно-исследовательский центр, который работает на правительство США и решает задачи национальной безопасности. Лаборатория ищет способы сократить затраты и повысить операционную эффективность, а по словам директора по информационным технологиям Джона Зеппера, одна из её ключевых инициатив — внедрять инновации и отслеживать связанную с ними экономию. Сотрудникам требовался доступ к большим языковым моделям для работы с чувствительной несекретной информацией. Публичные сервисы для этого не подходили из-за жёстких требований безопасности: данные не должны покидать контур лаборатории.

Вместо корпоративной лицензии ChatGPT лаборатория развернула собственный экземпляр модели в своей изолированной среде в облаке Azure на базе Azure OpenAI. Вопросы сотрудников и ответы не передаются Microsoft или OpenAI, доступ к этим данным есть только у Sandia. Модель не дообучается на интернете и на прежних вопросах; лаборатория берёт снимок каждой новой модели и передаёт его сотрудникам без подключения к публичному сервису. Встроены фильтрация контента и мониторинг злоупотреблений Azure OpenAI. SandiaAI Chat пишет код на распространённых языках программирования, помогает составлять письма, в том числе тем, для кого английский не родной, и оформлять формы оценки результатов работы.

С конца октября 2023 года кросс-функциональная команда при поддержке руководства лаборатории разработала систему за 27 рабочих дней, затем полгода шли испытания, включая нагрузочные тесты и тесты на проникновение. Команда следовала рамке управления рисками ИИ NIST. Нагрузочные тесты показали, что система выдерживает до 20 тыс. потенциальных пользователей. В начале мая 2024 года инструмент открыли для лаборатории; по данным Microsoft, доступ получили почти 17 тыс. сотрудников, а за первый месяц они задали более 106 тыс. вопросов. К февралю 2025 года ассистентом хотя бы раз воспользовались более 10 тыс. человек. В планах — загрузка файлов для анализа и генерация изображений.