Macquarie University: ИИ-бот Virtual Peer в пилоте поднял оценки на 9,45%

Macquarie University в Сиднее искал способ помочь студентам с учебными и административными вопросами в период подготовки к экзаменам. По словам преподавателя психологии Патрика Налепки, руководители курсов могут пропустить важные вопросы, если студент стесняется спросить, опасаясь показаться глупым, или сталкивается с языковыми трудностями. Студенты задают вопросы и вне обычных часов работы университета, а переписка по электронной почте ложится на преподавателей. Отдельной задачей была надёжность ответов: большие языковые модели с доступом к интернету чаще допускают неточности — так называемые галлюцинации.

Virtual Peer — «ИИ-компаньон» с интерфейсом, похожим на ChatGPT, разработанный вместе с Microsoft в основном на базе доступа Microsoft Azure к большим языковым моделям OpenAI. Бот отвечает на учебные и административные вопросы по курируемой базе знаний: слайды лекций, расшифровки, политики университета и материалы вопросов и ответов. По словам руководителя направления ИИ Фила Лауфенберга, бот отвечает только на основе проверенных данных, и каждый ответ содержит ссылку на исходный документ. Преподаватели просматривают обезличенные логи чатов, чтобы понять, какие темы вызывают затруднения, и скорректировать повторение материала.

Пилот прошёл в октябре 2024 года с участием 1 400 студентов-психологов: студенты пользовались ботом в течение двух недель перед экзаменом. По данным Microsoft, пользователи улучшили оценки на 9,45% с поправкой на прежнюю успеваемость. За первые две недели тестирования бот обменялся со студентами более чем 20 000 сообщений, 80% из них — вне обычных часов работы. Тьюторы оценили 84% ответов на административные вопросы как не уступающие ответам людей; остальные 16%, по словам Лауфенберга, объяснялись пробелами в документации, и университет ввёл стандартизированные шаблоны вопросов и ответов. В 2025 году бот планируют испытать более чем на 3 000 студентов, в перспективе — интегрировать в сотни учебных модулей.