Лаборатория МИЭМ НИУ ВШЭ: LLM-оценки в 90% совпали с экспертными до шага шкалы

Учебная лаборатория сетевых видеотехнологий Московского института электроники и математики НИУ ВШЭ искала способ проверять ответы на лекциях, в текущей аттестации и на экзаменах и сразу давать студентам развёрнутую обратную связь. Преподавателю при этом нужна картина готовности аудитории и понимание того, какие темы вызывают трудности. По словам руководителя лаборатории Дениса Королева, это позволяет проводить занятия в режиме «перевернутого класса»: студенты готовятся дома, а материал отрабатывается на занятии.

Лаборатория разработала собственный «проверятор» открытых ответов на основе LLM. Студент отправляет ответ и получает оценку по критериям полноты и корректности вместе с пояснением, почему она такая. На лекциях инструмент используется для быстрой проверки знаний по текущему и прошлому материалу. На экзаменах действует режим апелляции: если студент не согласен с оценкой модели, весь диалог передаётся преподавателю и оценивание проводится вручную. Система собирает подробный цифровой след с каждой лекции, опроса и экзамена. В режиме экзамена запущено «дозадавание» вопросов, которое приближает машинный опрос по формату к устному экзамену.

Инструмент применяется для текущих опросов на лекциях, плановых опросов в рамках текущей аттестации и на экзаменах. Эксперимент со слепой проверкой соответствия оценок LLM экспертной оценке показал 90% совпадений в пределах одного шага оценочной шкалы. Вопросы для проверки лаборатория готовит с помощью другой своей разработки — генератора на low-code платформе N8N: каждая лекция курса «Сетевые видеотехнологии» сопровождается 40–60 открытыми и тестовыми вопросами, которые затем вычитываются. LLM-проверка подключена и к платной версии онлайн-курса на Степике. 31 мая наработки представлены на конференции DataFest в Яндексе.