Coursera: ИИ-оценка заданий взаимной проверки за минуту вместо 15 часов

Coursera — онлайн-платформа обучения. Часть заданий в курсах проверяют сами слушатели. Такая взаимная проверка, по оценке компании, часто сопровождается долгим ожиданием оценки и короткими отзывами. Компания поставила цели повысить скорость и качество оценивания, обеспечить единообразную и масштабируемую проверку по установленным рубрикам с экономией времени людей и убрать препятствия для дальнейшего продвижения слушателей по курсу. Проект входит в более широкую программу Coursera по встраиванию генеративного ИИ в платформу.

Функция AI Grading in Peer Reviews оценивает текстовые работы слушателей по рубрикам преподавателя и сразу выдаёт оценку. Вместе с оценкой слушатель получает отзыв от ИИ-ассистента Coach с сильными сторонами работы и зонами для улучшения. Промпт для отзывов разработан совместно с командой Teaching & Learning с опорой на педагогические практики; в среднем отзыв содержит 326 символов. Слушатель может вернуться к проверке однокурсниками. Большинство вернувшихся не получили от ИИ проходной оценки; такие случаи команда Coursera проверяла вручную, чтобы подтвердить точность системы.

Coursera сообщила об итогах бета-теста 5 сентября 2024 года. За время теста ИИ оценил около 300 тыс. работ. Компания отслеживала число оценённых работ, долю сдавших с первой попытки, долю положительных реакций на отзывы и долю слушателей, вернувшихся к проверке однокурсниками. Оценки ИИ в среднем оказались на 3% ниже оценок однокурсников; система реже ставит 100% и чаще 0%, когда работа не отвечает ни одному критерию рубрики. Функция доступна в отдельных регионах и не применяется к материалам, засчитываемым в программы с выдачей диплома. Компания планирует распространить её на другие типы работ.