Khan Academy: история ученика в Khanmigo дала +6,1% верных следующих заданий

Khan Academy запустила Khanmigo три года назад как генеративного ИИ-тьютора для учеников и ассистента для учителей. Организация продолжает улучшать качество обучения с его помощью. Тьютор видит задачу, которую решает ученик, но без дополнительных данных не знает, как тот справлялся с упражнением, какой уровень навыка показал и где застревал. Второй вопрос — задержка ответа: по оценке Khan Academy, быстрые ответы удерживают внимание ученика и делают общение с тьютором похожим на естественный разговор, а также важны для стоимости работы в масштабе.

Khan Academy отслеживала три основные метрики: задержку ответа, правильность следующего задания (решил ли ученик следующую задачу на тот же навык в той же сессии без помощи Khanmigo) и качество когнитивной вовлечённости, которое оценивается автоматически. В тестах также контролировались выдача готового ответа, доля математических ошибок и число реплик в диалоге. За корректность математики отвечает специализированный «математический агент», который в реальном времени проверяет вычисления и выражения. В модель тьютора стали передавать данные из учебной истории ученика: недавние попытки, уровень навыков и прогресс по пререквизитам.

С октября 2025 по апрель 2026 года организация провела около 20 продуктовых тестов на платформе A/B-тестирования, охватив более 15 млн диалогов с тьютором. Изменение внедряется, если вероятность выигрыша выше 0,95 и контрольные метрики не ухудшаются. Сводка недавних решений ученика дала +3,4% к правильности следующего задания на 608 тыс. диалогов, повторение пререквизитов — +2,7% на 1,36 млн диалогов, в сумме 6,1%. Краткие ответы математического агента сократили среднее время ответа на три секунды, переход на более быструю модель — на 0,3 секунды; точность математики сохранилась.