Microsoft Azure: система Narya с ИИ сократила прерывания ВМ на 26%

Microsoft Azure эксплуатирует парк серверов, на которых работают виртуальные машины клиентов. Отказ оборудования приводит к прерыванию этих машин. Раньше компания использовала машинное обучение для прогноза отказов, а действие по смягчению выбирала статически: блокировала новые размещения на узле, мигрировала виртуальные машины, ждала несколько дней и выводила узел из эксплуатации. Для тяжёлых отказов, например повреждения дисков, ожидание в несколько дней было слишком долгим, а при ложных прогнозах принудительная миграция создавала лишние неудобства клиентам. Задача состояла в том, чтобы выбирать реакцию на прогноз гибко и измерять влияние каждого действия на клиентов.

Project Narya — сквозной сервис прогноза и смягчения отказов хостов. На первом этапе он использует телеметрию парка и сочетает несколько десятков экспертных правил с моделью машинного обучения, которая анализирует больше сигналов за больший период и позволяет предсказывать отказы раньше. На втором этапе Narya выбирает из набора действий (пометка узла как недоступного для размещений, живая миграция, программная перезагрузка ядра с сохранением памяти, снижение приоритета размещений) лучшее для данного сценария. Выбор делает онлайн-фреймворк A/B-тестирования, который сравнивает действия с контрольной группой без вмешательства, или фреймворк обучения с подкреплением. На третьем этапе система измеряет влияние на клиентов и дообучает правила и модели.

Narya опирается на платформу Resource Central — общую систему машинного обучения и выдачи прогнозов, развёрнутую во всех вычислительных кластерах Azure по всему миру. В публикации от 11 марта 2021 года компания сообщает, что Narya работает в промышленной эксплуатации более года и в среднем сократила прерывания виртуальных машин на 26%. В качестве примера описан случай, когда система предсказала отказ узла из-за проблем с диском, пометила его недоступным для размещений и запустила живую миграцию: девять виртуальных машин были перенесены успешно, повторных перезагрузок не было. Среди планов компании — больше сценариев прогноза, новые действия по смягчению и учёт типа рабочих нагрузок на узле при выборе действия.