Microsoft Azure: система RESIN сократила перезагрузки ВМ почти в 100 раз

Облачная инфраструктура Azure включает сотни программных компонентов, которыми владеют разные команды. Утечки памяти снижают производительность компонентов, могут приводить к сбоям операционной системы и замедлять или останавливать соседние процессы на том же хосте. До RESIN обнаружение утечек было делом отдельных команд Azure. Классические статические и динамические методы, по оценке авторов, плохо подходят для облака: статический анализ ограничен по точности и масштабу, а динамический требует инструментирования и создаёт заметную нагрузку. Задача состояла в централизованном обнаружении, диагностике и устранении утечек без доступа к исходному коду компонентов.

RESIN — сквозной сервис обнаружения утечек памяти. Агенты мониторинга собирают телеметрию памяти на уровне хостов, а удалённый сервис агрегирует её по схеме «корзин» (bucketization-pivot). Обнаружение аномалий выполняется на временных рядах каждой корзины каждого компонента, затем второй уровень находит конкретный утекающий процесс и оценивает серьёзность. Для подозрительных случаев система снимает снимки кучи, сравнивает их с эталонными и формирует отчёт о первопричине для тикета. Мера устранения выбирается деревом решений на правилах: перезапуск процесса или службы, мягкая перезагрузка ядра после живой миграции ВМ, полная перезагрузка ОС в крайнем случае.

По словам Microsoft, RESIN работает в промышленной эксплуатации в Azure с конца 2018 года и ежедневно отслеживает миллионы хостов и сотни хост-процессов. Сервис опубликован в блоге Azure 8 апреля 2024 года и описан в статье на конференции OSDI’22. Компания приводит точность 85% и полноту 91% обнаружения утечек при растущем масштабе инфраструктуры. С сентября 2020 по декабрь 2023 года перезагрузки ВМ сократились почти в 100 раз, а ошибки выделения ВМ — более чем в 30 раз. С 2020 года, по данным компании, серьёзных сбоев из-за утечек памяти на хостах Azure не было.