Яндекс: Антиробот на CatBoost отразил 989 DDoS-атак уровня L7 за 2023 год

Яндекс защищает свои сервисы от DDoS-атак уровня L7, цель которых — вывести из строя приложение или сайт HTTP-запросами. По статистике компании, за 2023 год каждый второй сервис Яндекса хотя бы раз подвергался DDoS-атакам. Атаки стали регулярными: в 2022 году их было 761, в 2023 году — 989, в среднем две-три в день. Атакующие постоянно меняют инструменты, переходят с нерезидентских IP-адресов на резидентские, и эвристические правила быстро устаревают. Команде нужна защита, которая не задевает легитимный трафик людей и при этом отбивает атаки целиком.

Антиробот — внутренний сервис, который в онлайн-режиме анализирует запросы к сервисам Яндекса и определяет, поступил запрос от человека или от робота. Балансировщик L7 отправляет каждый запрос в Антиробот и получает ответ: пропустить, показать капчу или заблокировать с ошибкой 403. Сервис состоит из быстрой и умной частей. Быстрая запускает лёгкий CatBoost на каждом запросе с ограниченным числом деревьев и глубиной. Умная использует десятки тысяч факторов, агрегации по времени и IP-адресам, более глубокий CatBoost и заносит выявленные вредоносные сущности в robotset, который учитывает быстрая часть.

Антиробот начали делать более 10 лет назад для защиты Поиска Яндекса, затем он вырос в highload-сервис, который должен выдерживать нагрузку всех сервисов Яндекса и дополнительные десятки миллионов RPS во время атак. Цикл внедрения моделей такой: сервис логирует запросы и формирует факторные пространства, аналитики строят пайплайны разметки и обучают CatBoost для работы в реальном времени. При обучении точность фиксируют на уровне выше 0,999 и наращивают полноту новыми факторами. Дежурный аналитик ежедневно разбирает атаки и добавляет данные в обучающую выборку. На март 2024 года отражена 231 атака, средняя мощность — 223 000 RPS.