MWS (МТС): анализ логов Partner Experience Platform — около 1000 записей в день

Команда технической поддержки стрима корпоративных продуктов MWS (МТС) сопровождает линейку Partner Experience Platform — платформу цифрового взаимодействия с партнёрами, которая состоит из десятков микросервисов. Логи этих систем занимают миллионы строк каждый день, и вручную, например в OpenSearch/Kibana, проанализировать их даже по одному продукту практически невозможно. Анализ на статических правилах ловил только заранее описанные ошибки и пропускал неожиданные. Между возникновением бага и его обнаружением проходило много времени, а проблемы часто выявлялись уже по входящим инцидентам. Команда решила автоматически выявлять в логах события, не свойственные нормальной работе системы.

Система состоит из четырёх микросервисов: Detector, Retrain-clusterer, DB-cleaner и Stats-exporter. Detector регулярно забирает новые логи из OpenSearch, векторизует их моделью bge-m3 (через платформу MWS GPT), кластеризует векторы моделью HDBSCAN и выгружает результаты в векторную базу Qdrant. Записи вне кластеров нормального поведения считаются аномалиями. Модели HDBSCAN для каждого микросервиса хранятся в S3 и регулярно переобучаются, лишние записи удаляются из Qdrant. Для ручного анализа добавлены фильтры, пороги срабатывания, график динамики аномалий в Grafana и отдельный OpenSearch Dashboard.

Систему разработала междисциплинарная команда поддержки: руководитель команды отвечал за архитектуру и Python-разработку, data scientist — за реализацию микросервисов, DevOps-инженер — за CI/CD; к внедрению привлекали инженеров поддержки продуктов. Команда написала код и затем 3–4 месяца внедряла, анализировала и оптимизировала компоненты, балансируя скорость работы, точность определения аномалий и потребляемые ресурсы. Главными сложностями названы рост базы Qdrant и моделей HDBSCAN по мере подключения микросервисов, а также паттерны в логах, создающие шум при кластеризации. По итогам авторы пишут, что сервис соответствует требованиям, а инженеры рассматривают примерно 1000 аномальных записей в день вместо миллионов строк.