Архив Металлургия и горная добыча · Чёрная металлургия и трубы
НЛМК: прототип ИИ классифицирует обращения в ИТ-поддержку, точность до 85%
По данным НЛМК, прототип ИИ-сервиса классификации в период тестирования обработал 61% обращений в ИТ-поддержку; точность классификации составила до 85%. Остальные обращения шли на ручную проверку.
/01 · ключевые результаты
-
результат пилота
до 85%
точность классификации обращений
НЛМК ИТ (Хабр), блог компании, 25.06.2024
период тестирования прототипа · прототип AI-ICS, обращения в ИТ-поддержку НЛМК
данные компании
-
масштаб
61%
доля обращений, классифицированных ИИ при пороге уверенности 0,8
НЛМК ИТ (Хабр), блог компании, 25.06.2024
период тестирования прототипа · прототип AI-ICS, обращения в ИТ-поддержку НЛМК
данные компании
- 84% доля верно классифицированных среди обработанных ИИ обращений · возможность системы НЛМК ИТ (Хабр), блог компании, 25.06.2024
- 51,24% общий охват обращений сервисом · масштаб НЛМК ИТ (Хабр), блог компании, 25.06.2024
- 75% средняя доля верно классифицированных обращений в контактном центре за день · исходный уровень НЛМК ИТ (Хабр), блог компании, 25.06.2024
- до 80% ожидаемая доля электронных обращений, обработанных ИИ без ручной маршрутизации · прогноз компании НЛМК ИТ (Хабр), блог компании, 25.06.2024
оценка strategai
Оценку не приводим: компания не называет денежный эффект, время обработки и объём обращений в числах; эффект описан качественно.
По данным НЛМК, прототип ИИ-сервиса классификации в период тестирования обработал 61% обращений в ИТ-поддержку; точность классификации составила до 85%. Остальные обращения шли на ручную проверку.
/02 · паспорт кейса
Бизнес
- Компания
- НЛМК
- Отрасль
- Металлургия и горная добыча · Чёрная металлургия и трубы
- Функция
- ИТ, разработка ПО и кибербезопасность
- Задача
- AIOps и ИТ-сервис-деск
Технология
- Класс AI
- Классический NLP и речевые технологии
- Тип решения
- Гибридное решение: Аксеникс
- Данные
- Почти миллион обращений в ИТ-поддержку за два года: текст обращения и данные об отправившем сотруднике.
Внедрение
- Стадия
- Пилот / PoC, на 25.06.2024
- География
- Россия
/03 · описание кейса
Зачем
Бизнес-задача
В НЛМК ежемесячно поступает несколько десятков тысяч обращений в ИТ-поддержку через почту, телефон, портал самообслуживания и другие каналы. Обращения сначала вручную классифицируют операторы контактного центра, после чего передают на вторую линию. Компания называет ограничения такого подхода: высокую нагрузку на операторов, ручную маршрутизацию, скорость обработки, ошибки и человеческий фактор. Цели проекта: автоматизировать первичную классификацию и маршрутизацию обращений, поступающих по почте (более половины всех запросов), сократить время реакции, проверить гипотезу об интерактивном уточнении обращений с помощью LLM и снизить операционные затраты на ручной труд.
Что
Решение
Сервис Incident Classification System (в публикации AI‑ICS) анализирует текст обращения и данные об отправившем его сотруднике и определяет услугу, категорию, тип запроса и целевую группу. Классификатор построен на многоязычной трансформерной модели LaBSE; перед выбором её сравнили с GPT2, BERT и другими моделями. Модель возвращает значения атрибутов вместе с оценкой уверенности. При высокой уверенности обращение уходит прямо в нужный отдел, при низкой или по специальным правилам, например для пользователей группы Special, направляется на ручную проверку. Сервис упакован в Docker-контейнер и связан с ITSM-системой через API.
Как
Внедрение
Проект выполнен НЛМК вместе с ИТ-вендором Аксеникс; автор публикации возглавляет Лабораторию генеративного ИИ. Обучающая выборка включала почти миллион обращений за два года; около 79% из них подошли для обучения «как есть», остальные длиннее 500 символов потребовали суммирования. В работе использованы PyTorch, MLflow и другие инструменты, предусмотрены дообучение на новых данных, отчётность и администрирование параметров. В период тестирования прототипа 61% обращений классифицировал ИИ при пороге уверенности 0,8, остальные 39% ушли на ручную проверку. В развитии системы компания называет автоответы на стандартные запросы, уточняющие вопросы пользователям и модели LLAMA 3 и Mixtral.
/04 · источники и проверка
Что подтверждено
- По данным НЛМК, в период тестирования прототипа ИИ-сервиса 61% обращений классифицировал ИИ при пороге уверенности 0,8, а 39% направлены на ручную проверку.
- Из обработанных ИИ обращений 84% классифицированы верно по услуге, категории, типу и группе; общий охват сервиса составил 51,24%.
- Компания сообщает о повышении точности классификации до 85%; средняя доля верно классифицированных обращений в контактном центре за день составляет 75%.
- Компания ожидает, что до 80% электронных обращений будут обрабатываться ИИ без ручной маршрутизации.
Ограничения
- Все цифры получены на прототипе в период тестирования; даты и длительность теста, а также доля охваченных каналов обращений в источнике не указаны.
- Источник не называет базу сравнения для 85%; 75% относится к классификации операторами контактного центра, и из текста не видно, одинаковы ли выборки и метрики.
- Снижение времени и затрат на обработку компания описывает словами; сокращение часов, числа операторов или расходов в цифрах не приводится.
- 80% — ожидание компании на июнь 2024 года; измеренное значение источник не приводит.
-
[1] НЛМК ИТ (Хабр)
Маршрутизация обращений: автоматизация в ИТ-поддержке с помощью ИИ и языковых моделей
компания · 25.06.2024
Открыть источник
АрхИИВ /strategai · CB-001398 · Версия 1 · 19.10.2026 · /c/CB-001398/