Meta: Llama ищет причину инцидентов в коде, точность 42% в тестах

Расследование инцидентов — необходимая часть надёжности систем и условие быстрого устранения проблем. В системах на монолитных репозиториях число накапливающихся изменений от многих команд растёт, и найти среди них первопричину сложно. Кроме того, ответственным нужно сначала собрать контекст: что сломано, какие системы затронуты и кого это касается. Meta поставила задачу сократить время расследования и помочь ответственным принимать более точные решения: система должна находить изменения кода, которые могут быть первопричиной конкретного расследования.

Система сочетает эвристический отбор и ранжирование с помощью большой языковой модели. Эвристический ретривер сокращает пространство поиска с тысяч изменений до нескольких сотен, используя, например, владение кодом и каталогами или обход графа выполнения затронутых систем. Затем ранжировщик на основе модели Llama сокращает список до пяти кандидатов: изменения подаются в запросах по 20, модель выбирает пять лучших, результаты агрегируются, и процедура повторяется, пока не останется пять изменений. Решение сопровождается обратной связью и объяснимостью результатов.

Модель Llama 2 (7B) дообучали на исторических расследованиях с известной первопричиной. Сначала провели продолженное предобучение на ограниченном наборе утверждённых внутренних вики, вопросов и ответов и кода. Затем выполнили контролируемое дообучение на смеси исходных данных Llama 2, внутреннего контекста и специального набора RCA примерно из 5000 примеров с 2–20 изменениями каждый. Позже добавили примеры ранжированных списков. Meta сообщает, что встроила ИИ-системы во внутренние инструменты и использует их для подключения инженеров к расследованиям и изоляции первопричин. Для отсечения ответов с низкой уверенностью применяются методы оценки уверенности: охват уступает место точности.