Softdocs: ИИ-ассистенты пишут 43% новых строк кода

Softdocs — SaaS-компания среднего размера, которая разрабатывает платформу управления документами и автоматизации процессов для вузов, школьных округов и госорганов. Руководство инженерного департамента поставило задачу измерить реальное влияние генеративного ИИ на разработку вместо опоры на отраслевые заявления. Вместе с руководством компании и советом директоров на год были утверждены цели: рост скорости команд (velocity) по всему департаменту на 33%, 10% активной кодовой базы, сгенерированной ИИ, и 30 рабочих дней, сэкономленных с помощью ИИ.

Инженеры Softdocs работают в Visual Studio с GitHub Copilot, кодовая база написана в основном на Angular и C#. В марте 2025 года инженерам стала доступна модель Claude; после этого число предложений кода выросло более чем вдвое, а доля принятых строк у моделей GPT и Claude Sonnet почти не различалась. Единицей измерения компания выбрала строки кода. Метрики собираются через API Copilot и Azure DevOps, хранятся в базе данных и агрегируются еженедельно: предложенные и принятые строки, доля принятых предложений, доля строк от ИИ среди всего нового кода, время на строку кода и сэкономленные рабочие дни.

Данные за первые месяцы 2025 года компания опубликовала в сентябре 2025 года. Доля строк, сгенерированных ИИ, среди нового кода выросла с 22% в феврале до 43% в мае. Доля принятых инженерами предложений при этом снизилась с 21% до 13%, хотя число принятых строк почти удвоилось с февраля. Скорость команд выросла с базовых 107 до 182 пунктов на команду в месяц в мае. Цель по доле ИИ во всей кодовой базе компания при текущем темпе считает недостижимой: в апреле рефакторинг сократил репозитории почти на 200 000 строк, а в старом коде инженеры находили предложения менее полезными. Отдельно Softdocs провела с облачным провайдером Build Week и за четыре дня собрала прототип продукта на генеративном ИИ.