Авито: пайплайн с локальной LLM переводит витрины Vertica в Trino за 30–60 минут

Авито переходит с базы данных Vertica на Trino, и команде BI-разработчиков коммерческого департамента нужно было перевести около 65 витрин данных из одного диалекта SQL в другой. Витрина состоит из управляющего заголовка, множества временных таблиц и преобразований, а объём кода достигает от 500 до 4000 строк. Готовых инструментов в открытом доступе команда не нашла, SQL Glot и регулярные выражения рассматривала, ручной перевод оценила как долгий, дорогой и нестабильный. Облачные LLM требуют передавать бизнес-логику и схемы таблиц наружу и упираются в лимиты, поэтому выбрали локальную модель, при которой данные остаются в контуре компании.

Команда построила модульный пайплайн с оркестратором, который ведёт metadata.json с состоянием каждой части. SQL делится на части, каждую переводит модуль DSPy на локальной модели Gemma 4 31b qat. Затем работают проверка запрещённых Vertica-паттернов регулярными выражениями, платформенные автотесты Авито по API, запуск SQL в Trino с циклом исправлений, где модель использует инструменты, и сверка данных с эталонной витриной из Vertica. Промпт и few-shot примеры подбирает DSPy на golden dataset изолированных паттернов по составной proxy-метрике с LLM-судьёй. Неуспешные витрины уходят на ревью, итоговое решение принимает человек. Прогресс виден на дашборде на Streamlit.

Команда сравнила GLM 4.7 flash, несколько моделей Qwen, Devstral small, Gemma 4 и другие. Qwen Coder Next и Devstral small хорошо переводили, но плохо работали на стадии тестирования и ремонта, qwen 3.6 27b dense добавляла синтаксис Postgres. Режим reasoning заметного прироста не дал, при этом время обучения и перевода выросло в 8 раз. Выбрали Gemma 4 31b qat. Попытка сделать агента на Kilo Code со скиллом не сработала из-за объёма удерживаемого контекста. По внутренней proxy-метрике DSPy поднял качество примерно с 81% до 90%. К моменту публикации статьи 31 августа 2026 года переведено 15 витрин, перевод одной занимает 30–60 минут вместо 3–5 часов. Проверку и ответственность за результат сохраняет инженер.