Slovak University of Technology: LLM дали до 97% верных ответов в теории вина

Языковые модели всё шире используют в разных странах, и пользователи ждут от них согласованных ответов на любом языке. Исследователи Slovak University of Technology (Братислава), sommify (Хельсинки) и University of Southern Denmark поставили вопрос: хватает ли моделям текстовых описаний вкуса и аромата, чтобы воспроизвести экспертное суждение сомелье, и одинаково ли они отвечают на разных языках. Для этого понадобился отраслевой тест, которого среди существующих культурных бенчмарков не было: те проверяют общую культурную грамотность, а тема еды и напитков почти не изучена.

Авторы создали SommBench — многоязычный бенчмарк на английском, словацком, шведском, финском, немецком, датском, итальянском и испанском языках. Он включает три задачи: ответы на вопросы по теории вина с четырьмя вариантами (WTQA), дополнение пропущенных характеристик вина в структурированном JSON-формате (WFC) и оценку сочетания вина с блюдом (FWP). Вопросы составил мастер-сомелье, пары «блюдо — вино» подобрал и проверил профессиональный сомелье, переводы выполнила GPT-4.1 с ручной проверкой носителями языков. Данные для WFC собраны с сайтов крупных ритейлеров и дистрибьюторов. Итоговый балл SommBench объединяет результаты трёх задач.

Команда протестировала 18 языковых моделей, закрытых (gpt-5, семейства gpt-4.1 и gpt-4o, gemini-2.5, grok-4) и открытых (gpt-oss, qwen3, gemma3, llama3.1), в режиме zero-shot при температуре 0; открытые модели запускались на 8 GPU A100. В теории вина лучшие модели дали до 97% верных ответов, в дополнении характеристик — до 65%. В подборе вина к блюдам лучший MCC составил 0,39, у части моделей — около нуля. GPT-4o-mini ошибочно одобрила 82% неудачных пар. Работа опубликована на arXiv 12 марта 2026 года; исследование поддержано грантом VEGA 1/0300/25.