LY Corporation: Yahoo! Auctions, эффективность проверки с ИИ-пре-проверкой — примерно 50 раз

Yahoo! Auctions и Yahoo! Flea Market ведут патруль товаров, чтобы поддерживать безопасный для пользователей рынок. Работа состоит из двух частей: найти среди огромного потока новых объявлений товары, которые могут нарушать руководство, и решить, нарушает ли найденный товар правила. Для решения сотрудники изучают название, описание, изображения и категорию товара и сверяют их с более чем 300 критериями проверки. До внедрения ИИ кандидатов на нарушения искали по нескольким тысячам поисковых запросов, а найденные товары проверяли вручную. Результат сильно зависел от знаний и опыта сотрудников.

Первым этапом стал ИИ-фильтр на основе классификационной модели, обученной на прошлых результатах проверок. Модель оценивает вероятность нарушения по каждому товару, направляет на проверку товары с высокой вероятностью и подсказывает, какие аспекты нарушения проверить. Вторым этапом стала ИИ-пре-проверка: после классификатора большая языковая модель получает данные о товаре, руководство и критерии решения, определяет проблемные места, связанные критерии и причины и передаёт проверяющему черновик. Окончательное решение остаётся за человеком. Модели и промпты улучшает внутренний инструмент AutoLearning, созданный для модерации контента.

Компания применяет ИИ в патруле товаров Yahoo! Auctions и Yahoo! Flea Market несколько лет; разработчики платформы и сотрудники, которые работают с ней в операциях, улучшают решение вместе. Эффективность проверки компания измеряет долей проверенных товаров, по которым действительно приняты меры, такие как удаление, и выражает индексом, где период поисковых запросов равен 1. Для всех товаров под ИИ-фильтром индекс вырос примерно в 26 раз, в категориях с ИИ-пре-проверкой — примерно в 50 раз. Время людей на патруль сократилось заметно меньше, поэтому компания перестраивает процесс так, чтобы часть решений принимал только ИИ, а человек занимался пограничными случаями и качеством ИИ.