ViMRHP: Вьетнамский эталонный набор данных для многомодального прогнозирования полезности отзывов с использованием совместной аннотации человеком и ИИ
ViMRHP: A Vietnamese Benchmark Dataset for Multimodal Review Helpfulness Prediction via Human-AI Collaborative Annotation
May 12, 2025
Авторы: Truc Mai-Thanh Nguyen, Dat Minh Nguyen, Son T. Luu, Kiet Van Nguyen
cs.AI
Аннотация
Прогнозирование полезности мультимодальных отзывов (Multimodal Review Helpfulness Prediction, MRHP) является важной задачей в рекомендательных системах, особенно на платформах электронной коммерции. Определение полезности пользовательских отзывов улучшает опыт пользователей и способствует принятию более обоснованных решений потребителями. Однако существующие наборы данных в основном сосредоточены на английском и индонезийском языках, что приводит к недостатку лингвистического разнообразия, особенно для малоресурсных языков, таких как вьетнамский. В данной статье мы представляем ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), крупномасштабный эталонный набор данных для задачи MRHP на вьетнамском языке. Этот набор данных охватывает четыре домена, включая 2 тыс. товаров с 46 тыс. отзывов. При этом создание крупномасштабного набора данных требует значительных временных и финансовых затрат. Для оптимизации процесса аннотирования мы используем искусственный интеллект (ИИ) для помощи аннотаторам в создании набора данных ViMRHP. С помощью ИИ время аннотирования сокращается (с 90–120 секунд до 20–40 секунд на задачу) при сохранении качества данных и снижении общих затрат примерно на 65%. Однако аннотации, созданные ИИ, все еще имеют ограничения в сложных задачах аннотирования, что мы дополнительно исследуем с помощью детального анализа производительности. В нашем эксперименте на ViMRHP мы оцениваем базовые модели на аннотациях, проверенных людьми и созданных ИИ, чтобы определить различия в их качестве. Набор данных ViMRHP доступен публично по адресу https://github.com/trng28/ViMRHP.
English
Multimodal Review Helpfulness Prediction (MRHP) is an essential task in
recommender systems, particularly in E-commerce platforms. Determining the
helpfulness of user-generated reviews enhances user experience and improves
consumer decision-making. However, existing datasets focus predominantly on
English and Indonesian, resulting in a lack of linguistic diversity, especially
for low-resource languages such as Vietnamese. In this paper, we introduce
ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), a large-scale
benchmark dataset for MRHP task in Vietnamese. This dataset covers four
domains, including 2K products with 46K reviews. Meanwhile, a large-scale
dataset requires considerable time and cost. To optimize the annotation
process, we leverage AI to assist annotators in constructing the ViMRHP
dataset. With AI assistance, annotation time is reduced (90 to 120 seconds per
task down to 20 to 40 seconds per task) while maintaining data quality and
lowering overall costs by approximately 65%. However, AI-generated annotations
still have limitations in complex annotation tasks, which we further examine
through a detailed performance analysis. In our experiment on ViMRHP, we
evaluate baseline models on human-verified and AI-generated annotations to
assess their quality differences. The ViMRHP dataset is publicly available at
https://github.com/trng28/ViMRHP