ViMRHP : Un ensemble de données de référence vietnamien pour la prédiction de l'utilité des avis multimodaux via une annotation collaborative humain-IA

ViMRHP: A Vietnamese Benchmark Dataset for Multimodal Review Helpfulness Prediction via Human-AI Collaborative Annotation

May 12, 2025

Auteurs: Truc Mai-Thanh Nguyen, Dat Minh Nguyen, Son T. Luu, Kiet Van Nguyen

cs.AI

Résumé

La prédiction de l'utilité des avis multimodaux (Multimodal Review Helpfulness Prediction, MRHP) est une tâche essentielle dans les systèmes de recommandation, en particulier sur les plateformes de commerce électronique. Déterminer l'utilité des avis générés par les utilisateurs améliore l'expérience utilisateur et facilite la prise de décision des consommateurs. Cependant, les ensembles de données existants se concentrent principalement sur l'anglais et l'indonésien, ce qui entraîne un manque de diversité linguistique, notamment pour les langues à ressources limitées comme le vietnamien. Dans cet article, nous présentons ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), un ensemble de données de référence à grande échelle pour la tâche de MRHP en vietnamien. Cet ensemble de données couvre quatre domaines, incluant 2 000 produits et 46 000 avis. Par ailleurs, la création d'un ensemble de données à grande échelle nécessite un temps et des coûts considérables. Pour optimiser le processus d'annotation, nous utilisons l'intelligence artificielle (IA) pour assister les annotateurs dans la construction de l'ensemble de données ViMRHP. Avec l'assistance de l'IA, le temps d'annotation est réduit (de 90 à 120 secondes par tâche à 20 à 40 secondes par tâche) tout en maintenant la qualité des données et en réduisant les coûts globaux d'environ 65 %. Cependant, les annotations générées par l'IA présentent encore des limites dans les tâches d'annotation complexes, que nous examinons plus en détail à travers une analyse de performance approfondie. Dans notre expérience sur ViMRHP, nous évaluons les modèles de base sur des annotations vérifiées par des humains et générées par l'IA pour mesurer les différences de qualité. L'ensemble de données ViMRHP est disponible publiquement à l'adresse suivante : https://github.com/trng28/ViMRHP.

English

Multimodal Review Helpfulness Prediction (MRHP) is an essential task in recommender systems, particularly in E-commerce platforms. Determining the helpfulness of user-generated reviews enhances user experience and improves consumer decision-making. However, existing datasets focus predominantly on English and Indonesian, resulting in a lack of linguistic diversity, especially for low-resource languages such as Vietnamese. In this paper, we introduce ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), a large-scale benchmark dataset for MRHP task in Vietnamese. This dataset covers four domains, including 2K products with 46K reviews. Meanwhile, a large-scale dataset requires considerable time and cost. To optimize the annotation process, we leverage AI to assist annotators in constructing the ViMRHP dataset. With AI assistance, annotation time is reduced (90 to 120 seconds per task down to 20 to 40 seconds per task) while maintaining data quality and lowering overall costs by approximately 65%. However, AI-generated annotations still have limitations in complex annotation tasks, which we further examine through a detailed performance analysis. In our experiment on ViMRHP, we evaluate baseline models on human-verified and AI-generated annotations to assess their quality differences. The ViMRHP dataset is publicly available at https://github.com/trng28/ViMRHP