ViMRHP: Een Vietnamese benchmarkdataset voor multimodale voorspelling van reviewnuttigheid via mens-AI-samenwerking bij annotatie

ViMRHP: A Vietnamese Benchmark Dataset for Multimodal Review Helpfulness Prediction via Human-AI Collaborative Annotation

May 12, 2025

Auteurs: Truc Mai-Thanh Nguyen, Dat Minh Nguyen, Son T. Luu, Kiet Van Nguyen

cs.AI

Samenvatting

Multimodale Review Helpfulness Prediction (MRHP) is een essentiële taak in aanbevelingssystemen, met name op e-commerceplatforms. Het bepalen van de nuttigheid van door gebruikers gegenereerde reviews verbetert de gebruikerservaring en ondersteunt consumenten bij het nemen van beslissingen. Bestaande datasets richten zich echter voornamelijk op Engels en Indonesisch, wat resulteert in een gebrek aan linguïstische diversiteit, vooral voor talen met beperkte bronnen zoals Vietnamees. In dit artikel introduceren we ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), een grootschalige benchmarkdataset voor de MRHP-taak in het Vietnamees. Deze dataset beslaat vier domeinen, met 2K producten en 46K reviews. Het opbouwen van een grootschalige dataset vereist echter aanzienlijke tijd en kosten. Om het annotatieproces te optimaliseren, maken we gebruik van AI om annotatoren te ondersteunen bij het samenstellen van de ViMRHP-dataset. Met AI-ondersteuning wordt de annotatietijd verkort (van 90 tot 120 seconden per taak naar 20 tot 40 seconden per taak) terwijl de data kwaliteit behouden blijft en de totale kosten met ongeveer 65% worden verlaagd. AI-gegenereerde annotaties hebben echter nog steeds beperkingen bij complexe annotatietaken, wat we verder onderzoeken via een gedetailleerde prestatieanalyse. In ons experiment met ViMRHP evalueren we baseline-modellen op door mensen geverifieerde en AI-gegenereerde annotaties om de kwaliteitsverschillen te beoordelen. De ViMRHP-dataset is publiekelijk beschikbaar op https://github.com/trng28/ViMRHP.

English

Multimodal Review Helpfulness Prediction (MRHP) is an essential task in recommender systems, particularly in E-commerce platforms. Determining the helpfulness of user-generated reviews enhances user experience and improves consumer decision-making. However, existing datasets focus predominantly on English and Indonesian, resulting in a lack of linguistic diversity, especially for low-resource languages such as Vietnamese. In this paper, we introduce ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), a large-scale benchmark dataset for MRHP task in Vietnamese. This dataset covers four domains, including 2K products with 46K reviews. Meanwhile, a large-scale dataset requires considerable time and cost. To optimize the annotation process, we leverage AI to assist annotators in constructing the ViMRHP dataset. With AI assistance, annotation time is reduced (90 to 120 seconds per task down to 20 to 40 seconds per task) while maintaining data quality and lowering overall costs by approximately 65%. However, AI-generated annotations still have limitations in complex annotation tasks, which we further examine through a detailed performance analysis. In our experiment on ViMRHP, we evaluate baseline models on human-verified and AI-generated annotations to assess their quality differences. The ViMRHP dataset is publicly available at https://github.com/trng28/ViMRHP