ViMRHP: Un Dataset di Riferimento Vietnamita per la Previsione dell'Utilità delle Recensioni Multimodali tramite Annotazione Collaborativa Uomo-IA
ViMRHP: A Vietnamese Benchmark Dataset for Multimodal Review Helpfulness Prediction via Human-AI Collaborative Annotation
May 12, 2025
Autori: Truc Mai-Thanh Nguyen, Dat Minh Nguyen, Son T. Luu, Kiet Van Nguyen
cs.AI
Abstract
La Predizione dell'Utilità delle Recensioni Multimodali (Multimodal Review Helpfulness Prediction, MRHP) è un compito fondamentale nei sistemi di raccomandazione, in particolare nelle piattaforme di e-commerce. Determinare l'utilità delle recensioni generate dagli utenti migliora l'esperienza dell'utente e facilita il processo decisionale dei consumatori. Tuttavia, i dataset esistenti si concentrano principalmente sull'inglese e sull'indonesiano, risultando in una scarsa diversità linguistica, specialmente per lingue a bassa risorsa come il vietnamita. In questo articolo, introduciamo ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), un dataset di riferimento su larga scala per il compito di MRHP in vietnamita. Questo dataset copre quattro domini, includendo 2K prodotti con 46K recensioni. Nel frattempo, un dataset su larga scala richiede un tempo e un costo considerevoli. Per ottimizzare il processo di annotazione, sfruttiamo l'IA per assistere gli annotatori nella costruzione del dataset ViMRHP. Con l'assistenza dell'IA, il tempo di annotazione viene ridotto (da 90-120 secondi per task a 20-40 secondi per task) mantenendo la qualità dei dati e abbassando i costi complessivi di circa il 65%. Tuttavia, le annotazioni generate dall'IA presentano ancora limitazioni nei compiti di annotazione complessi, che esaminiamo ulteriormente attraverso un'analisi dettagliata delle prestazioni. Nel nostro esperimento su ViMRHP, valutiamo i modelli di base su annotazioni verificate da esseri umani e generate dall'IA per valutarne le differenze di qualità. Il dataset ViMRHP è disponibile pubblicamente all'indirizzo https://github.com/trng28/ViMRHP.
English
Multimodal Review Helpfulness Prediction (MRHP) is an essential task in
recommender systems, particularly in E-commerce platforms. Determining the
helpfulness of user-generated reviews enhances user experience and improves
consumer decision-making. However, existing datasets focus predominantly on
English and Indonesian, resulting in a lack of linguistic diversity, especially
for low-resource languages such as Vietnamese. In this paper, we introduce
ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), a large-scale
benchmark dataset for MRHP task in Vietnamese. This dataset covers four
domains, including 2K products with 46K reviews. Meanwhile, a large-scale
dataset requires considerable time and cost. To optimize the annotation
process, we leverage AI to assist annotators in constructing the ViMRHP
dataset. With AI assistance, annotation time is reduced (90 to 120 seconds per
task down to 20 to 40 seconds per task) while maintaining data quality and
lowering overall costs by approximately 65%. However, AI-generated annotations
still have limitations in complex annotation tasks, which we further examine
through a detailed performance analysis. In our experiment on ViMRHP, we
evaluate baseline models on human-verified and AI-generated annotations to
assess their quality differences. The ViMRHP dataset is publicly available at
https://github.com/trng28/ViMRHP