ViMRHP: Ein vietnamesischer Benchmark-Datensatz für die multimodale Vorhersage der Nützlichkeit von Bewertungen durch kollaborative Annotation von Mensch und KI

ViMRHP: A Vietnamese Benchmark Dataset for Multimodal Review Helpfulness Prediction via Human-AI Collaborative Annotation

May 12, 2025

Autoren: Truc Mai-Thanh Nguyen, Dat Minh Nguyen, Son T. Luu, Kiet Van Nguyen

cs.AI

Zusammenfassung

Die Vorhersage der Nützlichkeit multimodaler Bewertungen (Multimodal Review Helpfulness Prediction, MRHP) ist eine wesentliche Aufgabe in Empfehlungssystemen, insbesondere auf E-Commerce-Plattformen. Die Bestimmung der Nützlichkeit von nutzergenerierten Bewertungen verbessert das Benutzererlebnis und erleichtert die Entscheidungsfindung der Verbraucher. Bisher konzentrieren sich vorhandene Datensätze jedoch hauptsächlich auf Englisch und Indonesisch, was zu einem Mangel an linguistischer Vielfalt führt, insbesondere für ressourcenarme Sprachen wie Vietnamesisch. In diesem Artikel stellen wir ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction) vor, einen groß angelegten Benchmark-Datensatz für die MRHP-Aufgabe in Vietnamesisch. Dieser Datensatz umfasst vier Domänen mit 2.000 Produkten und 46.000 Bewertungen. Die Erstellung eines groß angelegten Datensatzes erfordert jedoch erheblichen Zeit- und Kostenaufwand. Um den Annotationsprozess zu optimieren, nutzen wir KI, um Annotatoren bei der Erstellung des ViMRHP-Datensatzes zu unterstützen. Mit KI-Unterstützung wird die Annotationszeit reduziert (von 90 bis 120 Sekunden pro Aufgabe auf 20 bis 40 Sekunden pro Aufgabe), während die Datenqualität erhalten bleibt und die Gesamtkosten um etwa 65 % gesenkt werden. Dennoch weisen KI-generierte Annotationen bei komplexen Annotationsaufgaben noch Einschränkungen auf, die wir durch eine detaillierte Leistungsanalyse weiter untersuchen. In unserem Experiment zu ViMRHP bewerten wir Baseline-Modelle anhand von menschlich verifizierten und KI-generierten Annotationen, um deren Qualitätsunterschiede zu beurteilen. Der ViMRHP-Datensatz ist öffentlich verfügbar unter https://github.com/trng28/ViMRHP.

English

Multimodal Review Helpfulness Prediction (MRHP) is an essential task in recommender systems, particularly in E-commerce platforms. Determining the helpfulness of user-generated reviews enhances user experience and improves consumer decision-making. However, existing datasets focus predominantly on English and Indonesian, resulting in a lack of linguistic diversity, especially for low-resource languages such as Vietnamese. In this paper, we introduce ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), a large-scale benchmark dataset for MRHP task in Vietnamese. This dataset covers four domains, including 2K products with 46K reviews. Meanwhile, a large-scale dataset requires considerable time and cost. To optimize the annotation process, we leverage AI to assist annotators in constructing the ViMRHP dataset. With AI assistance, annotation time is reduced (90 to 120 seconds per task down to 20 to 40 seconds per task) while maintaining data quality and lowering overall costs by approximately 65%. However, AI-generated annotations still have limitations in complex annotation tasks, which we further examine through a detailed performance analysis. In our experiment on ViMRHP, we evaluate baseline models on human-verified and AI-generated annotations to assess their quality differences. The ViMRHP dataset is publicly available at https://github.com/trng28/ViMRHP