ViMRHP: Un conjunto de datos de referencia en vietnamita para la predicción multimodal de la utilidad de reseñas mediante anotación colaborativa humano-IA
ViMRHP: A Vietnamese Benchmark Dataset for Multimodal Review Helpfulness Prediction via Human-AI Collaborative Annotation
May 12, 2025
Autores: Truc Mai-Thanh Nguyen, Dat Minh Nguyen, Son T. Luu, Kiet Van Nguyen
cs.AI
Resumen
La Predicción de Utilidad de Reseñas Multimodales (MRHP, por sus siglas en inglés) es una tarea esencial en los sistemas de recomendación, particularmente en plataformas de comercio electrónico. Determinar la utilidad de las reseñas generadas por los usuarios mejora la experiencia del usuario y optimiza la toma de decisiones de los consumidores. Sin embargo, los conjuntos de datos existentes se centran predominantemente en inglés e indonesio, lo que resulta en una falta de diversidad lingüística, especialmente para idiomas de bajos recursos como el vietnamita. En este artículo, presentamos ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), un conjunto de datos de referencia a gran escala para la tarea de MRHP en vietnamita. Este conjunto de datos abarca cuatro dominios, incluyendo 2K productos con 46K reseñas. Mientras tanto, un conjunto de datos a gran escala requiere un tiempo y un costo considerables. Para optimizar el proceso de anotación, aprovechamos la IA para asistir a los anotadores en la construcción del conjunto de datos ViMRHP. Con la asistencia de la IA, el tiempo de anotación se reduce (de 90 a 120 segundos por tarea a 20 a 40 segundos por tarea) mientras se mantiene la calidad de los datos y se reduce el costo total en aproximadamente un 65%. Sin embargo, las anotaciones generadas por IA aún tienen limitaciones en tareas de anotación complejas, las cuales examinamos más a fondo mediante un análisis detallado de rendimiento. En nuestro experimento con ViMRHP, evaluamos modelos de referencia en anotaciones verificadas por humanos y generadas por IA para comparar sus diferencias de calidad. El conjunto de datos ViMRHP está disponible públicamente en https://github.com/trng28/ViMRHP.
English
Multimodal Review Helpfulness Prediction (MRHP) is an essential task in
recommender systems, particularly in E-commerce platforms. Determining the
helpfulness of user-generated reviews enhances user experience and improves
consumer decision-making. However, existing datasets focus predominantly on
English and Indonesian, resulting in a lack of linguistic diversity, especially
for low-resource languages such as Vietnamese. In this paper, we introduce
ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), a large-scale
benchmark dataset for MRHP task in Vietnamese. This dataset covers four
domains, including 2K products with 46K reviews. Meanwhile, a large-scale
dataset requires considerable time and cost. To optimize the annotation
process, we leverage AI to assist annotators in constructing the ViMRHP
dataset. With AI assistance, annotation time is reduced (90 to 120 seconds per
task down to 20 to 40 seconds per task) while maintaining data quality and
lowering overall costs by approximately 65%. However, AI-generated annotations
still have limitations in complex annotation tasks, which we further examine
through a detailed performance analysis. In our experiment on ViMRHP, we
evaluate baseline models on human-verified and AI-generated annotations to
assess their quality differences. The ViMRHP dataset is publicly available at
https://github.com/trng28/ViMRHP