ViMRHP: Um Conjunto de Dados de Referência Vietnamita para Previsão de Utilidade de Avaliações Multimodais por meio de Anotação Colaborativa Humano-IA
ViMRHP: A Vietnamese Benchmark Dataset for Multimodal Review Helpfulness Prediction via Human-AI Collaborative Annotation
May 12, 2025
Autores: Truc Mai-Thanh Nguyen, Dat Minh Nguyen, Son T. Luu, Kiet Van Nguyen
cs.AI
Resumo
A Previsão de Utilidade de Revisões Multimodais (MRHP, na sigla em inglês) é uma tarefa essencial em sistemas de recomendação, especialmente em plataformas de comércio eletrônico. Determinar a utilidade das revisões geradas pelos usuários melhora a experiência do usuário e aprimora a tomada de decisão do consumidor. No entanto, os conjuntos de dados existentes concentram-se predominantemente em inglês e indonésio, resultando em uma falta de diversidade linguística, especialmente para idiomas de baixo recurso, como o vietnamita. Neste artigo, apresentamos o ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), um conjunto de dados de referência em grande escala para a tarefa de MRHP em vietnamita. Este conjunto de dados abrange quatro domínios, incluindo 2 mil produtos com 46 mil revisões. Enquanto isso, um conjunto de dados em grande escala requer tempo e custo consideráveis. Para otimizar o processo de anotação, utilizamos a IA para auxiliar os anotadores na construção do conjunto de dados ViMRHP. Com a assistência da IA, o tempo de anotação é reduzido (de 90 a 120 segundos por tarefa para 20 a 40 segundos por tarefa), mantendo a qualidade dos dados e reduzindo os custos gerais em aproximadamente 65%. No entanto, as anotações geradas por IA ainda têm limitações em tarefas de anotação complexas, que examinamos mais detalhadamente por meio de uma análise de desempenho. Em nosso experimento no ViMRHP, avaliamos modelos de linha de base em anotações verificadas por humanos e geradas por IA para avaliar as diferenças de qualidade. O conjunto de dados ViMRHP está disponível publicamente em https://github.com/trng28/ViMRHP.
English
Multimodal Review Helpfulness Prediction (MRHP) is an essential task in
recommender systems, particularly in E-commerce platforms. Determining the
helpfulness of user-generated reviews enhances user experience and improves
consumer decision-making. However, existing datasets focus predominantly on
English and Indonesian, resulting in a lack of linguistic diversity, especially
for low-resource languages such as Vietnamese. In this paper, we introduce
ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), a large-scale
benchmark dataset for MRHP task in Vietnamese. This dataset covers four
domains, including 2K products with 46K reviews. Meanwhile, a large-scale
dataset requires considerable time and cost. To optimize the annotation
process, we leverage AI to assist annotators in constructing the ViMRHP
dataset. With AI assistance, annotation time is reduced (90 to 120 seconds per
task down to 20 to 40 seconds per task) while maintaining data quality and
lowering overall costs by approximately 65%. However, AI-generated annotations
still have limitations in complex annotation tasks, which we further examine
through a detailed performance analysis. In our experiment on ViMRHP, we
evaluate baseline models on human-verified and AI-generated annotations to
assess their quality differences. The ViMRHP dataset is publicly available at
https://github.com/trng28/ViMRHP