ViMRHP: 人間とAIの協調的アノテーションによるベトナム語のマルチモーダルレビュー有用性予測のためのベンチマークデータセット

ViMRHP: A Vietnamese Benchmark Dataset for Multimodal Review Helpfulness Prediction via Human-AI Collaborative Annotation

May 12, 2025

著者: Truc Mai-Thanh Nguyen, Dat Minh Nguyen, Son T. Luu, Kiet Van Nguyen

cs.AI

要旨

マルチモーダルレビュー有用性予測（MRHP）は、特にEコマースプラットフォームにおけるレコメンダーシステムの重要なタスクです。ユーザー生成レビューの有用性を判断することは、ユーザー体験を向上させ、消費者の意思決定を改善します。しかし、既存のデータセットは主に英語とインドネシア語に焦点を当てており、特にベトナム語のような低リソース言語における言語的多様性が不足しています。本論文では、ベトナム語におけるMRHPタスクのための大規模ベンチマークデータセットであるViMRHP（Vietnamese Multimodal Review Helpfulness Prediction）を紹介します。このデータセットは4つのドメインをカバーし、2,000の製品と46,000のレビューを含んでいます。一方で、大規模なデータセットの構築には相当な時間とコストがかかります。アノテーションプロセスを最適化するために、我々はAIを活用してアノテーターを支援し、ViMRHPデータセットを構築しました。AIの支援により、アノテーション時間が短縮され（タスクあたり90～120秒から20～40秒に減少）、データ品質を維持しつつ全体のコストを約65%削減しました。しかし、複雑なアノテーションタスクにおいては、AI生成のアノテーションにはまだ限界があり、詳細なパフォーマンス分析を通じてこれをさらに検証します。ViMRHPでの実験では、人間による検証済みアノテーションとAI生成アノテーションの品質の違いを評価するために、ベースラインモデルを評価しました。ViMRHPデータセットはhttps://github.com/trng28/ViMRHPで公開されています。

English

Multimodal Review Helpfulness Prediction (MRHP) is an essential task in recommender systems, particularly in E-commerce platforms. Determining the helpfulness of user-generated reviews enhances user experience and improves consumer decision-making. However, existing datasets focus predominantly on English and Indonesian, resulting in a lack of linguistic diversity, especially for low-resource languages such as Vietnamese. In this paper, we introduce ViMRHP (Vietnamese Multimodal Review Helpfulness Prediction), a large-scale benchmark dataset for MRHP task in Vietnamese. This dataset covers four domains, including 2K products with 46K reviews. Meanwhile, a large-scale dataset requires considerable time and cost. To optimize the annotation process, we leverage AI to assist annotators in constructing the ViMRHP dataset. With AI assistance, annotation time is reduced (90 to 120 seconds per task down to 20 to 40 seconds per task) while maintaining data quality and lowering overall costs by approximately 65%. However, AI-generated annotations still have limitations in complex annotation tasks, which we further examine through a detailed performance analysis. In our experiment on ViMRHP, we evaluate baseline models on human-verified and AI-generated annotations to assess their quality differences. The ViMRHP dataset is publicly available at https://github.com/trng28/ViMRHP