COIG-P : Un jeu de données chinois de grande échelle et de haute qualité pour l'alignement des préférences avec les valeurs humaines

COIG-P: A High-Quality and Large-Scale Chinese Preference Dataset for Alignment with Human Values

April 7, 2025

Auteurs: M-A-P Team, Siwei Wu, Jincheng Ren, Xinrun Du, Shuyue Guo, Xingwei Qu, Yiming Liang, Jie Liu, Yunwen Li, Tianyu Zheng, Boyu Feng, Huaqing Yuan, Zenith Wang, Jiaheng Liu, Wenhao Huang, Chenglin Cai, Haoran Que, Jian Yang, Yuelin Bai, Zekun Moore Wang, Zhouliang Yu, Qunshu Lin, Ding Pan, Yuchen Jiang, Tiannan Wang, Wangchunshu Zhou, Shenzhi Wang, Xingyuan Bu, Minghao Liu, Guoyin Wang, Ge Zhang, Chenghua Lin

cs.AI

Résumé

L'alignement des grands modèles de langage (LLM) avec les préférences humaines a connu un succès remarquable. Cependant, les ensembles de données existants sur les préférences chinoises sont limités par leur petite échelle, leur couverture de domaines restreinte et l'absence de validation rigoureuse des données. De plus, la dépendance à l'égard des annotateurs humains pour l'étiquetage des instructions et des réponses limite considérablement l'évolutivité des ensembles de données sur les préférences humaines. Pour relever ces défis, nous avons conçu un pipeline d'annotation d'ensemble de données sur les préférences chinoises basé sur des LLM, sans intervention humaine. Plus précisément, nous avons collecté et soigneusement filtré 92 000 requêtes chinoises de haute qualité, puis avons utilisé 15 LLM grand public pour générer et noter des paires de réponses choisies-rejetées. Sur cette base, nous introduisons COIG-P (Chinese Open Instruction Generalist - Preference), un ensemble de données sur les préférences chinoises de haute qualité et à grande échelle, comprenant 1 009 000 paires de préférences chinoises couvrant 6 domaines variés : Chat, Code, Mathématiques, Logique, Roman et Rôle. En nous appuyant sur COIG-P, afin de réduire la surcharge liée à l'utilisation des LLM pour la notation, nous avons entraîné un modèle de récompense chinois (CRM) de 8 milliards de paramètres et avons méticuleusement construit un benchmark de récompense chinois (CRBench). Les résultats d'évaluation basés sur AlignBench liu2024alignbenchbenchmarkingchinesealignment montrent que COIG-P surpasse significativement les autres ensembles de données sur les préférences chinoises, et qu'il apporte des améliorations de performance allant de 2 % à 12 % pour les séries de modèles Qwen2/2.5 et Infinity-Instruct-3M-0625, respectivement. Les résultats sur CRBench démontrent que notre CRM possède une capacité de notation robuste et fiable. Nous l'appliquons pour filtrer les paires de réponses choisies-rejetées dans un sous-ensemble de test de COIG-P, et nos expériences montrent qu'il est comparable à GPT-4o pour identifier les échantillons de faible qualité tout en maintenant l'efficacité et la rentabilité. Nos codes et données sont disponibles sur https://github.com/multimodal-art-projection/COIG-P.

English

Aligning large language models (LLMs) with human preferences has achieved remarkable success. However, existing Chinese preference datasets are limited by small scale, narrow domain coverage, and lack of rigorous data validation. Additionally, the reliance on human annotators for instruction and response labeling significantly constrains the scalability of human preference datasets. To address these challenges, we design an LLM-based Chinese preference dataset annotation pipeline with no human intervention. Specifically, we crawled and carefully filtered 92k high-quality Chinese queries and employed 15 mainstream LLMs to generate and score chosen-rejected response pairs. Based on it, we introduce COIG-P (Chinese Open Instruction Generalist - Preference), a high-quality, large-scale Chinese preference dataset, comprises 1,009k Chinese preference pairs spanning 6 diverse domains: Chat, Code, Math, Logic, Novel, and Role. Building upon COIG-P, to reduce the overhead of using LLMs for scoring, we trained a 8B-sized Chinese Reward Model (CRM) and meticulously constructed a Chinese Reward Benchmark (CRBench). Evaluation results based on AlignBench liu2024alignbenchbenchmarkingchinesealignment show that that COIG-P significantly outperforms other Chinese preference datasets, and it brings significant performance improvements ranging from 2% to 12% for the Qwen2/2.5 and Infinity-Instruct-3M-0625 model series, respectively. The results on CRBench demonstrate that our CRM has a strong and robust scoring ability. We apply it to filter chosen-rejected response pairs in a test split of COIG-P, and our experiments show that it is comparable to GPT-4o in identifying low-quality samples while maintaining efficiency and cost-effectiveness. Our codes and data are released in https://github.com/multimodal-art-projection/COIG-P.