COIG-P: Um Conjunto de Dados de Preferência Chinês de Alta Qualidade e Grande Escala para Alinhamento com Valores Humanos

COIG-P: A High-Quality and Large-Scale Chinese Preference Dataset for Alignment with Human Values

April 7, 2025

Autores: M-A-P Team, Siwei Wu, Jincheng Ren, Xinrun Du, Shuyue Guo, Xingwei Qu, Yiming Liang, Jie Liu, Yunwen Li, Tianyu Zheng, Boyu Feng, Huaqing Yuan, Zenith Wang, Jiaheng Liu, Wenhao Huang, Chenglin Cai, Haoran Que, Jian Yang, Yuelin Bai, Zekun Moore Wang, Zhouliang Yu, Qunshu Lin, Ding Pan, Yuchen Jiang, Tiannan Wang, Wangchunshu Zhou, Shenzhi Wang, Xingyuan Bu, Minghao Liu, Guoyin Wang, Ge Zhang, Chenghua Lin

cs.AI

Resumo

O alinhamento de grandes modelos de linguagem (LLMs) com as preferências humanas tem alcançado sucesso notável. No entanto, os conjuntos de dados de preferências chineses existentes são limitados por sua pequena escala, cobertura restrita de domínios e falta de validação rigorosa dos dados. Além disso, a dependência de anotadores humanos para a rotulagem de instruções e respostas restringe significativamente a escalabilidade dos conjuntos de dados de preferências humanas. Para enfrentar esses desafios, projetamos um pipeline de anotação de conjuntos de dados de preferências chinesas baseado em LLMs, sem intervenção humana. Especificamente, rastreamos e filtramos cuidadosamente 92 mil consultas chinesas de alta qualidade e empregamos 15 LLMs principais para gerar e pontuar pares de respostas escolhidas-rejeitadas. Com base nisso, introduzimos o COIG-P (Chinese Open Instruction Generalist - Preference), um conjunto de dados de preferências chinesas de alta qualidade e grande escala, composto por 1.009 mil pares de preferências chinesas abrangendo 6 domínios diversos: Chat, Código, Matemática, Lógica, Romance e Papel. Com base no COIG-P, para reduzir o custo de usar LLMs para pontuação, treinamos um Modelo de Recompensa Chinês (CRM) de 8 bilhões de parâmetros e construímos meticulosamente um Benchmark de Recompensa Chinês (CRBench). Os resultados de avaliação baseados no AlignBench liu2024alignbenchbenchmarkingchinesealignment mostram que o COIG-P supera significativamente outros conjuntos de dados de preferências chinesas e traz melhorias de desempenho significativas, variando de 2% a 12% para as séries de modelos Qwen2/2.5 e Infinity-Instruct-3M-0625, respectivamente. Os resultados no CRBench demonstram que nosso CRM possui uma capacidade de pontuação forte e robusta. Aplicamos esse modelo para filtrar pares de respostas escolhidas-rejeitadas em uma divisão de teste do COIG-P, e nossos experimentos mostram que ele é comparável ao GPT-4o na identificação de amostras de baixa qualidade, mantendo eficiência e custo-benefício. Nossos códigos e dados estão disponíveis em https://github.com/multimodal-art-projection/COIG-P.

English

Aligning large language models (LLMs) with human preferences has achieved remarkable success. However, existing Chinese preference datasets are limited by small scale, narrow domain coverage, and lack of rigorous data validation. Additionally, the reliance on human annotators for instruction and response labeling significantly constrains the scalability of human preference datasets. To address these challenges, we design an LLM-based Chinese preference dataset annotation pipeline with no human intervention. Specifically, we crawled and carefully filtered 92k high-quality Chinese queries and employed 15 mainstream LLMs to generate and score chosen-rejected response pairs. Based on it, we introduce COIG-P (Chinese Open Instruction Generalist - Preference), a high-quality, large-scale Chinese preference dataset, comprises 1,009k Chinese preference pairs spanning 6 diverse domains: Chat, Code, Math, Logic, Novel, and Role. Building upon COIG-P, to reduce the overhead of using LLMs for scoring, we trained a 8B-sized Chinese Reward Model (CRM) and meticulously constructed a Chinese Reward Benchmark (CRBench). Evaluation results based on AlignBench liu2024alignbenchbenchmarkingchinesealignment show that that COIG-P significantly outperforms other Chinese preference datasets, and it brings significant performance improvements ranging from 2% to 12% for the Qwen2/2.5 and Infinity-Instruct-3M-0625 model series, respectively. The results on CRBench demonstrate that our CRM has a strong and robust scoring ability. We apply it to filter chosen-rejected response pairs in a test split of COIG-P, and our experiments show that it is comparable to GPT-4o in identifying low-quality samples while maintaining efficiency and cost-effectiveness. Our codes and data are released in https://github.com/multimodal-art-projection/COIG-P.