COIG-P: Een hoogwaardige en grootschalige Chinese voorkeursdataset voor afstemming met menselijke waarden

COIG-P: A High-Quality and Large-Scale Chinese Preference Dataset for Alignment with Human Values

April 7, 2025

Auteurs: M-A-P Team, Siwei Wu, Jincheng Ren, Xinrun Du, Shuyue Guo, Xingwei Qu, Yiming Liang, Jie Liu, Yunwen Li, Tianyu Zheng, Boyu Feng, Huaqing Yuan, Zenith Wang, Jiaheng Liu, Wenhao Huang, Chenglin Cai, Haoran Que, Jian Yang, Yuelin Bai, Zekun Moore Wang, Zhouliang Yu, Qunshu Lin, Ding Pan, Yuchen Jiang, Tiannan Wang, Wangchunshu Zhou, Shenzhi Wang, Xingyuan Bu, Minghao Liu, Guoyin Wang, Ge Zhang, Chenghua Lin

cs.AI

Samenvatting

Het afstemmen van grote taalmodellen (LLMs) op menselijke voorkeuren heeft opmerkelijke successen geboekt. Bestaande Chinese voorkeursdatasets worden echter beperkt door hun kleine schaal, beperkte domeindekking en het ontbreken van rigoureuze datavalidatie. Bovendien beperkt de afhankelijkheid van menselijke annotators voor het labelen van instructies en reacties de schaalbaarheid van menselijke voorkeursdatasets aanzienlijk. Om deze uitdagingen aan te pakken, hebben we een LLM-gebaseerde annotatiepijplijn voor Chinese voorkeursdatasets ontworpen zonder menselijke tussenkomst. Specifiek hebben we 92k hoogwaardige Chinese queries gecrawld en zorgvuldig gefilterd, en 15 mainstream LLMs ingezet om gekozen-afgewezen reactieparen te genereren en te scoren. Op basis hiervan introduceren we COIG-P (Chinese Open Instruction Generalist - Preference), een hoogwaardige, grootschalige Chinese voorkeursdataset die bestaat uit 1.009k Chinese voorkeursparen, verdeeld over 6 diverse domeinen: Chat, Code, Wiskunde, Logica, Roman en Rol. Gebaseerd op COIG-P, hebben we om de overhead van het gebruik van LLMs voor scoring te verminderen, een 8B-groot Chinees Beloningsmodel (CRM) getraind en een Chinees Beloningsbenchmark (CRBench) zorgvuldig opgebouwd. Evaluatieresultaten gebaseerd op AlignBench liu2024alignbenchbenchmarkingchinesealignment tonen aan dat COIG-P aanzienlijk beter presteert dan andere Chinese voorkeursdatasets, en het brengt significante prestatieverbeteringen van 2% tot 12% voor respectievelijk de Qwen2/2.5 en Infinity-Instruct-3M-0625 modelreeksen. De resultaten op CRBench demonstreren dat ons CRM een sterke en robuuste scoringscapaciteit heeft. We passen het toe om gekozen-afgewezen reactieparen te filteren in een testset van COIG-P, en onze experimenten tonen aan dat het vergelijkbaar is met GPT-4o in het identificeren van laagwaardige samples, terwijl het efficiënt en kosteneffectief blijft. Onze codes en data zijn vrijgegeven op https://github.com/multimodal-art-projection/COIG-P.

English

Aligning large language models (LLMs) with human preferences has achieved remarkable success. However, existing Chinese preference datasets are limited by small scale, narrow domain coverage, and lack of rigorous data validation. Additionally, the reliance on human annotators for instruction and response labeling significantly constrains the scalability of human preference datasets. To address these challenges, we design an LLM-based Chinese preference dataset annotation pipeline with no human intervention. Specifically, we crawled and carefully filtered 92k high-quality Chinese queries and employed 15 mainstream LLMs to generate and score chosen-rejected response pairs. Based on it, we introduce COIG-P (Chinese Open Instruction Generalist - Preference), a high-quality, large-scale Chinese preference dataset, comprises 1,009k Chinese preference pairs spanning 6 diverse domains: Chat, Code, Math, Logic, Novel, and Role. Building upon COIG-P, to reduce the overhead of using LLMs for scoring, we trained a 8B-sized Chinese Reward Model (CRM) and meticulously constructed a Chinese Reward Benchmark (CRBench). Evaluation results based on AlignBench liu2024alignbenchbenchmarkingchinesealignment show that that COIG-P significantly outperforms other Chinese preference datasets, and it brings significant performance improvements ranging from 2% to 12% for the Qwen2/2.5 and Infinity-Instruct-3M-0625 model series, respectively. The results on CRBench demonstrate that our CRM has a strong and robust scoring ability. We apply it to filter chosen-rejected response pairs in a test split of COIG-P, and our experiments show that it is comparable to GPT-4o in identifying low-quality samples while maintaining efficiency and cost-effectiveness. Our codes and data are released in https://github.com/multimodal-art-projection/COIG-P.