Alignement Reformulé

Reformatted Alignment

February 19, 2024

Auteurs: Run-Ze Fan, Xuefeng Li, Haoyang Zou, Junlong Li, Shwai He, Ethan Chern, Jiewen Hu, Pengfei Liu

cs.AI

Résumé

La qualité des données de fine-tuning est cruciale pour aligner les grands modèles de langage (LLMs) avec les valeurs humaines. Les méthodes actuelles pour améliorer la qualité des données sont soit laborieuses, soit sujettes à des erreurs factuelles causées par les hallucinations des LLMs. Cet article explore l'amélioration de la qualité des données d'instruction existantes pour mieux les aligner avec les valeurs humaines, en introduisant une approche simple et efficace nommée ReAlign, qui reformate les réponses des données d'instruction dans un format mieux aligné avec des critères préétablis et les preuves recueillies. Cette approche minimise l'annotation humaine, les hallucinations et les difficultés de mise à l'échelle, tout en restant orthogonale aux techniques d'alignement existantes. Expérimentalement, ReAlign améliore significativement la capacité générale d'alignement, le raisonnement mathématique, la factualité et la lisibilité des LLMs. De manière encourageante, sans introduire de données supplémentaires ou de techniques d'entraînement avancées, et simplement en reformatant la réponse, la capacité de raisonnement mathématique de LLaMA-2-13B sur GSM8K peut être améliorée de 46,77 % à 56,63 % en termes de précision. De plus, seulement 5 % des données ReAlign entraînent une augmentation de 67 % de la capacité générale d'alignement mesurée par le jeu de données Alpaca. Ce travail souligne la nécessité de poursuivre les recherches sur la science et l'interprétabilité mécanique des LLMs. Nous avons rendu le code et les données associés accessibles au public pour soutenir les études futures à l'adresse https://github.com/GAIR-NLP/ReAlign.

English

The quality of finetuning data is crucial for aligning large language models (LLMs) with human values. Current methods to improve data quality are either labor-intensive or prone to factual errors caused by LLM hallucinations. This paper explores elevating the quality of existing instruction data to better align with human values, introducing a simple and effective approach named ReAlign, which reformats the responses of instruction data into a format that better aligns with pre-established criteria and the collated evidence. This approach minimizes human annotation, hallucination, and the difficulty in scaling, remaining orthogonal to existing alignment techniques. Experimentally, ReAlign significantly boosts the general alignment ability, math reasoning, factuality, and readability of the LLMs. Encouragingly, without introducing any additional data or advanced training techniques, and merely by reformatting the response, LLaMA-2-13B's mathematical reasoning ability on GSM8K can be improved from 46.77% to 56.63% in accuracy. Additionally, a mere 5% of ReAlign data yields a 67% boost in general alignment ability measured by the Alpaca dataset. This work highlights the need for further research into the science and mechanistic interpretability of LLMs. We have made the associated code and data publicly accessible to support future studies at https://github.com/GAIR-NLP/ReAlign.