Реформированное выравнивание

Reformatted Alignment

February 19, 2024

Авторы: Run-Ze Fan, Xuefeng Li, Haoyang Zou, Junlong Li, Shwai He, Ethan Chern, Jiewen Hu, Pengfei Liu

cs.AI

Аннотация

Качество данных для тонкой настройки имеет решающее значение для согласования крупных языковых моделей (LLM) с человеческими ценностями. Современные методы улучшения качества данных либо требуют значительных трудозатрат, либо подвержены фактологическим ошибкам, вызванным галлюцинациями LLM. В данной статье исследуется повышение качества существующих инструктивных данных для лучшего согласования с человеческими ценностями, предлагая простой и эффективный подход под названием ReAlign, который преобразует ответы инструктивных данных в формат, лучше соответствующий заранее установленным критериям и собранным доказательствам. Этот подход минимизирует необходимость аннотирования человеком, галлюцинации и сложности масштабирования, оставаясь ортогональным существующим методам согласования. Экспериментально ReAlign значительно улучшает общую способность к согласованию, математическое мышление, фактологическую точность и читаемость LLM. Обнадеживающе, без введения дополнительных данных или сложных методов обучения, и лишь за счет преобразования ответа, способность LLaMA-2-13B к математическому мышлению на GSM8K улучшается с 46,77% до 56,63% по точности. Кроме того, всего 5% данных ReAlign дают 67% улучшение общей способности к согласованию, измеренной на наборе данных Alpaca. Эта работа подчеркивает необходимость дальнейших исследований в области науки и механистической интерпретируемости LLM. Мы сделали связанный код и данные общедоступными для поддержки будущих исследований по адресу https://github.com/GAIR-NLP/ReAlign.

English

The quality of finetuning data is crucial for aligning large language models (LLMs) with human values. Current methods to improve data quality are either labor-intensive or prone to factual errors caused by LLM hallucinations. This paper explores elevating the quality of existing instruction data to better align with human values, introducing a simple and effective approach named ReAlign, which reformats the responses of instruction data into a format that better aligns with pre-established criteria and the collated evidence. This approach minimizes human annotation, hallucination, and the difficulty in scaling, remaining orthogonal to existing alignment techniques. Experimentally, ReAlign significantly boosts the general alignment ability, math reasoning, factuality, and readability of the LLMs. Encouragingly, without introducing any additional data or advanced training techniques, and merely by reformatting the response, LLaMA-2-13B's mathematical reasoning ability on GSM8K can be improved from 46.77% to 56.63% in accuracy. Additionally, a mere 5% of ReAlign data yields a 67% boost in general alignment ability measured by the Alpaca dataset. This work highlights the need for further research into the science and mechanistic interpretability of LLMs. We have made the associated code and data publicly accessible to support future studies at https://github.com/GAIR-NLP/ReAlign.