Alinhamento Reformulado

Resumo

A qualidade dos dados de ajuste fino é crucial para alinhar grandes modelos de linguagem (LLMs) com valores humanos. Os métodos atuais para melhorar a qualidade dos dados são ou intensivos em mão de obra ou propensos a erros factuais causados por alucinações dos LLMs. Este artigo explora a elevação da qualidade dos dados de instrução existentes para melhor alinhá-los com valores humanos, introduzindo uma abordagem simples e eficaz chamada ReAlign, que reformata as respostas dos dados de instrução em um formato que melhor se alinha com critérios pré-estabelecidos e evidências compiladas. Essa abordagem minimiza a anotação humana, a alucinação e a dificuldade de escalonamento, permanecendo ortogonal às técnicas de alinhamento existentes. Experimentalmente, o ReAlign aumenta significativamente a capacidade geral de alinhamento, o raciocínio matemático, a factualidade e a legibilidade dos LLMs. De forma encorajadora, sem introduzir dados adicionais ou técnicas avançadas de treinamento, e apenas reformatando a resposta, a capacidade de raciocínio matemático do LLaMA-2-13B no GSM8K pode ser melhorada de 46,77% para 56,63% em precisão. Além disso, apenas 5% dos dados do ReAlign resultam em um aumento de 67% na capacidade geral de alinhamento medida pelo conjunto de dados Alpaca. Este trabalho destaca a necessidade de mais pesquisas sobre a ciência e a interpretabilidade mecanicista dos LLMs. Disponibilizamos o código e os dados associados publicamente para apoiar estudos futuros em https://github.com/GAIR-NLP/ReAlign.

English

The quality of finetuning data is crucial for aligning large language models (LLMs) with human values. Current methods to improve data quality are either labor-intensive or prone to factual errors caused by LLM hallucinations. This paper explores elevating the quality of existing instruction data to better align with human values, introducing a simple and effective approach named ReAlign, which reformats the responses of instruction data into a format that better aligns with pre-established criteria and the collated evidence. This approach minimizes human annotation, hallucination, and the difficulty in scaling, remaining orthogonal to existing alignment techniques. Experimentally, ReAlign significantly boosts the general alignment ability, math reasoning, factuality, and readability of the LLMs. Encouragingly, without introducing any additional data or advanced training techniques, and merely by reformatting the response, LLaMA-2-13B's mathematical reasoning ability on GSM8K can be improved from 46.77% to 56.63% in accuracy. Additionally, a mere 5% of ReAlign data yields a 67% boost in general alignment ability measured by the Alpaca dataset. This work highlights the need for further research into the science and mechanistic interpretability of LLMs. We have made the associated code and data publicly accessible to support future studies at https://github.com/GAIR-NLP/ReAlign.

Alinhamento Reformulado

Reformatted Alignment

Resumo

Support