再フォーマットされたアラインメント

Reformatted Alignment

February 19, 2024

著者: Run-Ze Fan, Xuefeng Li, Haoyang Zou, Junlong Li, Shwai He, Ethan Chern, Jiewen Hu, Pengfei Liu

cs.AI

要旨

大規模言語モデル（LLM）を人間の価値観に適合させるためには、ファインチューニングデータの品質が極めて重要です。現在、データ品質を向上させる方法は、いずれも労力を要するか、LLMの幻覚による事実誤認が起こりやすいかのどちらかです。本論文では、既存の指示データの品質を向上させ、人間の価値観により適合させる方法を探求し、ReAlignというシンプルで効果的なアプローチを提案します。このアプローチは、指示データの応答を、事前に設定された基準と収集された証拠により適合する形式に再フォーマットします。これにより、人間による注釈、幻覚、スケーリングの難しさを最小限に抑えつつ、既存の適合技術と直交する形で適用可能です。実験的に、ReAlignはLLMの一般的な適合能力、数学的推論、事実性、読みやすさを大幅に向上させることが示されました。 特に注目すべきは、追加のデータや高度なトレーニング技術を導入せず、単に応答を再フォーマットするだけで、LLaMA-2-13BのGSM8Kにおける数学的推論能力が46.77%から56.63%に向上した点です。さらに、ReAlignデータのわずか5%を使用することで、Alpacaデータセットで測定された一般的な適合能力が67%向上しました。この研究は、LLMの科学的理解とメカニズムの解釈可能性に関するさらなる研究の必要性を強調しています。今後の研究を支援するため、関連するコードとデータをhttps://github.com/GAIR-NLP/ReAlignで公開しています。

English

The quality of finetuning data is crucial for aligning large language models (LLMs) with human values. Current methods to improve data quality are either labor-intensive or prone to factual errors caused by LLM hallucinations. This paper explores elevating the quality of existing instruction data to better align with human values, introducing a simple and effective approach named ReAlign, which reformats the responses of instruction data into a format that better aligns with pre-established criteria and the collated evidence. This approach minimizes human annotation, hallucination, and the difficulty in scaling, remaining orthogonal to existing alignment techniques. Experimentally, ReAlign significantly boosts the general alignment ability, math reasoning, factuality, and readability of the LLMs. Encouragingly, without introducing any additional data or advanced training techniques, and merely by reformatting the response, LLaMA-2-13B's mathematical reasoning ability on GSM8K can be improved from 46.77% to 56.63% in accuracy. Additionally, a mere 5% of ReAlign data yields a 67% boost in general alignment ability measured by the Alpaca dataset. This work highlights the need for further research into the science and mechanistic interpretability of LLMs. We have made the associated code and data publicly accessible to support future studies at https://github.com/GAIR-NLP/ReAlign.