Neuformatierte Ausrichtung

Reformatted Alignment

February 19, 2024

Autoren: Run-Ze Fan, Xuefeng Li, Haoyang Zou, Junlong Li, Shwai He, Ethan Chern, Jiewen Hu, Pengfei Liu

cs.AI

Zusammenfassung

Die Qualität der Feinabstimmungsdaten ist entscheidend, um große Sprachmodelle (LLMs) mit menschlichen Werten in Einklang zu bringen. Aktuelle Methoden zur Verbesserung der Datenqualität sind entweder arbeitsintensiv oder anfällig für faktische Fehler, die durch Halluzinationen der LLMs verursacht werden. Dieses Papier untersucht die Steigerung der Qualität bestehender Instruktionsdaten, um eine bessere Ausrichtung an menschlichen Werten zu erreichen, und stellt einen einfachen und effektiven Ansatz namens ReAlign vor, der die Antworten der Instruktionsdaten in ein Format umwandelt, das besser mit vordefinierten Kriterien und gesammelten Beweisen übereinstimmt. Dieser Ansatz minimiert menschliche Annotationen, Halluzinationen und die Schwierigkeiten bei der Skalierung und bleibt orthogonal zu bestehenden Alignment-Techniken. Experimentell zeigt ReAlign eine signifikante Steigerung der allgemeinen Alignment-Fähigkeit, des mathematischen Denkens, der Faktentreue und der Lesbarkeit der LLMs. Erfreulicherweise kann die mathematische Denkfähigkeit von LLaMA-2-13B auf GSM8K allein durch die Umformatierung der Antwort von 46,77 % auf 56,63 % in der Genauigkeit verbessert werden, ohne zusätzliche Daten oder fortgeschrittene Trainingsmethoden einzuführen. Darüber hinaus führt bereits ein Anteil von 5 % ReAlign-Daten zu einer Steigerung der allgemeinen Alignment-Fähigkeit um 67 %, gemessen am Alpaca-Datensatz. Diese Arbeit unterstreicht die Notwendigkeit weiterer Forschung in die Wissenschaft und mechanistische Interpretierbarkeit von LLMs. Wir haben den zugehörigen Code und die Daten öffentlich zugänglich gemacht, um zukünftige Studien zu unterstützen, unter https://github.com/GAIR-NLP/ReAlign.

English

The quality of finetuning data is crucial for aligning large language models (LLMs) with human values. Current methods to improve data quality are either labor-intensive or prone to factual errors caused by LLM hallucinations. This paper explores elevating the quality of existing instruction data to better align with human values, introducing a simple and effective approach named ReAlign, which reformats the responses of instruction data into a format that better aligns with pre-established criteria and the collated evidence. This approach minimizes human annotation, hallucination, and the difficulty in scaling, remaining orthogonal to existing alignment techniques. Experimentally, ReAlign significantly boosts the general alignment ability, math reasoning, factuality, and readability of the LLMs. Encouragingly, without introducing any additional data or advanced training techniques, and merely by reformatting the response, LLaMA-2-13B's mathematical reasoning ability on GSM8K can be improved from 46.77% to 56.63% in accuracy. Additionally, a mere 5% of ReAlign data yields a 67% boost in general alignment ability measured by the Alpaca dataset. This work highlights the need for further research into the science and mechanistic interpretability of LLMs. We have made the associated code and data publicly accessible to support future studies at https://github.com/GAIR-NLP/ReAlign.