NILE: Interne Konsistenzanpassung in großen Sprachmodellen

NILE: Internal Consistency Alignment in Large Language Models

December 21, 2024

Autoren: Minda Hu, Qiyuan Zhang, Yufei Wang, Bowei He, Hongru Wang, Jingyan Zhou, Liangyou Li, Yasheng Wang, Chen Ma, Irwin King

cs.AI

Zusammenfassung

Als entscheidender Schritt zur Verbesserung der Ausrichtung von LLMs auf menschliche Absichten hat die Anweisungsfeinabstimmung (Instruction Fine-Tuning, IFT) einen hohen Bedarf an Datensatzqualität. Allerdings enthalten bestehende IFT-Datensätze oft Wissen, das inkonsistent mit dem internen Wissen von LLMs ist, das aus der Vorphase des Trainings gelernt wurde, was die Wirksamkeit von IFT erheblich beeinträchtigen kann. Um dieses Problem anzugehen, führen wir das NILE (iNternal consIstency aLignmEnt)-Framework ein, das darauf abzielt, IFT-Datensätze zu optimieren, um die Fähigkeit von LLMs weiter zu entfalten. NILE arbeitet, indem es das interne Wissen des Ziel-vortrainierten LLMs hervorruft, das den Anweisungsdaten entspricht. Das interne Wissen wird genutzt, um die Antwort in IFT-Datensätzen zu überarbeiten. Darüber hinaus schlagen wir eine neuartige Methode zur internen Konsistenzfilterung (Internal Consistency Filtering, ICF) vor, um Trainingsbeispiele zu filtern und sicherzustellen, dass sie hoch konsistent mit dem internen Wissen von LLMs sind. Unsere Experimente zeigen, dass NILE-ausgerichtete IFT-Datensätze die Leistung von LLMs deutlich steigern, und zwar über mehrere Bewertungsdatensätze zur Fähigkeitsbewertung von LLMs hinweg, mit einem Anstieg von bis zu 66,6% bei Arena-Hard und 68,5% bei Alpaca-Eval V2. Weitere Analysen bestätigen, dass jeder Bestandteil des NILE-Frameworks zu diesen erheblichen Leistungsverbesserungen beiträgt und überzeugende Beweise liefern, dass die Konsistenz von Datensätzen mit dem vortrainierten internen Wissen entscheidend ist, um das Potenzial von LLMs zu maximieren.

English

As a crucial step to enhance LLMs alignment with human intentions, Instruction Fine-Tuning (IFT) has a high demand on dataset quality. However, existing IFT datasets often contain knowledge that is inconsistent with LLMs' internal knowledge learned from the pre-training phase, which can greatly affect the efficacy of IFT. To address this issue, we introduce NILE (iNternal consIstency aLignmEnt) framework, aimed at optimizing IFT datasets to unlock LLMs' capability further. NILE operates by eliciting target pre-trained LLM's internal knowledge corresponding to instruction data. The internal knowledge is leveraged to revise the answer in IFT datasets. Additionally, we propose a novel Internal Consistency Filtering (ICF) method to filter training samples, ensuring its high consistency with LLM's internal knowledge. Our experiments demonstrate that NILE-aligned IFT datasets sharply boost LLM performance across multiple LLM ability evaluation datasets, achieving up to 66.6% gain on Arena-Hard and 68.5% on Alpaca-Eval V2. Further analysis confirms that each component of the NILE}framework contributes to these substantial performance improvements, and provides compelling evidence that dataset consistency with pre-trained internal knowledge is pivotal for maximizing LLM potential.