NILE: Interne Consistentie-Afstemming in Grote Taalmodellen

NILE: Internal Consistency Alignment in Large Language Models

December 21, 2024

Auteurs: Minda Hu, Qiyuan Zhang, Yufei Wang, Bowei He, Hongru Wang, Jingyan Zhou, Liangyou Li, Yasheng Wang, Chen Ma, Irwin King

cs.AI

Samenvatting

Als een cruciale stap om de afstemming van LLMs op menselijke intenties te verbeteren, heeft Instruction Fine-Tuning (IFT) een hoge vraag naar datasetkwaliteit. Bestaande IFT-datasets bevatten echter vaak kennis die inconsistent is met de interne kennis van LLMs die is geleerd tijdens de pre-trainingfase, wat de effectiviteit van IFT aanzienlijk kan beïnvloeden. Om dit probleem aan te pakken, introduceren we het NILE (iNternal consIstency aLignmEnt) framework, gericht op het optimaliseren van IFT-datasets om de capaciteit van LLMs verder te ontsluiten. NILE werkt door de interne kennis van het doel-voorgetrainde LLM op te roepen die overeenkomt met instructiedata. De interne kennis wordt gebruikt om het antwoord in IFT-datasets te herzien. Daarnaast stellen we een nieuw Internal Consistency Filtering (ICF) methode voor om trainingsvoorbeelden te filteren, waarbij wordt gewaarborgd dat deze hoog consistent zijn met de interne kennis van LLM. Onze experimenten tonen aan dat NILE-gealigneerde IFT-datasets de prestaties van LLM aanzienlijk verbeteren over meerdere evaluatiedatasets van LLM-vaardigheden, met een winst tot 66,6% op Arena-Hard en 68,5% op Alpaca-Eval V2. Verder onderzoek bevestigt dat elk onderdeel van het NILE-framework bijdraagt aan deze aanzienlijke prestatieverbeteringen, en levert overtuigend bewijs dat datasetconsistentie met voorgeleerde interne kennis cruciaal is voor het maximaliseren van het potentieel van LLM.

English

As a crucial step to enhance LLMs alignment with human intentions, Instruction Fine-Tuning (IFT) has a high demand on dataset quality. However, existing IFT datasets often contain knowledge that is inconsistent with LLMs' internal knowledge learned from the pre-training phase, which can greatly affect the efficacy of IFT. To address this issue, we introduce NILE (iNternal consIstency aLignmEnt) framework, aimed at optimizing IFT datasets to unlock LLMs' capability further. NILE operates by eliciting target pre-trained LLM's internal knowledge corresponding to instruction data. The internal knowledge is leveraged to revise the answer in IFT datasets. Additionally, we propose a novel Internal Consistency Filtering (ICF) method to filter training samples, ensuring its high consistency with LLM's internal knowledge. Our experiments demonstrate that NILE-aligned IFT datasets sharply boost LLM performance across multiple LLM ability evaluation datasets, achieving up to 66.6% gain on Arena-Hard and 68.5% on Alpaca-Eval V2. Further analysis confirms that each component of the NILE}framework contributes to these substantial performance improvements, and provides compelling evidence that dataset consistency with pre-trained internal knowledge is pivotal for maximizing LLM potential.