NILE: Выравнивание внутренней согласованности в больших языковых моделях

NILE: Internal Consistency Alignment in Large Language Models

December 21, 2024

Авторы: Minda Hu, Qiyuan Zhang, Yufei Wang, Bowei He, Hongru Wang, Jingyan Zhou, Liangyou Li, Yasheng Wang, Chen Ma, Irwin King

cs.AI

Аннотация

Важным шагом для улучшения соответствия LLM человеческим намерениям является тонкая настройка инструкций (Instruction Fine-Tuning, IFT), что требует высокого качества набора данных. Однако существующие наборы данных IFT часто содержат знания, несовместимые с внутренними знаниями LLM, полученными на этапе предварительного обучения, что может серьезно повлиять на эффективность IFT. Для решения этой проблемы мы представляем фреймворк NILE (iNternal consIstency aLignmEnt), направленный на оптимизацию наборов данных IFT для дальнейшего раскрытия возможностей LLM. NILE работает путем вызова внутренних знаний целевой предварительно обученной LLM, соответствующих данным инструкций. Внутренние знания используются для корректировки ответов в наборах данных IFT. Кроме того, мы предлагаем новый метод фильтрации внутренней согласованности (Internal Consistency Filtering, ICF) для фильтрации обучающих выборок, обеспечивая их высокую согласованность с внутренними знаниями LLM. Наши эксперименты показывают, что выровненные с помощью NILE наборы данных IFT значительно повышают производительность LLM на различных наборах данных для оценки способностей LLM, достигая до 66,6% улучшения на Arena-Hard и 68,5% на Alpaca-Eval V2. Дополнительный анализ подтверждает, что каждый компонент фреймворка NILE вносит свой вклад в эти значительные улучшения производительности и предоставляет убедительные доказательства того, что согласованность набора данных с предварительными внутренними знаниями является ключевой для максимизации потенциала LLM.

English

As a crucial step to enhance LLMs alignment with human intentions, Instruction Fine-Tuning (IFT) has a high demand on dataset quality. However, existing IFT datasets often contain knowledge that is inconsistent with LLMs' internal knowledge learned from the pre-training phase, which can greatly affect the efficacy of IFT. To address this issue, we introduce NILE (iNternal consIstency aLignmEnt) framework, aimed at optimizing IFT datasets to unlock LLMs' capability further. NILE operates by eliciting target pre-trained LLM's internal knowledge corresponding to instruction data. The internal knowledge is leveraged to revise the answer in IFT datasets. Additionally, we propose a novel Internal Consistency Filtering (ICF) method to filter training samples, ensuring its high consistency with LLM's internal knowledge. Our experiments demonstrate that NILE-aligned IFT datasets sharply boost LLM performance across multiple LLM ability evaluation datasets, achieving up to 66.6% gain on Arena-Hard and 68.5% on Alpaca-Eval V2. Further analysis confirms that each component of the NILE}framework contributes to these substantial performance improvements, and provides compelling evidence that dataset consistency with pre-trained internal knowledge is pivotal for maximizing LLM potential.