NILE: Alineación de Consistencia Interna en Modelos de Lenguaje Grandes

NILE: Internal Consistency Alignment in Large Language Models

December 21, 2024

Autores: Minda Hu, Qiyuan Zhang, Yufei Wang, Bowei He, Hongru Wang, Jingyan Zhou, Liangyou Li, Yasheng Wang, Chen Ma, Irwin King

cs.AI

Resumen

Como un paso crucial para mejorar la alineación de los LLMs con las intenciones humanas, el Ajuste Fino de Instrucciones (AFI) tiene una alta demanda en cuanto a la calidad del conjunto de datos. Sin embargo, los conjuntos de datos de AFI existentes a menudo contienen conocimientos que son inconsistentes con el conocimiento interno de los LLMs aprendido de la fase de pre-entrenamiento, lo cual puede afectar enormemente la eficacia del AFI. Para abordar este problema, presentamos el marco NILE (alineación interna de consistencia), diseñado para optimizar los conjuntos de datos de AFI para desbloquear aún más la capacidad de los LLMs. NILE opera al obtener el conocimiento interno del LLM pre-entrenado objetivo correspondiente a los datos de instrucción. Este conocimiento interno se utiliza para revisar la respuesta en los conjuntos de datos de AFI. Además, proponemos un novedoso método de Filtrado de Consistencia Interna (FCI) para filtrar las muestras de entrenamiento, asegurando su alta consistencia con el conocimiento interno del LLM. Nuestros experimentos demuestran que los conjuntos de datos de AFI alineados con NILE mejoran notablemente el rendimiento de los LLM en múltiples conjuntos de datos de evaluación de habilidades de LLM, logrando hasta un aumento del 66.6% en Arena-Hard y del 68.5% en Alpaca-Eval V2. Un análisis adicional confirma que cada componente del marco NILE contribuye a estas sustanciales mejoras de rendimiento, y proporciona evidencia convincente de que la consistencia del conjunto de datos con el conocimiento interno pre-entrenado es fundamental para maximizar el potencial de los LLM.

English

As a crucial step to enhance LLMs alignment with human intentions, Instruction Fine-Tuning (IFT) has a high demand on dataset quality. However, existing IFT datasets often contain knowledge that is inconsistent with LLMs' internal knowledge learned from the pre-training phase, which can greatly affect the efficacy of IFT. To address this issue, we introduce NILE (iNternal consIstency aLignmEnt) framework, aimed at optimizing IFT datasets to unlock LLMs' capability further. NILE operates by eliciting target pre-trained LLM's internal knowledge corresponding to instruction data. The internal knowledge is leveraged to revise the answer in IFT datasets. Additionally, we propose a novel Internal Consistency Filtering (ICF) method to filter training samples, ensuring its high consistency with LLM's internal knowledge. Our experiments demonstrate that NILE-aligned IFT datasets sharply boost LLM performance across multiple LLM ability evaluation datasets, achieving up to 66.6% gain on Arena-Hard and 68.5% on Alpaca-Eval V2. Further analysis confirms that each component of the NILE}framework contributes to these substantial performance improvements, and provides compelling evidence that dataset consistency with pre-trained internal knowledge is pivotal for maximizing LLM potential.