Alignement de graphes itératif

Iterative Graph Alignment

August 29, 2024

Auteurs: Fangyuan Yu, Hardeep Singh Arora, Matt Johnson

cs.AI

Résumé

En comprimant des récits divers, les LLM vont au-delà de la mémorisation, atteignant l'intelligence en capturant des relations causales généralisables. Cependant, ils souffrent de "lacunes de représentation" locales en raison d'une diversité insuffisante des données d'entraînement, limitant leur utilité dans le monde réel, notamment dans les tâches nécessitant un alignement strict sur des règles. Les méthodes d'alignement traditionnelles reposant sur de lourdes annotations humaines sont inefficaces et non évolutives. Les techniques récentes d'auto-alignement sont également insuffisantes, car elles dépendent souvent de la sélection automatique basée sur des incitations et l'apprentissage basé sur la mémorisation. Pour résoudre ces problèmes, nous introduisons l'Alignement Graphique Itératif (IGA), un algorithme d'alignement basé sur des règles et sans annotation. Un modèle enseignant (VLM) utilise le Prompting Graphique Itératif (IGP) pour créer des graphiques logiques et des réponses de référence. Le modèle étudiant (LLM) identifie les lacunes de connaissances locales en tentant d'aligner ses réponses sur ces références, collaborant avec des modèles assistants pour générer des réponses diverses. Ces réponses alignées sont ensuite utilisées pour un affinage supervisé itératif (SFT). Nos évaluations sur cinq scénarios basés sur des règles démontrent l'efficacité de l'IGP, avec une amélioration de l'alignement de 73,12% dans Claude Sonnet 3.5, et Llama3-8B-Instruct réalisant une amélioration de 86,20%, surpassant Claude Sonnet 3.5 en termes d'alignement basé sur des règles.

English

By compressing diverse narratives, LLMs go beyond memorization, achieving intelligence by capturing generalizable causal relationships. However, they suffer from local 'representation gaps' due to insufficient training data diversity, limiting their real-world utility, especially in tasks requiring strict alignment to rules. Traditional alignment methods relying on heavy human annotations are inefficient and unscalable. Recent self-alignment techniques also fall short, as they often depend on self-selection based prompting and memorization-based learning. To address these issues, we introduce Iterative Graph Alignment (IGA), an annotation-free rule-based alignment algorithm. A teacher model (VLM) employs Iterative Graph Prompting (IGP) to create logical graphs and reference answers. The student model (LLM) identifies local knowledge gaps by attempting to align its responses with these references, collaborating with helper models to generate diverse answers. These aligned responses are then used for iterative supervised fine-tuning (SFT). Our evaluations across five rule-based scenarios demonstrate IGP's effectiveness, with a 73.12\% alignment improvement in Claude Sonnet 3.5, and Llama3-8B-Instruct achieving an 86.20\% improvement, outperforming Claude Sonnet 3.5 in rule-based alignment.