Iterative Graphenabstimmung

Iterative Graph Alignment

August 29, 2024

Autoren: Fangyuan Yu, Hardeep Singh Arora, Matt Johnson

cs.AI

Zusammenfassung

Durch die Verdichtung verschiedener Erzählungen gehen LLMs über reine Memorierung hinaus und erlangen Intelligenz, indem sie verallgemeinerbare kausale Beziehungen erfassen. Allerdings leiden sie unter lokalen 'Repräsentationslücken' aufgrund unzureichender Vielfalt an Trainingsdaten, was ihre Nützlichkeit im realen Leben einschränkt, insbesondere bei Aufgaben, die eine strikte Ausrichtung an Regeln erfordern. Traditionelle Ausrichtungsmethoden, die auf umfangreichen menschlichen Annotationen beruhen, sind ineffizient und nicht skalierbar. Auch aktuelle Selbstausrichtungstechniken haben ihre Grenzen, da sie oft auf selbstselektierenden Anreizen und auf memoriengestütztem Lernen basieren. Um diese Probleme anzugehen, stellen wir Iterative Graphenausrichtung (IGA) vor, einen annotationsfreien regelbasierten Ausrichtungsalgorithmus. Ein Lehrermodell (VLM) nutzt die Iterative Graphenanregung (IGP), um logische Graphen und Referenzantworten zu erstellen. Das Schülermodell (LLM) identifiziert lokale Wissenslücken, indem es versucht, seine Antworten mit diesen Referenzen in Einklang zu bringen, und arbeitet mit Hilfsmodellen zusammen, um vielfältige Antworten zu generieren. Diese ausgerichteten Antworten werden dann für das iterative überwachte Feintuning (SFT) verwendet. Unsere Evaluationen über fünf regelbasierte Szenarien zeigen die Wirksamkeit von IGP auf, mit einer Verbesserung der Ausrichtung um 73,12\% in Claude Sonnet 3.5 und Llama3-8B-Instruct, das eine Verbesserung um 86,20\% erzielt und Claude Sonnet 3.5 in der regelbasierten Ausrichtung übertrifft.

English

By compressing diverse narratives, LLMs go beyond memorization, achieving intelligence by capturing generalizable causal relationships. However, they suffer from local 'representation gaps' due to insufficient training data diversity, limiting their real-world utility, especially in tasks requiring strict alignment to rules. Traditional alignment methods relying on heavy human annotations are inefficient and unscalable. Recent self-alignment techniques also fall short, as they often depend on self-selection based prompting and memorization-based learning. To address these issues, we introduce Iterative Graph Alignment (IGA), an annotation-free rule-based alignment algorithm. A teacher model (VLM) employs Iterative Graph Prompting (IGP) to create logical graphs and reference answers. The student model (LLM) identifies local knowledge gaps by attempting to align its responses with these references, collaborating with helper models to generate diverse answers. These aligned responses are then used for iterative supervised fine-tuning (SFT). Our evaluations across five rule-based scenarios demonstrate IGP's effectiveness, with a 73.12\% alignment improvement in Claude Sonnet 3.5, and Llama3-8B-Instruct achieving an 86.20\% improvement, outperforming Claude Sonnet 3.5 in rule-based alignment.