Können Modelle Fähigkeiten aus Beispielen erlernen?

Can Models Learn Skill Composition from Examples?

September 29, 2024

Autoren: Haoyu Zhao, Simran Kaur, Dingli Yu, Anirudh Goyal, Sanjeev Arora

cs.AI

Zusammenfassung

Mit der zunehmenden Entwicklung großer Sprachmodell (LLMs) hat ihre Fähigkeit zur Darstellung kompositorischer Generalisierung - die Fähigkeit, erlernte Fähigkeiten auf neuartige Weise zu kombinieren, die während des Trainings nicht aufgetreten sind - erhebliche Aufmerksamkeit erregt. Diese Art der Generalisierung, insbesondere in Szenarien jenseits der Trainingsdaten, ist auch von großem Interesse für die Untersuchung der KI-Sicherheit und -Ausrichtung. Eine kürzlich durchgeführte Studie führte die SKILL-MIX-Bewertung ein, bei der Modelle beauftragt werden, einen kurzen Absatz zu verfassen, der die Verwendung eines bestimmten k-Tupels von Sprachfähigkeiten demonstriert. Während kleine Modelle Schwierigkeiten hatten, selbst bei k=3 zu komponieren, schnitten größere Modelle wie GPT-4 mit k=5 und 6 recht gut ab. In diesem Papier verwenden wir einen Aufbau ähnlich wie SKILL-MIX, um die Fähigkeit kleinerer Modelle zu bewerten, die kompositorische Generalisierung anhand von Beispielen zu erlernen. Unter Verwendung einer vielfältigen Reihe von Sprachfähigkeiten - einschließlich rhetorischer, literarischer, argumentativer, Theorie des Geistes und gesundem Menschenverstand - wurde GPT-4 verwendet, um Textbeispiele zu generieren, die zufällige Teilmengen von k Fähigkeiten aufweisen. Das nachfolgende Feintuning der 7B- und 13B-Parametermodelle auf diesen kombinierten Fähigkeitstexten für steigende Werte von k ergab folgende Erkenntnisse: (1) Das Training auf Kombinationen von k=2 und 3 Fähigkeiten führt zu spürbaren Verbesserungen in der Fähigkeit, Texte mit k=4 und 5 Fähigkeiten zu verfassen, obwohl die Modelle während des Trainings niemals solche Beispiele gesehen haben. (2) Wenn Fähigkeitskategorien in Trainings- und zurückgehaltene Gruppen aufgeteilt werden, verbessern sich die Modelle signifikant beim Verfassen von Texten mit zurückgehaltenen Fähigkeiten während des Tests, obwohl sie während des Feintunings nur Trainingsfähigkeiten gesehen haben, was die Wirksamkeit des Trainingsansatzes auch bei zuvor ungesehenen Fähigkeiten illustriert. Diese Studie legt auch nahe, dass die Einbeziehung fähigkeitsreicher (potenziell synthetischer) Texte in das Training die kompositorischen Fähigkeiten der Modelle erheblich verbessern kann.

English

As large language models (LLMs) become increasingly advanced, their ability to exhibit compositional generalization -- the capacity to combine learned skills in novel ways not encountered during training -- has garnered significant attention. This type of generalization, particularly in scenarios beyond training data, is also of great interest in the study of AI safety and alignment. A recent study introduced the SKILL-MIX evaluation, where models are tasked with composing a short paragraph demonstrating the use of a specified k-tuple of language skills. While small models struggled with composing even with k=3, larger models like GPT-4 performed reasonably well with k=5 and 6. In this paper, we employ a setup akin to SKILL-MIX to evaluate the capacity of smaller models to learn compositional generalization from examples. Utilizing a diverse set of language skills -- including rhetorical, literary, reasoning, theory of mind, and common sense -- GPT-4 was used to generate text samples that exhibit random subsets of k skills. Subsequent fine-tuning of 7B and 13B parameter models on these combined skill texts, for increasing values of k, revealed the following findings: (1) Training on combinations of k=2 and 3 skills results in noticeable improvements in the ability to compose texts with k=4 and 5 skills, despite models never having seen such examples during training. (2) When skill categories are split into training and held-out groups, models significantly improve at composing texts with held-out skills during testing despite having only seen training skills during fine-tuning, illustrating the efficacy of the training approach even with previously unseen skills. This study also suggests that incorporating skill-rich (potentially synthetic) text into training can substantially enhance the compositional capabilities of models.