Le modelli possono apprendere la composizione delle abilità dagli esempi?

Can Models Learn Skill Composition from Examples?

September 29, 2024

Autori: Haoyu Zhao, Simran Kaur, Dingli Yu, Anirudh Goyal, Sanjeev Arora

cs.AI

Abstract

Con l'avanzare dei modelli linguistici di grandi dimensioni (LLM), la loro capacità di mostrare generalizzazione compositiva - la capacità di combinare abilità apprese in modi nuovi non incontrati durante l'addestramento - ha attirato notevole attenzione. Questo tipo di generalizzazione, in particolare in scenari al di fuori dei dati di addestramento, è anche di grande interesse nello studio della sicurezza e dell'allineamento dell'IA. Uno studio recente ha introdotto la valutazione SKILL-MIX, in cui i modelli sono incaricati di comporre un breve paragrafo che dimostri l'uso di una specifica k-tupla di abilità linguistiche. Mentre i modelli più piccoli hanno faticato a comporre anche con k=3, modelli più grandi come il GPT-4 si sono comportati in modo ragionevolmente buono con k=5 e 6. In questo articolo, utilizziamo un setup simile a SKILL-MIX per valutare la capacità dei modelli più piccoli di apprendere la generalizzazione compositiva dagli esempi. Utilizzando un insieme diversificato di abilità linguistiche - tra cui retorica, letteratura, ragionamento, teoria della mente e buon senso - il GPT-4 è stato utilizzato per generare campioni di testo che mostrano sottoinsiemi casuali di k abilità. Il successivo raffinamento dei modelli con parametri 7B e 13B su questi testi di abilità combinate, per valori crescenti di k, ha rivelato i seguenti risultati: (1) L'addestramento su combinazioni di k=2 e 3 abilità porta a miglioramenti significativi nella capacità di comporre testi con k=4 e 5 abilità, nonostante i modelli non abbiano mai visto tali esempi durante l'addestramento. (2) Quando le categorie di abilità sono divise in gruppi di addestramento e di controllo, i modelli migliorano significativamente nella composizione di testi con abilità di controllo durante i test nonostante abbiano visto solo abilità di addestramento durante il raffinamento, illustrando l'efficacia dell'approccio di addestramento anche con abilità precedentemente non viste. Questo studio suggerisce inoltre che l'incorporazione di testi ricchi di abilità (potenzialmente sintetici) nell'addestramento può notevolmente migliorare le capacità compositive dei modelli.

English

As large language models (LLMs) become increasingly advanced, their ability to exhibit compositional generalization -- the capacity to combine learned skills in novel ways not encountered during training -- has garnered significant attention. This type of generalization, particularly in scenarios beyond training data, is also of great interest in the study of AI safety and alignment. A recent study introduced the SKILL-MIX evaluation, where models are tasked with composing a short paragraph demonstrating the use of a specified k-tuple of language skills. While small models struggled with composing even with k=3, larger models like GPT-4 performed reasonably well with k=5 and 6. In this paper, we employ a setup akin to SKILL-MIX to evaluate the capacity of smaller models to learn compositional generalization from examples. Utilizing a diverse set of language skills -- including rhetorical, literary, reasoning, theory of mind, and common sense -- GPT-4 was used to generate text samples that exhibit random subsets of k skills. Subsequent fine-tuning of 7B and 13B parameter models on these combined skill texts, for increasing values of k, revealed the following findings: (1) Training on combinations of k=2 and 3 skills results in noticeable improvements in the ability to compose texts with k=4 and 5 skills, despite models never having seen such examples during training. (2) When skill categories are split into training and held-out groups, models significantly improve at composing texts with held-out skills during testing despite having only seen training skills during fine-tuning, illustrating the efficacy of the training approach even with previously unseen skills. This study also suggests that incorporating skill-rich (potentially synthetic) text into training can substantially enhance the compositional capabilities of models.