Les modèles peuvent-ils apprendre la composition des compétences à partir d'exemples ?

Can Models Learn Skill Composition from Examples?

September 29, 2024

Auteurs: Haoyu Zhao, Simran Kaur, Dingli Yu, Anirudh Goyal, Sanjeev Arora

cs.AI

Résumé

À mesure que les grands modèles de langage (LLMs) deviennent de plus en plus avancés, leur capacité à manifester une généralisation compositionnelle - la capacité à combiner des compétences apprises de manière nouvelle et non rencontrée lors de l'entraînement - a suscité une attention significative. Ce type de généralisation, en particulier dans des scénarios au-delà des données d'entraînement, suscite également un grand intérêt dans l'étude de la sécurité et de l'alignement de l'IA. Une étude récente a introduit l'évaluation SKILL-MIX, où les modèles sont chargés de composer un court paragraphe démontrant l'utilisation d'un k-uplet spécifié de compétences linguistiques. Alors que les petits modèles avaient du mal à composer même avec k=3, les plus grands modèles comme GPT-4 se sont bien comportés avec k=5 et 6. Dans cet article, nous utilisons une configuration similaire à SKILL-MIX pour évaluer la capacité des plus petits modèles à apprendre la généralisation compositionnelle à partir d'exemples. En utilisant un ensemble diversifié de compétences linguistiques - y compris rhétoriques, littéraires, de raisonnement, de théorie de l'esprit et de bon sens - GPT-4 a été utilisé pour générer des échantillons de texte présentant des sous-ensembles aléatoires de k compétences. Le réglage fin ultérieur des modèles à 7B et 13B paramètres sur ces textes de compétences combinées, pour des valeurs croissantes de k, a révélé les conclusions suivantes : (1) L'entraînement sur des combinaisons de k=2 et 3 compétences entraîne des améliorations notables dans la capacité à composer des textes avec k=4 et 5 compétences, bien que les modèles n'aient jamais vu de tels exemples lors de l'entraînement. (2) Lorsque les catégories de compétences sont divisées en groupes d'entraînement et de rétention, les modèles s'améliorent significativement dans la composition de textes avec des compétences de rétention lors des tests, bien qu'ils n'aient vu que des compétences d'entraînement lors du réglage fin, illustrant l'efficacité de l'approche d'entraînement même avec des compétences jamais vues auparavant. Cette étude suggère également qu'incorporer du texte riche en compétences (potentiellement synthétique) dans l'entraînement peut considérablement améliorer les capacités compositionnelles des modèles.

English

As large language models (LLMs) become increasingly advanced, their ability to exhibit compositional generalization -- the capacity to combine learned skills in novel ways not encountered during training -- has garnered significant attention. This type of generalization, particularly in scenarios beyond training data, is also of great interest in the study of AI safety and alignment. A recent study introduced the SKILL-MIX evaluation, where models are tasked with composing a short paragraph demonstrating the use of a specified k-tuple of language skills. While small models struggled with composing even with k=3, larger models like GPT-4 performed reasonably well with k=5 and 6. In this paper, we employ a setup akin to SKILL-MIX to evaluate the capacity of smaller models to learn compositional generalization from examples. Utilizing a diverse set of language skills -- including rhetorical, literary, reasoning, theory of mind, and common sense -- GPT-4 was used to generate text samples that exhibit random subsets of k skills. Subsequent fine-tuning of 7B and 13B parameter models on these combined skill texts, for increasing values of k, revealed the following findings: (1) Training on combinations of k=2 and 3 skills results in noticeable improvements in the ability to compose texts with k=4 and 5 skills, despite models never having seen such examples during training. (2) When skill categories are split into training and held-out groups, models significantly improve at composing texts with held-out skills during testing despite having only seen training skills during fine-tuning, illustrating the efficacy of the training approach even with previously unseen skills. This study also suggests that incorporating skill-rich (potentially synthetic) text into training can substantially enhance the compositional capabilities of models.