Os Modelos Podem Aprender Composição de Habilidades a Partir de Exemplos?

Can Models Learn Skill Composition from Examples?

September 29, 2024

Autores: Haoyu Zhao, Simran Kaur, Dingli Yu, Anirudh Goyal, Sanjeev Arora

cs.AI

Resumo

À medida que os modelos de linguagem grandes (LLMs) se tornam cada vez mais avançados, sua capacidade de exibir generalização composicional - a capacidade de combinar habilidades aprendidas de maneiras novas não encontradas durante o treinamento - tem recebido atenção significativa. Esse tipo de generalização, especialmente em cenários além dos dados de treinamento, também é de grande interesse no estudo da segurança e alinhamento da IA. Um estudo recente introduziu a avaliação SKILL-MIX, onde os modelos são encarregados de compor um pequeno parágrafo demonstrando o uso de um k-tuplo especificado de habilidades linguísticas. Enquanto os modelos pequenos tiveram dificuldade em compor mesmo com k=3, modelos maiores como o GPT-4 se saíram razoavelmente bem com k=5 e 6. Neste artigo, empregamos uma configuração semelhante ao SKILL-MIX para avaliar a capacidade dos modelos menores de aprender generalização composicional a partir de exemplos. Utilizando um conjunto diversificado de habilidades linguísticas - incluindo retórica, literatura, raciocínio, teoria da mente e senso comum - o GPT-4 foi utilizado para gerar amostras de texto que exibem subconjuntos aleatórios de k habilidades. O ajuste fino subsequente dos modelos de parâmetros 7B e 13B nesses textos de habilidades combinadas, para valores crescentes de k, revelou as seguintes descobertas: (1) O treinamento em combinações de k=2 e 3 habilidades resulta em melhorias perceptíveis na capacidade de compor textos com k=4 e 5 habilidades, apesar dos modelos nunca terem visto tais exemplos durante o treinamento. (2) Quando as categorias de habilidades são divididas em grupos de treinamento e retidos, os modelos melhoram significativamente na composição de textos com habilidades retidas durante os testes, apesar de terem visto apenas habilidades de treinamento durante o ajuste fino, ilustrando a eficácia da abordagem de treinamento mesmo com habilidades previamente não vistas. Este estudo também sugere que a incorporação de texto rico em habilidades (potencialmente sintético) no treinamento pode melhorar substancialmente as capacidades composicionais dos modelos.

English

As large language models (LLMs) become increasingly advanced, their ability to exhibit compositional generalization -- the capacity to combine learned skills in novel ways not encountered during training -- has garnered significant attention. This type of generalization, particularly in scenarios beyond training data, is also of great interest in the study of AI safety and alignment. A recent study introduced the SKILL-MIX evaluation, where models are tasked with composing a short paragraph demonstrating the use of a specified k-tuple of language skills. While small models struggled with composing even with k=3, larger models like GPT-4 performed reasonably well with k=5 and 6. In this paper, we employ a setup akin to SKILL-MIX to evaluate the capacity of smaller models to learn compositional generalization from examples. Utilizing a diverse set of language skills -- including rhetorical, literary, reasoning, theory of mind, and common sense -- GPT-4 was used to generate text samples that exhibit random subsets of k skills. Subsequent fine-tuning of 7B and 13B parameter models on these combined skill texts, for increasing values of k, revealed the following findings: (1) Training on combinations of k=2 and 3 skills results in noticeable improvements in the ability to compose texts with k=4 and 5 skills, despite models never having seen such examples during training. (2) When skill categories are split into training and held-out groups, models significantly improve at composing texts with held-out skills during testing despite having only seen training skills during fine-tuning, illustrating the efficacy of the training approach even with previously unseen skills. This study also suggests that incorporating skill-rich (potentially synthetic) text into training can substantially enhance the compositional capabilities of models.