Могут ли модели изучать композицию навыков на основе примеров?

Can Models Learn Skill Composition from Examples?

September 29, 2024

Авторы: Haoyu Zhao, Simran Kaur, Dingli Yu, Anirudh Goyal, Sanjeev Arora

cs.AI

Аннотация

По мере усовершенствования крупных языковых моделей (LLM) их способность проявлять композиционную обобщаемость - способность комбинировать выученные навыки способами, не встреченными во время обучения - привлекла значительное внимание. Этот тип обобщения, особенно в сценариях вне обучающих данных, также представляет большой интерес в изучении безопасности и соответствия искусственного интеллекта. В недавнем исследовании была представлена оценка SKILL-MIX, где модели должны были составить короткий параграф, демонстрирующий использование определенного k-кортежа языковых навыков. В то время как маленькие модели испытывали трудности с составлением даже при k=3, более крупные модели, такие как GPT-4, показали хорошие результаты при k=5 и 6. В данной статье мы используем настройку, аналогичную SKILL-MIX, для оценки способности более маленьких моделей к изучению композиционной обобщаемости на примерах. Используя разнообразный набор языковых навыков - включая риторику, литературу, рассуждения, теорию разума и здравый смысл - GPT-4 использовалась для генерации текстов, демонстрирующих случайные подмножества k навыков. Последующее донастройка моделей с параметрами 7B и 13B на этих объединенных текстах навыков, для увеличения значений k, позволило выявить следующие результаты: (1) Обучение на комбинациях навыков k=2 и 3 приводит к заметным улучшениям в способности составлять тексты с навыками k=4 и 5, несмотря на то, что модели никогда не видели таких примеров во время обучения. (2) Когда категории навыков разделены на группы обучения и тестирования, модели значительно улучшаются в составлении текстов с навыками тестирования, несмотря на то, что видели только обучающие навыки во время донастройки, что иллюстрирует эффективность подхода к обучению даже с ранее не виденными навыками. Это исследование также показывает, что включение навыками насыщенного (возможно, синтетического) текста в обучение может значительно улучшить композиционные способности моделей.

English

As large language models (LLMs) become increasingly advanced, their ability to exhibit compositional generalization -- the capacity to combine learned skills in novel ways not encountered during training -- has garnered significant attention. This type of generalization, particularly in scenarios beyond training data, is also of great interest in the study of AI safety and alignment. A recent study introduced the SKILL-MIX evaluation, where models are tasked with composing a short paragraph demonstrating the use of a specified k-tuple of language skills. While small models struggled with composing even with k=3, larger models like GPT-4 performed reasonably well with k=5 and 6. In this paper, we employ a setup akin to SKILL-MIX to evaluate the capacity of smaller models to learn compositional generalization from examples. Utilizing a diverse set of language skills -- including rhetorical, literary, reasoning, theory of mind, and common sense -- GPT-4 was used to generate text samples that exhibit random subsets of k skills. Subsequent fine-tuning of 7B and 13B parameter models on these combined skill texts, for increasing values of k, revealed the following findings: (1) Training on combinations of k=2 and 3 skills results in noticeable improvements in the ability to compose texts with k=4 and 5 skills, despite models never having seen such examples during training. (2) When skill categories are split into training and held-out groups, models significantly improve at composing texts with held-out skills during testing despite having only seen training skills during fine-tuning, illustrating the efficacy of the training approach even with previously unseen skills. This study also suggests that incorporating skill-rich (potentially synthetic) text into training can substantially enhance the compositional capabilities of models.