Обучение языковых моделей самосовершенствованию через интерактивные демонстрации

Teaching Language Models to Self-Improve through Interactive Demonstrations

October 20, 2023

Авторы: Xiao Yu, Baolin Peng, Michel Galley, Jianfeng Gao, Zhou Yu

cs.AI

Аннотация

Способность крупных языковых моделей (LLM) к самосовершенствованию, реализуемая через анализ и пересмотр их собственных выходных данных, вызвала значительный интерес в последних исследованиях. Однако было показано, что эта способность отсутствует и трудно поддается обучению для более мелких моделей, что увеличивает разрыв в производительности между передовыми LLM и более экономичными и быстрыми моделями. Чтобы сократить этот разрыв, мы представляем TriPosT — алгоритм обучения, который наделяет более мелкие модели такой способностью к самосовершенствованию, и демонстрируем, что наш подход может улучшить производительность модели LLaMA-7b на задачах по математике и логическому мышлению до 7,13%. В отличие от предыдущих работ, мы достигаем этого, заставляя меньшую модель взаимодействовать с LLM для сбора обратной связи и улучшений на основе её собственных генераций. Затем мы используем этот опыт для обучения малой модели. Наши эксперименты на четырех наборах данных по математике и логическому мышлению показывают, что интерактивный опыт обучения и исправления собственных ошибок имеет решающее значение для улучшения производительности малых моделей.

English

The self-improving ability of large language models (LLMs), enabled by prompting them to analyze and revise their own outputs, has garnered significant interest in recent research. However, this ability has been shown to be absent and difficult to learn for smaller models, thus widening the performance gap between state-of-the-art LLMs and more cost-effective and faster ones. To reduce this gap, we introduce TriPosT, a training algorithm that endows smaller models with such self-improvement ability, and show that our approach can improve a LLaMA-7b's performance on math and reasoning tasks by up to 7.13%. In contrast to prior work, we achieve this by using the smaller model to interact with LLMs to collect feedback and improvements on its own generations. We then replay this experience to train the small model. Our experiments on four math and reasoning datasets show that the interactive experience of learning from and correcting its own mistakes is crucial for small models to improve their performance.