REFINE-AF: Задача-агностичная фреймворк для выравнивания языковых моделей через самогенерируемые инструкции с использованием обучения с подкреплением на основе автоматизированной обратной связи

REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback

May 10, 2025

Авторы: Aniruddha Roy, Pretam Ray, Abhilash Nandy, Somak Aditya, Pawan Goyal

cs.AI

Аннотация

Крупные языковые модели (LLM), ориентированные на выполнение инструкций, доказали свою эффективность в решении множества задач обработки естественного языка (NLP) в условиях малого количества примеров или даже без них. Однако создание аннотированных человеком данных с инструкциями является трудоемким, дорогостоящим процессом и часто ограничено в количестве и разнообразии задач. Предыдущие исследования пытались решить эту проблему, предлагая фреймворки, способные генерировать инструкции полуавтоматически и независимо от задачи, непосредственно на основе самой модели. Многие из этих подходов опирались на крупные модели с большим количеством параметров, такие как GPT-3.5 (175B), которые являются дорогостоящими и имеют ограничения на количество запросов. В данной работе исследуется производительность трех открытых небольших LLM, таких как LLaMA 2-7B, LLaMA 2-13B и Mistral 7B, с использованием полуавтоматического фреймворка, что позволяет сократить необходимое вмешательство человека, усилия и затраты на создание набора данных с инструкциями для тонкой настройки LLM. Кроме того, мы показываем, что включение алгоритма обучения с подкреплением (RL) в этот фреймворк на основе LLM приводит к дальнейшему улучшению результатов. Наша оценка набора данных показывает, что такие RL-ориентированные фреймворки обеспечивают значительное улучшение в 63–66% задач по сравнению с предыдущими подходами.

English

Instruction-based Large Language Models (LLMs) have proven effective in numerous few-shot or zero-shot Natural Language Processing (NLP) tasks. However, creating human-annotated instruction data is time-consuming, expensive, and often limited in quantity and task diversity. Previous research endeavors have attempted to address this challenge by proposing frameworks capable of generating instructions in a semi-automated and task-agnostic manner directly from the model itself. Many of these efforts have relied on large API-only parameter-based models such as GPT-3.5 (175B), which are expensive, and subject to limits on a number of queries. This paper explores the performance of three open-source small LLMs such as LLaMA 2-7B, LLama 2-13B, and Mistral 7B, using a semi-automated framework, thereby reducing human intervention, effort, and cost required to generate an instruction dataset for fine-tuning LLMs. Furthermore, we demonstrate that incorporating a Reinforcement Learning (RL) based training algorithm into this LLMs-based framework leads to further enhancements. Our evaluation of the dataset reveals that these RL-based frameworks achieve a substantial improvements in 63-66% of the tasks compared to previous approaches.