REFINE-AF: Um Framework Independente de Tarefas para Alinhar Modelos de Linguagem por meio de Instruções Autogeradas utilizando Aprendizado por Reforço com Feedback Automatizado

REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback

May 10, 2025

Autores: Aniruddha Roy, Pretam Ray, Abhilash Nandy, Somak Aditya, Pawan Goyal

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) baseados em instruções têm se mostrado eficazes em diversas tarefas de Processamento de Linguagem Natural (NLP) com poucos exemplos (few-shot) ou sem exemplos (zero-shot). No entanto, a criação de dados de instruções anotados por humanos é demorada, cara e frequentemente limitada em quantidade e diversidade de tarefas. Pesquisas anteriores tentaram abordar esse desafio propondo frameworks capazes de gerar instruções de maneira semi-automatizada e independente da tarefa, diretamente a partir do próprio modelo. Muitos desses esforços dependem de modelos grandes baseados apenas em APIs, como o GPT-3.5 (175B), que são caros e sujeitos a limites no número de consultas. Este artigo explora o desempenho de três LLMs pequenos de código aberto, como o LLaMA 2-7B, LLaMA 2-13B e Mistral 7B, utilizando um framework semi-automatizado, reduzindo assim a intervenção humana, o esforço e o custo necessários para gerar um conjunto de dados de instruções para o ajuste fino de LLMs. Além disso, demonstramos que a incorporação de um algoritmo de treinamento baseado em Aprendizado por Reforço (RL) nesse framework baseado em LLMs leva a melhorias adicionais. Nossa avaliação do conjunto de dados revela que esses frameworks baseados em RL alcançam melhorias substanciais em 63-66% das tarefas em comparação com abordagens anteriores.

English

Instruction-based Large Language Models (LLMs) have proven effective in numerous few-shot or zero-shot Natural Language Processing (NLP) tasks. However, creating human-annotated instruction data is time-consuming, expensive, and often limited in quantity and task diversity. Previous research endeavors have attempted to address this challenge by proposing frameworks capable of generating instructions in a semi-automated and task-agnostic manner directly from the model itself. Many of these efforts have relied on large API-only parameter-based models such as GPT-3.5 (175B), which are expensive, and subject to limits on a number of queries. This paper explores the performance of three open-source small LLMs such as LLaMA 2-7B, LLama 2-13B, and Mistral 7B, using a semi-automated framework, thereby reducing human intervention, effort, and cost required to generate an instruction dataset for fine-tuning LLMs. Furthermore, we demonstrate that incorporating a Reinforcement Learning (RL) based training algorithm into this LLMs-based framework leads to further enhancements. Our evaluation of the dataset reveals that these RL-based frameworks achieve a substantial improvements in 63-66% of the tasks compared to previous approaches.