REFINE-AF: Un Framework Agnostico ai Compiti per Allineare Modelli Linguistici tramite Istruzioni Autogenerate utilizzando l'Apprendimento per Rinforzo da Feedback Automatico

REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback

May 10, 2025

Autori: Aniruddha Roy, Pretam Ray, Abhilash Nandy, Somak Aditya, Pawan Goyal

cs.AI

Abstract

I modelli linguistici di grandi dimensioni basati su istruzioni (LLM) si sono dimostrati efficaci in numerosi compiti di elaborazione del linguaggio naturale (NLP) in contesti few-shot o zero-shot. Tuttavia, la creazione di dati di istruzioni annotati manualmente è un processo dispendioso in termini di tempo, costoso e spesso limitato in quantità e diversità di compiti. Ricerche precedenti hanno cercato di affrontare questa sfida proponendo framework in grado di generare istruzioni in modo semi-automatico e indipendente dal compito, direttamente dal modello stesso. Molti di questi sforzi si sono basati su modelli di grandi dimensioni accessibili solo tramite API, come GPT-3.5 (175B), che sono costosi e soggetti a limitazioni nel numero di query. Questo articolo esplora le prestazioni di tre LLM open-source di piccole dimensioni, come LLaMA 2-7B, LLaMA 2-13B e Mistral 7B, utilizzando un framework semi-automatico, riducendo così l'intervento umano, lo sforzo e i costi necessari per generare un dataset di istruzioni per il fine-tuning degli LLM. Inoltre, dimostriamo che l'integrazione di un algoritmo di addestramento basato sull'apprendimento per rinforzo (RL) in questo framework basato su LLM porta a ulteriori miglioramenti. La nostra valutazione del dataset rivela che questi framework basati su RL ottengono miglioramenti significativi nel 63-66% dei compiti rispetto agli approcci precedenti.

English

Instruction-based Large Language Models (LLMs) have proven effective in numerous few-shot or zero-shot Natural Language Processing (NLP) tasks. However, creating human-annotated instruction data is time-consuming, expensive, and often limited in quantity and task diversity. Previous research endeavors have attempted to address this challenge by proposing frameworks capable of generating instructions in a semi-automated and task-agnostic manner directly from the model itself. Many of these efforts have relied on large API-only parameter-based models such as GPT-3.5 (175B), which are expensive, and subject to limits on a number of queries. This paper explores the performance of three open-source small LLMs such as LLaMA 2-7B, LLama 2-13B, and Mistral 7B, using a semi-automated framework, thereby reducing human intervention, effort, and cost required to generate an instruction dataset for fine-tuning LLMs. Furthermore, we demonstrate that incorporating a Reinforcement Learning (RL) based training algorithm into this LLMs-based framework leads to further enhancements. Our evaluation of the dataset reveals that these RL-based frameworks achieve a substantial improvements in 63-66% of the tasks compared to previous approaches.