REFINE-AF: 자동화된 피드백을 통한 강화 학습을 활용해 자체 생성 지시문으로 언어 모델을 정렬하는 작업 불가지론적 프레임워크

REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback

May 10, 2025

저자: Aniruddha Roy, Pretam Ray, Abhilash Nandy, Somak Aditya, Pawan Goyal

cs.AI

초록

명령어 기반 대형 언어 모델(LLMs)은 다양한 퓨샷(few-shot) 또는 제로샷(zero-shot) 자연어 처리(NLP) 작업에서 효과적인 것으로 입증되었습니다. 그러나 인간이 주석을 단 명령어 데이터를 생성하는 것은 시간이 많이 소요되고 비용이 많이 들며, 종종 양과 작업 다양성에 제한이 있습니다. 이전 연구에서는 모델 자체에서 반자동적이고 작업에 구애받지 않는 방식으로 명령어를 생성할 수 있는 프레임워크를 제안하여 이러한 문제를 해결하려고 시도했습니다. 이러한 많은 연구들은 GPT-3.5 (175B)와 같은 대형 API 전용 파라미터 기반 모델에 의존했는데, 이는 비용이 많이 들고 쿼리 수에 제한이 있습니다. 본 논문은 LLaMA 2-7B, LLaMA 2-13B, Mistral 7B와 같은 세 가지 오픈소스 소형 LLM의 성능을 반자동화 프레임워크를 사용하여 탐구함으로써, LLM을 미세 조정하기 위한 명령어 데이터셋 생성에 필요한 인간의 개입, 노력 및 비용을 줄입니다. 더 나아가, 이러한 LLM 기반 프레임워크에 강화 학습(RL) 기반 훈련 알고리즘을 통합하면 추가적인 개선이 이루어짐을 보여줍니다. 데이터셋에 대한 평가 결과, 이러한 RL 기반 프레임워크는 이전 접근 방식에 비해 63-66%의 작업에서 상당한 개선을 달성했습니다.

English

Instruction-based Large Language Models (LLMs) have proven effective in numerous few-shot or zero-shot Natural Language Processing (NLP) tasks. However, creating human-annotated instruction data is time-consuming, expensive, and often limited in quantity and task diversity. Previous research endeavors have attempted to address this challenge by proposing frameworks capable of generating instructions in a semi-automated and task-agnostic manner directly from the model itself. Many of these efforts have relied on large API-only parameter-based models such as GPT-3.5 (175B), which are expensive, and subject to limits on a number of queries. This paper explores the performance of three open-source small LLMs such as LLaMA 2-7B, LLama 2-13B, and Mistral 7B, using a semi-automated framework, thereby reducing human intervention, effort, and cost required to generate an instruction dataset for fine-tuning LLMs. Furthermore, we demonstrate that incorporating a Reinforcement Learning (RL) based training algorithm into this LLMs-based framework leads to further enhancements. Our evaluation of the dataset reveals that these RL-based frameworks achieve a substantial improvements in 63-66% of the tasks compared to previous approaches.