REFINE-AF: 自動フィードバックによる強化学習を用いて自己生成指示を通じて言語モデルを整合させるタスク非依存フレームワーク

REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback

May 10, 2025

著者: Aniruddha Roy, Pretam Ray, Abhilash Nandy, Somak Aditya, Pawan Goyal

cs.AI

要旨

命令ベースの大規模言語モデル（LLM）は、数ショットまたはゼロショットの自然言語処理（NLP）タスクにおいて効果的であることが証明されています。しかし、人間による注釈付き命令データの作成は時間がかかり、費用がかさむ上に、量とタスクの多様性が限られることが多いです。これまでの研究では、モデル自体から半自動的かつタスクに依存しない方法で命令を生成するフレームワークを提案することで、この課題に対処しようとしてきました。これらの取り組みの多くは、GPT-3.5（175B）のような大規模なAPI専用パラメータベースのモデルに依存しており、これらは高価で、クエリ数に制限があります。本論文では、LLaMA 2-7B、LLaMA 2-13B、Mistral 7Bといった3つのオープンソースの小型LLMの性能を、半自動フレームワークを使用して検証し、LLMのファインチューニング用の命令データセットを生成するために必要な人間の介入、労力、コストを削減します。さらに、このLLMベースのフレームワークに強化学習（RL）ベースのトレーニングアルゴリズムを組み込むことで、さらなる改善がもたらされることを示します。データセットの評価結果から、これらのRLベースのフレームワークは、従来のアプローチと比較して63～66%のタスクで大幅な改善を達成することが明らかになりました。

English

Instruction-based Large Language Models (LLMs) have proven effective in numerous few-shot or zero-shot Natural Language Processing (NLP) tasks. However, creating human-annotated instruction data is time-consuming, expensive, and often limited in quantity and task diversity. Previous research endeavors have attempted to address this challenge by proposing frameworks capable of generating instructions in a semi-automated and task-agnostic manner directly from the model itself. Many of these efforts have relied on large API-only parameter-based models such as GPT-3.5 (175B), which are expensive, and subject to limits on a number of queries. This paper explores the performance of three open-source small LLMs such as LLaMA 2-7B, LLama 2-13B, and Mistral 7B, using a semi-automated framework, thereby reducing human intervention, effort, and cost required to generate an instruction dataset for fine-tuning LLMs. Furthermore, we demonstrate that incorporating a Reinforcement Learning (RL) based training algorithm into this LLMs-based framework leads to further enhancements. Our evaluation of the dataset reveals that these RL-based frameworks achieve a substantial improvements in 63-66% of the tasks compared to previous approaches.