SIFoベンチマーク：大規模言語モデルの逐次指示追従能力の調査

The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models

June 28, 2024

著者: Xinyi Chen, Baohao Liao, Jirui Qi, Panagiotis Eustratiadis, Christof Monz, Arianna Bisazza, Maarten de Rijke

cs.AI

要旨

複数の指示に従う能力は、大規模言語モデル（LLM）にとって重要なスキルである。この能力を評価する際には、以下のような大きな課題が存在する：(i) 複数の指示間の一貫性が限定的であること、(ii) 指示の順序がモデルの性能に影響を与える位置バイアス、(iii) 客観的に検証可能なタスクの欠如。これらの課題に対処するため、我々は逐次指示追従（SIFo）タスクを通じて、モデルが複数の指示に従う能力を評価するためのベンチマークを導入した。SIFoでは、複数の指示の成功した実行は、最終的な指示のみを検証することで確認できる。我々のベンチマークは、テキスト修正、質問応答、数学、セキュリティルールの遵守という4つのタスクを用いて、逐次指示追従の異なる側面を評価する。クローズドソースおよびオープンソースの主要なLLMを評価した結果、より新しく大規模なモデルが、SIFoタスクにおいて古く小規模なモデルを大幅に上回ることが示され、ベンチマークの有効性が確認された。すべてのモデルが一連の指示に従うことに苦戦しており、現在の言語モデルには重要な堅牢性の欠如が示唆されている。

English

Following multiple instructions is a crucial ability for large language models (LLMs). Evaluating this ability comes with significant challenges: (i) limited coherence between multiple instructions, (ii) positional bias where the order of instructions affects model performance, and (iii) a lack of objectively verifiable tasks. To address these issues, we introduce a benchmark designed to evaluate models' abilities to follow multiple instructions through sequential instruction following (SIFo) tasks. In SIFo, the successful completion of multiple instructions is verifiable by examining only the final instruction. Our benchmark evaluates instruction following using four tasks (text modification, question answering, mathematics, and security rule following), each assessing different aspects of sequential instruction following. Our evaluation of popular LLMs, both closed-source and open-source, shows that more recent and larger models significantly outperform their older and smaller counterparts on the SIFo tasks, validating the benchmark's effectiveness. All models struggle with following sequences of instructions, hinting at an important lack of robustness of today's language models.