Il Benchmark SIFo: Indagine sulla Capacità dei Modelli Linguistici di Grande Scala nel Seguire Istruzioni Sequenziali

The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models

June 28, 2024

Autori: Xinyi Chen, Baohao Liao, Jirui Qi, Panagiotis Eustratiadis, Christof Monz, Arianna Bisazza, Maarten de Rijke

cs.AI

Abstract

Seguire più istruzioni è un'abilità cruciale per i grandi modelli linguistici (LLM). Valutare questa capacità presenta sfide significative: (i) coerenza limitata tra più istruzioni, (ii) bias posizionale in cui l'ordine delle istruzioni influisce sulle prestazioni del modello e (iii) mancanza di compiti oggettivamente verificabili. Per affrontare questi problemi, introduciamo un benchmark progettato per valutare le capacità dei modelli di seguire più istruzioni attraverso compiti di sequenziale istruzione seguente (SIFo). In SIFo, il completamento con successo di più istruzioni è verificabile esaminando solo l'istruzione finale. Il nostro benchmark valuta il seguire le istruzioni utilizzando quattro compiti (modifica del testo, risposta a domande, matematica e rispetto delle regole di sicurezza), ciascuno dei quali valuta diversi aspetti del seguire istruzioni sequenziali. La nostra valutazione di popolari LLM, sia closed-source che open-source, mostra che i modelli più recenti e di maggiori dimensioni superano significativamente le loro controparti più vecchie e più piccole nei compiti SIFo, convalidando l'efficacia del benchmark. Tutti i modelli faticano a seguire sequenze di istruzioni, suggerendo una mancanza importante di robustezza negli attuali modelli linguistici.

English

Following multiple instructions is a crucial ability for large language models (LLMs). Evaluating this ability comes with significant challenges: (i) limited coherence between multiple instructions, (ii) positional bias where the order of instructions affects model performance, and (iii) a lack of objectively verifiable tasks. To address these issues, we introduce a benchmark designed to evaluate models' abilities to follow multiple instructions through sequential instruction following (SIFo) tasks. In SIFo, the successful completion of multiple instructions is verifiable by examining only the final instruction. Our benchmark evaluates instruction following using four tasks (text modification, question answering, mathematics, and security rule following), each assessing different aspects of sequential instruction following. Our evaluation of popular LLMs, both closed-source and open-source, shows that more recent and larger models significantly outperform their older and smaller counterparts on the SIFo tasks, validating the benchmark's effectiveness. All models struggle with following sequences of instructions, hinting at an important lack of robustness of today's language models.