Le Benchmark SIFo : Étude des Capacités de Suivi d'Instructions Séquentielles des Modèles de Langage à Grande Échelle

The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models

June 28, 2024

Auteurs: Xinyi Chen, Baohao Liao, Jirui Qi, Panagiotis Eustratiadis, Christof Monz, Arianna Bisazza, Maarten de Rijke

cs.AI

Résumé

Suivre plusieurs instructions est une capacité cruciale pour les grands modèles de langage (LLMs). L'évaluation de cette capacité présente des défis significatifs : (i) une cohérence limitée entre les instructions multiples, (ii) un biais positionnel où l'ordre des instructions affecte les performances du modèle, et (iii) un manque de tâches objectivement vérifiables. Pour résoudre ces problèmes, nous introduisons un benchmark conçu pour évaluer les capacités des modèles à suivre plusieurs instructions à travers des tâches de suivi séquentiel d'instructions (SIFo). Dans SIFo, la réussite de plusieurs instructions est vérifiable en examinant uniquement la dernière instruction. Notre benchmark évalue le suivi d'instructions à l'aide de quatre tâches (modification de texte, réponse à des questions, mathématiques et respect de règles de sécurité), chacune évaluant différents aspects du suivi séquentiel d'instructions. Notre évaluation des LLMs populaires, à la fois propriétaires et open-source, montre que les modèles plus récents et plus grands surpassent significativement leurs homologues plus anciens et plus petits sur les tâches SIFo, validant ainsi l'efficacité du benchmark. Tous les modèles éprouvent des difficultés à suivre des séquences d'instructions, révélant un manque important de robustesse des modèles de langage actuels.

English

Following multiple instructions is a crucial ability for large language models (LLMs). Evaluating this ability comes with significant challenges: (i) limited coherence between multiple instructions, (ii) positional bias where the order of instructions affects model performance, and (iii) a lack of objectively verifiable tasks. To address these issues, we introduce a benchmark designed to evaluate models' abilities to follow multiple instructions through sequential instruction following (SIFo) tasks. In SIFo, the successful completion of multiple instructions is verifiable by examining only the final instruction. Our benchmark evaluates instruction following using four tasks (text modification, question answering, mathematics, and security rule following), each assessing different aspects of sequential instruction following. Our evaluation of popular LLMs, both closed-source and open-source, shows that more recent and larger models significantly outperform their older and smaller counterparts on the SIFo tasks, validating the benchmark's effectiveness. All models struggle with following sequences of instructions, hinting at an important lack of robustness of today's language models.