Der SIFo Benchmark: Untersuchung der Fähigkeit großer Sprachmodelle zur sequenziellen Anweisungsbefolgung

The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models

June 28, 2024

Autoren: Xinyi Chen, Baohao Liao, Jirui Qi, Panagiotis Eustratiadis, Christof Monz, Arianna Bisazza, Maarten de Rijke

cs.AI

Zusammenfassung

Das Befolgen mehrerer Anweisungen ist eine entscheidende Fähigkeit für große Sprachmodelle (LLMs). Die Bewertung dieser Fähigkeit birgt erhebliche Herausforderungen: (i) begrenzte Kohärenz zwischen mehreren Anweisungen, (ii) Positionsbias, bei dem die Reihenfolge der Anweisungen die Modellleistung beeinflusst, und (iii) ein Mangel an objektiv überprüfbaren Aufgaben. Um diese Probleme anzugehen, führen wir einen Benchmark ein, der entwickelt wurde, um die Fähigkeiten von Modellen zu bewerten, mehreren Anweisungen durch sequenzielle Anweisungsbefolgungsaufgaben zu folgen. Bei SIFo kann der erfolgreiche Abschluss mehrerer Anweisungen durch die Prüfung nur der letzten Anweisung überprüft werden. Unser Benchmark bewertet die Anweisungsbefolgung anhand von vier Aufgaben (Textänderung, Fragebeantwortung, Mathematik und Sicherheitsregelbefolgung), die jeweils verschiedene Aspekte der sequenziellen Anweisungsbefolgung bewerten. Unsere Bewertung beliebter LLMs, sowohl geschlossener als auch offener Quellen, zeigt, dass neuere und größere Modelle auf den SIFo-Aufgaben signifikant besser abschneiden als ihre älteren und kleineren Gegenstücke, was die Wirksamkeit des Benchmarks bestätigt. Alle Modelle haben Schwierigkeiten, Sequenzen von Anweisungen zu befolgen, was auf einen wichtigen Mangel an Robustheit der heutigen Sprachmodelle hinweist.

English

Following multiple instructions is a crucial ability for large language models (LLMs). Evaluating this ability comes with significant challenges: (i) limited coherence between multiple instructions, (ii) positional bias where the order of instructions affects model performance, and (iii) a lack of objectively verifiable tasks. To address these issues, we introduce a benchmark designed to evaluate models' abilities to follow multiple instructions through sequential instruction following (SIFo) tasks. In SIFo, the successful completion of multiple instructions is verifiable by examining only the final instruction. Our benchmark evaluates instruction following using four tasks (text modification, question answering, mathematics, and security rule following), each assessing different aspects of sequential instruction following. Our evaluation of popular LLMs, both closed-source and open-source, shows that more recent and larger models significantly outperform their older and smaller counterparts on the SIFo tasks, validating the benchmark's effectiveness. All models struggle with following sequences of instructions, hinting at an important lack of robustness of today's language models.