De SIFo Benchmark: Onderzoek naar het Vermogen van Grote Taalmodellen om Sequentieel Instructies te Volgen

The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models

June 28, 2024

Auteurs: Xinyi Chen, Baohao Liao, Jirui Qi, Panagiotis Eustratiadis, Christof Monz, Arianna Bisazza, Maarten de Rijke

cs.AI

Samenvatting

Het volgen van meerdere instructies is een cruciale vaardigheid voor grote taalmmodellen (LLMs). Het evalueren van deze vaardigheid brengt aanzienlijke uitdagingen met zich mee: (i) beperkte samenhang tussen meerdere instructies, (ii) positionele bias waarbij de volgorde van instructies de prestaties van het model beïnvloedt, en (iii) een gebrek aan objectief verifieerbare taken. Om deze problemen aan te pakken, introduceren we een benchmark die is ontworpen om de vaardigheden van modellen om meerdere instructies te volgen te evalueren via taken voor sequentieel instructie volgen (SIFo). In SIFo is de succesvolle voltooiing van meerdere instructies verifieerbaar door alleen de laatste instructie te onderzoeken. Onze benchmark evalueert het volgen van instructies met behulp van vier taken (tekstwijziging, vraagbeantwoording, wiskunde en het volgen van beveiligingsregels), die elk verschillende aspecten van sequentieel instructie volgen beoordelen. Onze evaluatie van populaire LLMs, zowel closed-source als open-source, toont aan dat recentere en grotere modellen aanzienlijk beter presteren dan hun oudere en kleinere tegenhangers op de SIFo-taken, wat de effectiviteit van de benchmark bevestigt. Alle modellen hebben moeite met het volgen van reeksen instructies, wat wijst op een belangrijk gebrek aan robuustheid van de huidige taalmmodellen.

English

Following multiple instructions is a crucial ability for large language models (LLMs). Evaluating this ability comes with significant challenges: (i) limited coherence between multiple instructions, (ii) positional bias where the order of instructions affects model performance, and (iii) a lack of objectively verifiable tasks. To address these issues, we introduce a benchmark designed to evaluate models' abilities to follow multiple instructions through sequential instruction following (SIFo) tasks. In SIFo, the successful completion of multiple instructions is verifiable by examining only the final instruction. Our benchmark evaluates instruction following using four tasks (text modification, question answering, mathematics, and security rule following), each assessing different aspects of sequential instruction following. Our evaluation of popular LLMs, both closed-source and open-source, shows that more recent and larger models significantly outperform their older and smaller counterparts on the SIFo tasks, validating the benchmark's effectiveness. All models struggle with following sequences of instructions, hinting at an important lack of robustness of today's language models.