Filare il filo d'oro: Benchmarking della generazione di testi lunghi nei modelli linguistici

Spinning the Golden Thread: Benchmarking Long-Form Generation in Language Models

September 3, 2024

Autori: Yuhao Wu, Ming Shan Hee, Zhiqing Hu, Roy Ka-Wei Lee

cs.AI

Abstract

Le capacità dei modelli linguistici a lungo contesto (LM) vengono spesso valutate utilizzando il test "Ago in un pagliaio" (Needle-in-a-Haystack, NIAH), che comprende compiti progettati per valutare la capacità di un modello di identificare informazioni specifiche ("ago") all'interno di lunghe sequenze di testo ("pagliaio"). Mentre questi benchmark misurano quanto bene i modelli comprendono sequenze di input a lungo contesto, non valutano efficacemente la qualità della generazione di testo a lungo formato, un aspetto critico per applicazioni come proposte di design e scrittura creativa. Per affrontare questa lacuna, abbiamo introdotto un nuovo benchmark di valutazione del testo a lungo formato, Spinning the Golden Thread (SGT), che mette alla prova la capacità dei modelli di identificare eventi specifici all'interno di lunghe sequenze di testo generate. In questo benchmark, chiediamo ai LM a lungo contesto di creare testo a lungo formato che deve includere eventi o vincoli specifici e valutare la loro capacità di incorporare questi elementi. Abbiamo valutato dieci LM a lungo contesto in quattro scenari distinti, tre tipi di istruzioni di prompt e due diverse impostazioni di lunghezza di generazione (16K e 32K). Anche se questi modelli ottengono buoni risultati nei benchmark NIAH, nessuno ha dimostrato una performance soddisfacente nel test Spinning the Golden Thread, sollevando preoccupazioni sulla loro capacità di generare testo a lungo formato coerente che segua le istruzioni. Inoltre, all'aumentare della lunghezza del testo generato, tutti i modelli mostrano un significativo calo delle prestazioni.

English

The abilities of long-context language models (LMs) are often evaluated using the "Needle-in-a-Haystack" (NIAH) test, which comprises tasks designed to assess a model's ability to identify specific information ("needle") within large text sequences ("haystack"). While these benchmarks measure how well models understand long-context input sequences, they do not effectively gauge the quality of long-form text generation--a critical aspect for applications such as design proposals and creative writing. To address this gap, we have introduced a new long-form text evaluation benchmark, Spinning the Golden Thread (SGT), which tests models' ability to identify specific events within generated long text sequences. In this benchmark, we prompt long-context LMs to create long-form text that must include particular events or constraints and evaluate their ability to incorporate these elements. We evaluated ten long-context LMs across four distinct scenarios, three types of prompt instructions, and two different generation-length settings (16K and 32K). Although these models perform well on NIAH benchmarks, none demonstrated satisfactory performance on the Spinning the Golden Thread, raising concerns about their ability to generate coherent long-form text that follows instructions. Additionally, as the length of the generated text increases, all models exhibit a significant drop in performance.