Hilando el Hilo de Oro: Evaluación Comparativa de la Generación de Textos Extensos en Modelos de Lenguaje

Spinning the Golden Thread: Benchmarking Long-Form Generation in Language Models

September 3, 2024

Autores: Yuhao Wu, Ming Shan Hee, Zhiqing Hu, Roy Ka-Wei Lee

cs.AI

Resumen

Las capacidades de los modelos de lenguaje de largo contexto (LMs) suelen evaluarse mediante el test "Aguja en un Pajar" (NIAH), que comprende tareas diseñadas para evaluar la capacidad de un modelo para identificar información específica ("aguja") dentro de secuencias extensas de texto ("pajar"). Si bien estos puntos de referencia miden qué tan bien los modelos comprenden secuencias de entrada de largo contexto, no evalúan de manera efectiva la calidad de la generación de texto de formato extenso, un aspecto crítico para aplicaciones como propuestas de diseño y escritura creativa. Para abordar esta brecha, hemos introducido un nuevo punto de referencia de evaluación de texto de formato extenso, "Hilando el Hilo de Oro" (SGT), que evalúa la capacidad de los modelos para identificar eventos específicos dentro de secuencias largas de texto generadas. En este punto de referencia, solicitamos a los LMs de largo contexto crear texto de formato extenso que debe incluir eventos o restricciones particulares y evaluamos su capacidad para incorporar estos elementos. Evaluamos diez LMs de largo contexto en cuatro escenarios distintos, tres tipos de instrucciones de solicitud y dos configuraciones de longitud de generación diferentes (16K y 32K). Aunque estos modelos tienen un buen desempeño en los puntos de referencia NIAH, ninguno demostró un rendimiento satisfactorio en "Hilando el Hilo de Oro", lo que plantea preocupaciones sobre su capacidad para generar texto de formato extenso coherente que siga instrucciones. Además, a medida que aumenta la longitud del texto generado, todos los modelos muestran una disminución significativa en su rendimiento.

English

The abilities of long-context language models (LMs) are often evaluated using the "Needle-in-a-Haystack" (NIAH) test, which comprises tasks designed to assess a model's ability to identify specific information ("needle") within large text sequences ("haystack"). While these benchmarks measure how well models understand long-context input sequences, they do not effectively gauge the quality of long-form text generation--a critical aspect for applications such as design proposals and creative writing. To address this gap, we have introduced a new long-form text evaluation benchmark, Spinning the Golden Thread (SGT), which tests models' ability to identify specific events within generated long text sequences. In this benchmark, we prompt long-context LMs to create long-form text that must include particular events or constraints and evaluate their ability to incorporate these elements. We evaluated ten long-context LMs across four distinct scenarios, three types of prompt instructions, and two different generation-length settings (16K and 32K). Although these models perform well on NIAH benchmarks, none demonstrated satisfactory performance on the Spinning the Golden Thread, raising concerns about their ability to generate coherent long-form text that follows instructions. Additionally, as the length of the generated text increases, all models exhibit a significant drop in performance.