Вращая золотую нить: Оценка длинноформатной генерации в языковых моделях

Spinning the Golden Thread: Benchmarking Long-Form Generation in Language Models

September 3, 2024

Авторы: Yuhao Wu, Ming Shan Hee, Zhiqing Hu, Roy Ka-Wei Lee

cs.AI

Аннотация

Способности моделей языка с длинным контекстом (LM) часто оцениваются с использованием теста "Иголка в стоге сена" (NIAH), который включает задачи, разработанные для оценки способности модели идентифицировать конкретную информацию ("иголку") в больших текстовых последовательностях ("стоге сена"). Хотя эти бенчмарки измеряют, насколько хорошо модели понимают входные последовательности с длинным контекстом, они не эффективно оценивают качество генерации длинных текстов - критически важный аспект для приложений, таких как разработка предложений и творческое письмо. Для решения этого пробела мы представляем новый бенчмарк оценки длинных текстов - "Прядение золотой нити" (SGT), который проверяет способность моделей идентифицировать конкретные события в сгенерированных длинных текстовых последовательностях. В этом бенчмарке мы подталкиваем модели LM с длинным контекстом создавать длинные тексты, которые должны включать определенные события или ограничения, и оцениваем их способность включать эти элементы. Мы оценили десять моделей LM с длинным контекстом в четырех различных сценариях, тремя типами инструкций для подсказок и двумя разными настройками длины генерации (16K и 32K). Хотя эти модели успешно справляются с бенчмарками NIAH, ни одна из них не продемонстрировала удовлетворительной производительности в бенчмарке "Прядение золотой нити", что вызывает опасения относительно их способности генерировать последовательные длинные тексты, следуя инструкциям. Кроме того, по мере увеличения длины сгенерированного текста все модели показывают значительное снижение производительности.

English

The abilities of long-context language models (LMs) are often evaluated using the "Needle-in-a-Haystack" (NIAH) test, which comprises tasks designed to assess a model's ability to identify specific information ("needle") within large text sequences ("haystack"). While these benchmarks measure how well models understand long-context input sequences, they do not effectively gauge the quality of long-form text generation--a critical aspect for applications such as design proposals and creative writing. To address this gap, we have introduced a new long-form text evaluation benchmark, Spinning the Golden Thread (SGT), which tests models' ability to identify specific events within generated long text sequences. In this benchmark, we prompt long-context LMs to create long-form text that must include particular events or constraints and evaluate their ability to incorporate these elements. We evaluated ten long-context LMs across four distinct scenarios, three types of prompt instructions, and two different generation-length settings (16K and 32K). Although these models perform well on NIAH benchmarks, none demonstrated satisfactory performance on the Spinning the Golden Thread, raising concerns about their ability to generate coherent long-form text that follows instructions. Additionally, as the length of the generated text increases, all models exhibit a significant drop in performance.