Het verleggen van het onderzoek naar LLM's met lange context van input naar output

Shifting Long-Context LLMs Research from Input to Output

March 6, 2025

Auteurs: Yuhao Wu, Yushi Bai, Zhiqing Hu, Shangqing Tu, Ming Shan Hee, Juanzi Li, Roy Ka-Wei Lee

cs.AI

Samenvatting

Recente vooruitgang in Large Language Models (LLM's) met een lange context heeft zich voornamelijk gericht op het verwerken van uitgebreide invoercontexten, wat heeft geleid tot aanzienlijke vorderingen in het begrijpen van lange contexten. Het even cruciale aspect van het genereren van langere uitvoer heeft echter relatief minder aandacht gekregen. Dit artikel pleit voor een paradigmaverschuiving in NLP-onderzoek naar het aanpakken van de uitdagingen van het genereren van lange uitvoer. Taken zoals het schrijven van romans, langetermijnplanning en complex redeneren vereisen dat modellen uitgebreide contexten begrijpen en samenhangende, contextueel rijke en logisch consistente langere tekst produceren. Deze eisen benadrukken een kritieke kloof in de huidige mogelijkheden van LLM's. Wij benadrukken het belang van dit onderbelichte domein en roepen op tot gerichte inspanningen om fundamentele LLM's te ontwikkelen die zijn afgestemd op het genereren van hoogwaardige, langere uitvoer, wat enorm potentieel heeft voor toepassingen in de echte wereld.

English

Recent advancements in long-context Large Language Models (LLMs) have primarily concentrated on processing extended input contexts, resulting in significant strides in long-context comprehension. However, the equally critical aspect of generating long-form outputs has received comparatively less attention. This paper advocates for a paradigm shift in NLP research toward addressing the challenges of long-output generation. Tasks such as novel writing, long-term planning, and complex reasoning require models to understand extensive contexts and produce coherent, contextually rich, and logically consistent extended text. These demands highlight a critical gap in current LLM capabilities. We underscore the importance of this under-explored domain and call for focused efforts to develop foundational LLMs tailored for generating high-quality, long-form outputs, which hold immense potential for real-world applications.