Mudando o Foco da Pesquisa em LLMs de Contexto Longo da Entrada para a Saída

Shifting Long-Context LLMs Research from Input to Output

March 6, 2025

Autores: Yuhao Wu, Yushi Bai, Zhiqing Hu, Shangqing Tu, Ming Shan Hee, Juanzi Li, Roy Ka-Wei Lee

cs.AI

Resumo

Os avanços recentes em modelos de linguagem de grande escala (LLMs) com contexto longo têm se concentrado principalmente no processamento de contextos de entrada extensos, resultando em progressos significativos na compreensão de contextos longos. No entanto, o aspecto igualmente crítico da geração de saídas de longo formato tem recebido relativamente menos atenção. Este artigo defende uma mudança de paradigma na pesquisa de PLN para abordar os desafios da geração de saídas longas. Tarefas como escrita de romances, planejamento de longo prazo e raciocínio complexo exigem que os modelos compreendam contextos extensos e produzam textos estendidos coerentes, contextualmente ricos e logicamente consistentes. Essas demandas destacam uma lacuna crítica nas capacidades atuais dos LLMs. Ressaltamos a importância desse domínio pouco explorado e defendemos esforços concentrados para desenvolver LLMs fundamentais projetados para gerar saídas de longo formato de alta qualidade, que possuem um imenso potencial para aplicações no mundo real.

English

Recent advancements in long-context Large Language Models (LLMs) have primarily concentrated on processing extended input contexts, resulting in significant strides in long-context comprehension. However, the equally critical aspect of generating long-form outputs has received comparatively less attention. This paper advocates for a paradigm shift in NLP research toward addressing the challenges of long-output generation. Tasks such as novel writing, long-term planning, and complex reasoning require models to understand extensive contexts and produce coherent, contextually rich, and logically consistent extended text. These demands highlight a critical gap in current LLM capabilities. We underscore the importance of this under-explored domain and call for focused efforts to develop foundational LLMs tailored for generating high-quality, long-form outputs, which hold immense potential for real-world applications.