O Y-Combinator para LLMs: Resolvendo o Problema de Degradação de Contexto Longo com o λ-Cálculo

The Y-Combinator for LLMs: Solving Long-Context Rot with λ-Calculus

March 20, 2026

Autores: Amartya Roy, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer, Haitham Bou-Ammar

cs.AI

Resumo

Os modelos de linguagem grandes (LLMs) são cada vez mais utilizados como sistemas de raciocínio de propósito geral, mas entradas longas continuam limitadas por uma janela de contexto fixa. Os Modelos de Linguagem Recursivos (RLMs) abordam esse problema externalizando o prompt e resolvendo subproblemas recursivamente. No entanto, os RLMs existentes dependem de um loop de leitura-avaliação-impressão (REPL) de escopo aberto, no qual o modelo gera código de controle arbitrário, tornando a execução difícil de verificar, prever e analisar. Apresentamos λ-RLM, uma estrutura para raciocínio de contexto longo que substitui a geração de código recursivo de forma livre por um runtime funcional tipado baseado no λ-cálculo. Ele executa uma biblioteca compacta de combinadores pré-verificados e usa inferência neural apenas em subproblemas folha delimitados, transformando o raciocínio recursivo em um programa funcional estruturado com fluxo de controle explícito. Mostramos que λ-RLM admite garantias formais ausentes nos RLMs padrão, incluindo terminação, limites de custo em forma fechada, escala de precisão controlada com a profundidade de recursão e uma regra de partição ótima sob um modelo de custo simples. Empiricamente, em quatro tarefas de raciocínio de contexto longo e nove modelos base, λ-RLM supera o RLM padrão em 29 de 36 comparações modelo-tarefa, melhora a precisão média em até +21,9 pontos entre diferentes níveis de modelo e reduz a latência em até 4,1 vezes. Esses resultados mostram que o controle simbólico tipado oferece uma base mais confiável e eficiente para o raciocínio de contexto longo do que a geração de código recursivo de escopo aberto. A implementação completa do λ-RLM é de código aberto para a comunidade em: https://github.com/lambda-calculus-LLM/lambda-RLM.

English

LLMs are increasingly used as general-purpose reasoners, but long inputs remain bottlenecked by a fixed context window. Recursive Language Models (RLMs) address this by externalising the prompt and recursively solving subproblems. Yet existing RLMs depend on an open-ended read-eval-print loop (REPL) in which the model generates arbitrary control code, making execution difficult to verify, predict, and analyse. We introduce λ-RLM, a framework for long-context reasoning that replaces free-form recursive code generation with a typed functional runtime grounded in λ-calculus. It executes a compact library of pre-verified combinators and uses neural inference only on bounded leaf subproblems, turning recursive reasoning into a structured functional program with explicit control flow. We show that λ-RLM admits formal guarantees absent from standard RLMs, including termination, closed-form cost bounds, controlled accuracy scaling with recursion depth, and an optimal partition rule under a simple cost model. Empirically, across four long-context reasoning tasks and nine base models, λ-RLM outperforms standard RLM in 29 of 36 model-task comparisons, improves average accuracy by up to +21.9 points across model tiers, and reduces latency by up to 4.1x. These results show that typed symbolic control yields a more reliable and efficient foundation for long-context reasoning than open-ended recursive code generation. The complete implementation of λ-RLM, is open-sourced for the community at: https://github.com/lambda-calculus-LLM/lambda-RLM.