El Combinador Y para los LLM: Resolviendo la Degradación de Contexto Largo con λ-Cálculo
The Y-Combinator for LLMs: Solving Long-Context Rot with λ-Calculus
March 20, 2026
Autores: Amartya Roy, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer, Haitham Bou-Ammar
cs.AI
Resumen
Los modelos de lenguaje grandes (LLMs) se utilizan cada vez más como razonadores de propósito general, pero las entradas largas siguen limitadas por una ventana de contexto fija. Los Modelos de Lenguaje Recursivos (RLMs) abordan esto externalizando el prompt y resolviendo subproblemas de forma recursiva. Sin embargo, los RLMs existentes dependen de un bucle lectura-evaluación-impresión (REPL) abierto en el que el modelo genera código de control arbitrario, lo que dificulta la verificación, predicción y análisis de la ejecución.
Presentamos λ-RLM, un marco para el razonamiento de contexto largo que reemplaza la generación de código recursivo de forma libre con un entorno de ejecución funcional tipado basado en λ-cálculo. Este ejecuta una biblioteca compacta de combinadores previamente verificados y utiliza inferencia neuronal solo en subproblemas hoja acotados, transformando el razonamiento recursivo en un programa funcional estructurado con un flujo de control explícito. Demostramos que λ-RLM admite garantías formales ausentes en los RLMs estándar, incluyendo terminación, límites de coste en forma cerrada, escalado controlado de la precisión con la profundidad de recursión, y una regla de partición óptima bajo un modelo de coste simple.
Empíricamente, en cuatro tareas de razonamiento de contexto largo y nueve modelos base, λ-RLM supera al RLM estándar en 29 de 36 comparaciones modelo-tarea, mejora la precisión promedio hasta en +21.9 puntos entre diferentes niveles de modelos y reduce la latencia hasta en 4.1 veces. Estos resultados muestran que el control simbólico tipado proporciona una base más confiable y eficiente para el razonamiento de contexto largo que la generación de código recursivo abierto. La implementación completa de λ-RLM es de código abierto para la comunidad en: https://github.com/lambda-calculus-LLM/lambda-RLM.
English
LLMs are increasingly used as general-purpose reasoners, but long inputs remain bottlenecked by a fixed context window. Recursive Language Models (RLMs) address this by externalising the prompt and recursively solving subproblems. Yet existing RLMs depend on an open-ended read-eval-print loop (REPL) in which the model generates arbitrary control code, making execution difficult to verify, predict, and analyse.
We introduce λ-RLM, a framework for long-context reasoning that replaces free-form recursive code generation with a typed functional runtime grounded in λ-calculus. It executes a compact library of pre-verified combinators and uses neural inference only on bounded leaf subproblems, turning recursive reasoning into a structured functional program with explicit control flow. We show that λ-RLM admits formal guarantees absent from standard RLMs, including termination, closed-form cost bounds, controlled accuracy scaling with recursion depth, and an optimal partition rule under a simple cost model. Empirically, across four long-context reasoning tasks and nine base models, λ-RLM outperforms standard RLM in 29 of 36 model-task comparisons, improves average accuracy by up to +21.9 points across model tiers, and reduces latency by up to 4.1x. These results show that typed symbolic control yields a more reliable and efficient foundation for long-context reasoning than open-ended recursive code generation. The complete implementation of λ-RLM, is open-sourced for the community at: https://github.com/lambda-calculus-LLM/lambda-RLM.