De Y-Combinator voor LLM's: Het oplossen van lang-context verval met λ-calculus
The Y-Combinator for LLMs: Solving Long-Context Rot with λ-Calculus
March 20, 2026
Auteurs: Amartya Roy, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer, Haitham Bou-Ammar
cs.AI
Samenvatting
LLM's worden steeds vaker gebruikt als algemene redeneerders, maar lange invoer wordt nog steeds beperkt door een vaste contextvenster. Recursieve Taalmodellen (RLM's) pakken dit aan door de prompt te externaliseren en subproblemen recursief op te lossen. Toch zijn bestaande RLM's afhankelijk van een open read-eval-print loop (REPL) waarin het model willekeurige controlecode genereert, wat de uitvoering moeilijk verifieerbaar, voorspelbaar en analyseerbaar maakt.
Wij introduceren λ-RLM, een raamwerk voor redeneren met lange context dat vrije-vorm recursieve codegeneratie vervangt door een getypeerde functionele runtime gebaseerd op λ-calculus. Het voert een compacte bibliotheek van vooraf geverifieerde combinatoren uit en gebruikt neurale inferentie alleen voor begrensde leaf-subproblemen, waardoor recursief redeneren verandert in een gestructureerd functioneel programma met expliciete control flow. Wij tonen aan dat λ-RLM formele garanties biedt die ontbreken in standaard RLM's, waaronder terminatie, gesloten kostenlimieten, gecontroleerde nauwkeurigheidsschaling met recursiediepte, en een optimale partitieregel onder een eenvoudig kostenmodel.
Empirisch gezien presteert λ-RLM, over vier redeneertaken met lange context en negen basismodellen, beter dan standaard RLM in 29 van de 36 model-taakvergelijkingen, verbetert de gemiddelde nauwkeurigheid met tot +21,9 punten over modelniveaus heen, en vermindert de latentie met tot 4,1x. Deze resultaten tonen aan dat getypeerde symbolische controle een betrouwbaarder en efficiënter fundament biedt voor redeneren met lange context dan open-einde recursieve codegeneratie. De volledige implementatie van λ-RLM is opensource beschikbaar voor de gemeenschap op: https://github.com/lambda-calculus-LLM/lambda-RLM.
English
LLMs are increasingly used as general-purpose reasoners, but long inputs remain bottlenecked by a fixed context window. Recursive Language Models (RLMs) address this by externalising the prompt and recursively solving subproblems. Yet existing RLMs depend on an open-ended read-eval-print loop (REPL) in which the model generates arbitrary control code, making execution difficult to verify, predict, and analyse.
We introduce λ-RLM, a framework for long-context reasoning that replaces free-form recursive code generation with a typed functional runtime grounded in λ-calculus. It executes a compact library of pre-verified combinators and uses neural inference only on bounded leaf subproblems, turning recursive reasoning into a structured functional program with explicit control flow. We show that λ-RLM admits formal guarantees absent from standard RLMs, including termination, closed-form cost bounds, controlled accuracy scaling with recursion depth, and an optimal partition rule under a simple cost model. Empirically, across four long-context reasoning tasks and nine base models, λ-RLM outperforms standard RLM in 29 of 36 model-task comparisons, improves average accuracy by up to +21.9 points across model tiers, and reduces latency by up to 4.1x. These results show that typed symbolic control yields a more reliable and efficient foundation for long-context reasoning than open-ended recursive code generation. The complete implementation of λ-RLM, is open-sourced for the community at: https://github.com/lambda-calculus-LLM/lambda-RLM.