Der Y-Kombinator für LLMs: Lösung des Langkontext-Verfalls mit λ-Kalkül
The Y-Combinator for LLMs: Solving Long-Context Rot with λ-Calculus
March 20, 2026
Autoren: Amartya Roy, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer, Haitham Bou-Ammar
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) werden zunehmend als universelle Problemlöser eingesetzt, doch lange Eingaben werden nach wie vor durch ein festes Kontextfenster begrenzt. Rekursive Sprachmodelle (RLMs) adressieren dies, indem sie den Prompt externalisieren und Teilprobleme rekursiv lösen. Bisherige RLMs sind jedoch auf eine offene Lese-Auswerten-Drucken-Schleife (REPL) angewiesen, in der das Modell beliebigen Steuercode generiert, was die Ausführung schwer verifizierbar, vorhersagbar und analysierbar macht.
Wir stellen λ-RLM vor, ein Framework für Reasoning mit langem Kontext, das die Erzeugung von freiem rekursivem Code durch eine typisierte funktionale Laufzeitumgebung ersetzt, die auf dem λ-Kalkül basiert. Es führt eine kompakte Bibliothek von vorab verifizierten Kombinatoren aus und verwendet neuronale Inferenz nur für beschränkte Teilprobleme auf Blattebene. Dadurch wird rekursives Reasoning in ein strukturiertes funktionales Programm mit explizitem Kontrollfluss überführt. Wir zeigen, dass λ-RLM formale Garantien bietet, die in standardmäßigen RLMs fehlen, darunter Terminierung, geschlossene Kostenschranken, kontrollierte Genauigkeitsskalierung mit der Rekursionstiefe und eine optimale Partitionierungsregel unter einem einfachen Kostenmodell.
Empirisch übertrifft λ-RLM in vier Reasoning-Aufgaben mit langem Kontext und neun Basismodellen den Standard-RLM in 29 von 36 Modell-Aufgaben-Vergleichen, steigert die durchschnittliche Genauigkeit über verschiedene Modellklassen hinweg um bis zu +21,9 Prozentpunkte und reduziert die Latenz um bis zum 4,1-fachen. Diese Ergebnisse zeigen, dass typisierte symbolische Steuerung eine zuverlässigere und effizientere Grundlage für Reasoning mit langem Kontext bietet als die Erzeugung von offenem rekursivem Code. Die vollständige Implementierung von λ-RLM ist unter https://github.com/lambda-calculus-LLM/lambda-RLM für die Community quelloffen verfügbar.
English
LLMs are increasingly used as general-purpose reasoners, but long inputs remain bottlenecked by a fixed context window. Recursive Language Models (RLMs) address this by externalising the prompt and recursively solving subproblems. Yet existing RLMs depend on an open-ended read-eval-print loop (REPL) in which the model generates arbitrary control code, making execution difficult to verify, predict, and analyse.
We introduce λ-RLM, a framework for long-context reasoning that replaces free-form recursive code generation with a typed functional runtime grounded in λ-calculus. It executes a compact library of pre-verified combinators and uses neural inference only on bounded leaf subproblems, turning recursive reasoning into a structured functional program with explicit control flow. We show that λ-RLM admits formal guarantees absent from standard RLMs, including termination, closed-form cost bounds, controlled accuracy scaling with recursion depth, and an optimal partition rule under a simple cost model. Empirically, across four long-context reasoning tasks and nine base models, λ-RLM outperforms standard RLM in 29 of 36 model-task comparisons, improves average accuracy by up to +21.9 points across model tiers, and reduces latency by up to 4.1x. These results show that typed symbolic control yields a more reliable and efficient foundation for long-context reasoning than open-ended recursive code generation. The complete implementation of λ-RLM, is open-sourced for the community at: https://github.com/lambda-calculus-LLM/lambda-RLM.