Le Y-Combinateur pour les LLM : Résoudre la dégradation des contextes longs avec le λ-calcul
The Y-Combinator for LLMs: Solving Long-Context Rot with λ-Calculus
March 20, 2026
Auteurs: Amartya Roy, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer, Haitham Bou-Ammar
cs.AI
Résumé
Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés comme raisonneurs généralistes, mais les entrées longues restent limitées par une fenêtre de contexte fixe. Les modèles de langage récursifs (RLM) abordent ce problème en externalisant l'invite et en résolvant récursivement des sous-problèmes. Cependant, les RLM existants dépendent d'une boucle lecture-évaluation-impression (REPL) ouverte dans laquelle le modèle génère du code de contrôle arbitraire, rendant l'exécution difficile à vérifier, à prédire et à analyser.
Nous présentons λ-RLM, un cadre pour le raisonnement en contexte long qui remplace la génération récursive de code libre par un runtime fonctionnel typé fondé sur le λ-calcul. Il exécute une bibliothèque compacte de combinateurs pré-vérifiés et n'utilise l'inférence neuronale que sur des sous-problèmes feuilles bornés, transformant le raisonnement récursif en un programme fonctionnel structuré avec un flux de contrôle explicite. Nous montrons que λ-RLM admet des garanties formelles absentes des RLM standards, incluant la terminaison, des bornes de coût en forme close, un contrôle de la précision selon la profondeur de récursion, et une règle de partition optimale sous un modèle de coût simple.
Empiriquement, sur quatre tâches de raisonnement en contexte long et neuf modèles de base, λ-RLM surpasse le RLM standard dans 29 des 36 comparaisons modèle-tâche, améliore la précision moyenne jusqu'à +21,9 points sur les différents niveaux de modèles, et réduit la latence jusqu'à 4,1 fois. Ces résultats montrent que le contrôle symbolique typé offre une base plus fiable et efficace pour le raisonnement en contexte long que la génération récursive de code ouverte. L'implémentation complète de λ-RLM est open-source pour la communauté à : https://github.com/lambda-calculus-LLM/lambda-RLM.
English
LLMs are increasingly used as general-purpose reasoners, but long inputs remain bottlenecked by a fixed context window. Recursive Language Models (RLMs) address this by externalising the prompt and recursively solving subproblems. Yet existing RLMs depend on an open-ended read-eval-print loop (REPL) in which the model generates arbitrary control code, making execution difficult to verify, predict, and analyse.
We introduce λ-RLM, a framework for long-context reasoning that replaces free-form recursive code generation with a typed functional runtime grounded in λ-calculus. It executes a compact library of pre-verified combinators and uses neural inference only on bounded leaf subproblems, turning recursive reasoning into a structured functional program with explicit control flow. We show that λ-RLM admits formal guarantees absent from standard RLMs, including termination, closed-form cost bounds, controlled accuracy scaling with recursion depth, and an optimal partition rule under a simple cost model. Empirically, across four long-context reasoning tasks and nine base models, λ-RLM outperforms standard RLM in 29 of 36 model-task comparisons, improves average accuracy by up to +21.9 points across model tiers, and reduces latency by up to 4.1x. These results show that typed symbolic control yields a more reliable and efficient foundation for long-context reasoning than open-ended recursive code generation. The complete implementation of λ-RLM, is open-sourced for the community at: https://github.com/lambda-calculus-LLM/lambda-RLM.