Lo Y-Combinator per gli LLM: Risolvere il decadimento del contesto lungo con il λ-Calcolo
The Y-Combinator for LLMs: Solving Long-Context Rot with λ-Calculus
March 20, 2026
Autori: Amartya Roy, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer, Haitham Bou-Ammar
cs.AI
Abstract
I modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati come ragionatori generici, ma gli input lunghi rimangono limitati da una finestra di contesto fissa. I Modelli Linguistici Ricorsivi (RLM) affrontano questo problema esternalizzando il prompt e risolvendo ricorsivamente i sottoproblemi. Tuttavia, gli RLM esistenti dipendono da un ciclo read-eval-print loop (REPL) aperto in cui il modello genera codice di controllo arbitrario, rendendo l'esecuzione difficile da verificare, prevedere e analizzare.
Introduciamo λ-RLM, un framework per il ragionamento a contesto lungo che sostituisce la generazione di codice ricorsivo libero con un runtime funzionale tipato basato sul λ-calcolo. Questo framework esegue una libreria compatta di combinatori pre-verificati e utilizza l'inferenza neurale solo su sottoproblemi foglia delimitati, trasformando il ragionamento ricorsivo in un programma funzionale strutturato con un flusso di controllo esplicito. Dimostriamo che λ-RLM ammette garanzie formali assenti negli RLM standard, inclusi la terminazione, limiti di costo in forma chiusa, un controllo della precisione in scala con la profondità della ricorsione e una regola di partizione ottimale sotto un semplice modello di costo. Empiricamente, in quattro compiti di ragionamento a contesto lungo e nove modelli base, λ-RLM supera l'RLM standard in 29 su 36 confronti modello-compito, migliora la precisione media fino a +21,9 punti attraverso i diversi livelli di modello e riduce la latenza fino a 4,1 volte. Questi risultati mostrano che il controllo simbolico tipato fornisce una base più affidabile ed efficiente per il ragionamento a contesto lungo rispetto alla generazione di codice ricorsivo aperta. L'implementazione completa di λ-RLM è open-source e disponibile per la comunità all'indirizzo: https://github.com/lambda-calculus-LLM/lambda-RLM.
English
LLMs are increasingly used as general-purpose reasoners, but long inputs remain bottlenecked by a fixed context window. Recursive Language Models (RLMs) address this by externalising the prompt and recursively solving subproblems. Yet existing RLMs depend on an open-ended read-eval-print loop (REPL) in which the model generates arbitrary control code, making execution difficult to verify, predict, and analyse.
We introduce λ-RLM, a framework for long-context reasoning that replaces free-form recursive code generation with a typed functional runtime grounded in λ-calculus. It executes a compact library of pre-verified combinators and uses neural inference only on bounded leaf subproblems, turning recursive reasoning into a structured functional program with explicit control flow. We show that λ-RLM admits formal guarantees absent from standard RLMs, including termination, closed-form cost bounds, controlled accuracy scaling with recursion depth, and an optimal partition rule under a simple cost model. Empirically, across four long-context reasoning tasks and nine base models, λ-RLM outperforms standard RLM in 29 of 36 model-task comparisons, improves average accuracy by up to +21.9 points across model tiers, and reduces latency by up to 4.1x. These results show that typed symbolic control yields a more reliable and efficient foundation for long-context reasoning than open-ended recursive code generation. The complete implementation of λ-RLM, is open-sourced for the community at: https://github.com/lambda-calculus-LLM/lambda-RLM.