Y-комбинатор для больших языковых моделей: решение проблемы деградации длинного контекста с помощью λ-исчисления
The Y-Combinator for LLMs: Solving Long-Context Rot with λ-Calculus
March 20, 2026
Авторы: Amartya Roy, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer, Haitham Bou-Ammar
cs.AI
Аннотация
Крупные языковые модели (LLM) все чаще используются как универсальные системы для рассуждений, однако длинные входные данные по-прежнему упираются в ограничение фиксированного контекстного окна. Рекурсивные языковые модели (RLM) решают эту проблему, экстернализируя промпт и рекурсивно решая подзадачи. Однако существующие RLM зависят от неограниченного цикла «чтение-вычисление-печать» (REPL), в рамках которого модель генерирует произвольный управляющий код, что затрудняет верификацию, прогнозирование и анализ выполнения.
Мы представляем λ-RLM — фреймворк для рассуждений в длинном контексте, который заменяет свободную генерацию рекурсивного кода на типизированную функциональную среду выполнения, основанную на λ-исчислении. Она исполняет компактную библиотеку предварительно верифицированных комбинаторов и использует нейросетевой вывод только для ограниченных терминальных подзадач, превращая рекурсивные рассуждения в структурированную функциональную программу с явным потоком управления. Мы показываем, что λ-RLM допускает формальные гарантии, отсутствующие в стандартных RLM, включая завершаемость, замкнутые оценки вычислительной сложности, контролируемое масштабирование точности с глубиной рекурсии и оптимальное правило разбиения в рамках простой стоимостной модели.
Эмпирически, на четырех задачах рассуждений в длинном контексте и девяти базовых моделях, λ-RLM превосходит стандартную RLM в 29 из 36 сравнений «модель-задача», повышает среднюю точность до +21.9 пункта across различным уровням моделей и снижает задержку до 4.1 раза. Эти результаты демонстрируют, что типизированное символьное управление обеспечивает более надежную и эффективную основу для рассуждений в длинном контексте, чем свободная генерация рекурсивного кода. Полная реализация λ-RLM имеет открытый исходный код для сообщества по адресу: https://github.com/lambda-calculus-LLM/lambda-RLM.
English
LLMs are increasingly used as general-purpose reasoners, but long inputs remain bottlenecked by a fixed context window. Recursive Language Models (RLMs) address this by externalising the prompt and recursively solving subproblems. Yet existing RLMs depend on an open-ended read-eval-print loop (REPL) in which the model generates arbitrary control code, making execution difficult to verify, predict, and analyse.
We introduce λ-RLM, a framework for long-context reasoning that replaces free-form recursive code generation with a typed functional runtime grounded in λ-calculus. It executes a compact library of pre-verified combinators and uses neural inference only on bounded leaf subproblems, turning recursive reasoning into a structured functional program with explicit control flow. We show that λ-RLM admits formal guarantees absent from standard RLMs, including termination, closed-form cost bounds, controlled accuracy scaling with recursion depth, and an optimal partition rule under a simple cost model. Empirically, across four long-context reasoning tasks and nine base models, λ-RLM outperforms standard RLM in 29 of 36 model-task comparisons, improves average accuracy by up to +21.9 points across model tiers, and reduces latency by up to 4.1x. These results show that typed symbolic control yields a more reliable and efficient foundation for long-context reasoning than open-ended recursive code generation. The complete implementation of λ-RLM, is open-sourced for the community at: https://github.com/lambda-calculus-LLM/lambda-RLM.