PERK: Рассуждения в длинных контекстах как параметрически эффективное обучение на этапе тестирования

PERK: Long-Context Reasoning as Parameter-Efficient Test-Time Learning

July 8, 2025

Авторы: Zeming Chen, Angelika Romanou, Gail Weiss, Antoine Bosselut

cs.AI

Аннотация

Рассуждения в условиях длинного контекста требуют точного выявления релевантной информации в обширных и зашумленных входных данных. Предыдущие исследования показывают, что использование обучения во время тестирования для непосредственного кодирования контекста в параметры модели может эффективно обеспечить рассуждения над зашумленной информацией. Однако мета-обучающие методы, позволяющие обучение во время тестирования, требуют чрезмерно больших объемов памяти, что делает их неприменимыми для работы с длинными контекстами. В данной работе мы предлагаем PERK (Parameter Efficient Reasoning over Knowledge), масштабируемый подход для обучения кодированию длинных входных контекстов с использованием градиентных обновлений легковесного адаптера модели во время тестирования. В частности, PERK использует два вложенных цикла оптимизации на этапе мета-обучения. Внутренний цикл быстро кодирует контексты в низкоранговый адаптер (LoRA), который служит параметрически эффективным модулем памяти для базовой модели. Одновременно внешний цикл обучается использовать обновленный адаптер для точного воспроизведения и рассуждения над релевантной информацией из закодированного длинного контекста. Наши оценки на нескольких задачах рассуждения в длинных контекстах показывают, что PERK значительно превосходит стандартный базовый подход, основанный на промптах, достигая среднего абсолютного прироста производительности до 90% для меньших моделей (GPT-2) и до 27% для нашей самой крупной оцениваемой модели, Qwen-2.5-0.5B. В целом, PERK демонстрирует большую устойчивость к сложности рассуждений, экстраполяции длины и расположению релевантной информации в контекстах. Наконец, мы показываем, что, хотя PERK требует значительных объемов памяти во время обучения, он масштабируется более эффективно на этапе вывода по сравнению с выводом на основе промптов в длинных контекстах.

English

Long-context reasoning requires accurately identifying relevant information in extensive, noisy input contexts. Previous research shows that using test-time learning to encode context directly into model parameters can effectively enable reasoning over noisy information. However, meta-learning methods for enabling test-time learning are prohibitively memory-intensive, preventing their application to long context settings. In this work, we propose PERK (Parameter Efficient Reasoning over Knowledge), a scalable approach for learning to encode long input contexts using gradient updates to a lightweight model adapter at test time. Specifically, PERK employs two nested optimization loops in a meta-training phase. The inner loop rapidly encodes contexts into a low-rank adapter (LoRA) that serves as a parameter-efficient memory module for the base model. Concurrently, the outer loop learns to use the updated adapter to accurately recall and reason over relevant information from the encoded long context. Our evaluations on several long-context reasoning tasks show that PERK significantly outperforms the standard prompt-based long-context baseline, achieving average absolute performance gains of up to 90% for smaller models (GPT-2) and up to 27% for our largest evaluated model, Qwen-2.5-0.5B. In general, PERK is more robust to reasoning complexity, length extrapolation, and the locations of relevant information in contexts. Finally, we show that while PERK is memory-intensive during training, it scales more efficiently at inference time than prompt-based long-context inference.