PERK: Langetermijnredenering als parameter-efficiënt leren tijdens testtijd

PERK: Long-Context Reasoning as Parameter-Efficient Test-Time Learning

July 8, 2025

Auteurs: Zeming Chen, Angelika Romanou, Gail Weiss, Antoine Bosselut

cs.AI

Samenvatting

Langetermijnredenering vereist het nauwkeurig identificeren van relevante informatie in uitgebreide, ruisrijke invoercontexten. Eerder onderzoek toont aan dat het gebruik van testtijdleren om context direct in modelparameters te coderen effectief redeneren over ruisrijke informatie mogelijk maakt. Meta-leermethoden voor het mogelijk maken van testtijdleren zijn echter onpraktisch geheugenintensief, wat hun toepassing in langetermijncontexten verhindert. In dit werk stellen we PERK (Parameter Efficient Reasoning over Knowledge) voor, een schaalbare aanpak voor het leren coderen van lange invoercontexten met behulp van gradientupdates aan een lichtgewicht modeladapter tijdens testtijd. Specifiek gebruikt PERK twee geneste optimalisatielussen in een meta-trainingsfase. De binnenste lus codeert snel contexten in een low-rank adapter (LoRA) die dient als een parameterzuinige geheugenmodule voor het basismodel. Tegelijkertijd leert de buitenste lus om de bijgewerkte adapter te gebruiken om relevante informatie uit de gecodeerde langetermijncontext nauwkeurig te herinneren en erover te redeneren. Onze evaluaties op verschillende langetermijnredeneertaken tonen aan dat PERK de standaard prompt-gebaseerde langetermijncontextbaseline aanzienlijk overtreft, met gemiddelde absolute prestatieverbeteringen van tot 90% voor kleinere modellen (GPT-2) en tot 27% voor ons grootste geëvalueerde model, Qwen-2.5-0.5B. Over het algemeen is PERK robuuster tegen redeneercomplexiteit, lengte-extrapolatie en de locaties van relevante informatie in contexten. Tot slot laten we zien dat, hoewel PERK geheugenintensief is tijdens training, het efficiënter schaalt tijdens inferentie dan prompt-gebaseerde langetermijncontextinferentie.

English

Long-context reasoning requires accurately identifying relevant information in extensive, noisy input contexts. Previous research shows that using test-time learning to encode context directly into model parameters can effectively enable reasoning over noisy information. However, meta-learning methods for enabling test-time learning are prohibitively memory-intensive, preventing their application to long context settings. In this work, we propose PERK (Parameter Efficient Reasoning over Knowledge), a scalable approach for learning to encode long input contexts using gradient updates to a lightweight model adapter at test time. Specifically, PERK employs two nested optimization loops in a meta-training phase. The inner loop rapidly encodes contexts into a low-rank adapter (LoRA) that serves as a parameter-efficient memory module for the base model. Concurrently, the outer loop learns to use the updated adapter to accurately recall and reason over relevant information from the encoded long context. Our evaluations on several long-context reasoning tasks show that PERK significantly outperforms the standard prompt-based long-context baseline, achieving average absolute performance gains of up to 90% for smaller models (GPT-2) and up to 27% for our largest evaluated model, Qwen-2.5-0.5B. In general, PERK is more robust to reasoning complexity, length extrapolation, and the locations of relevant information in contexts. Finally, we show that while PERK is memory-intensive during training, it scales more efficiently at inference time than prompt-based long-context inference.