PERK: Razonamiento de Contexto Largo como Aprendizaje Eficiente en Parámetros durante la Prueba

PERK: Long-Context Reasoning as Parameter-Efficient Test-Time Learning

July 8, 2025

Autores: Zeming Chen, Angelika Romanou, Gail Weiss, Antoine Bosselut

cs.AI

Resumen

El razonamiento en contextos largos requiere identificar con precisión la información relevante en entradas extensas y ruidosas. Investigaciones previas demuestran que el uso del aprendizaje en tiempo de prueba para codificar el contexto directamente en los parámetros del modelo puede permitir efectivamente el razonamiento sobre información ruidosa. Sin embargo, los métodos de meta-aprendizaje para habilitar el aprendizaje en tiempo de prueba son excesivamente intensivos en memoria, lo que impide su aplicación en entornos de contextos largos. En este trabajo, proponemos PERK (Parameter Efficient Reasoning over Knowledge), un enfoque escalable para aprender a codificar contextos largos utilizando actualizaciones de gradiente en un adaptador ligero del modelo durante el tiempo de prueba. Específicamente, PERK emplea dos bucles de optimización anidados en una fase de meta-entrenamiento. El bucle interno codifica rápidamente los contextos en un adaptador de bajo rango (LoRA) que sirve como un módulo de memoria eficiente en parámetros para el modelo base. Simultáneamente, el bucle externo aprende a utilizar el adaptador actualizado para recordar y razonar con precisión sobre la información relevante del contexto largo codificado. Nuestras evaluaciones en varias tareas de razonamiento en contextos largos muestran que PERK supera significativamente la línea base estándar basada en prompts para contextos largos, logrando mejoras absolutas promedio de hasta el 90% para modelos más pequeños (GPT-2) y hasta el 27% para nuestro modelo más grande evaluado, Qwen-2.5-0.5B. En general, PERK es más robusto frente a la complejidad del razonamiento, la extrapolación de longitud y la ubicación de la información relevante en los contextos. Finalmente, demostramos que, aunque PERK es intensivo en memoria durante el entrenamiento, escala de manera más eficiente en el tiempo de inferencia que la inferencia basada en prompts para contextos largos.

English

Long-context reasoning requires accurately identifying relevant information in extensive, noisy input contexts. Previous research shows that using test-time learning to encode context directly into model parameters can effectively enable reasoning over noisy information. However, meta-learning methods for enabling test-time learning are prohibitively memory-intensive, preventing their application to long context settings. In this work, we propose PERK (Parameter Efficient Reasoning over Knowledge), a scalable approach for learning to encode long input contexts using gradient updates to a lightweight model adapter at test time. Specifically, PERK employs two nested optimization loops in a meta-training phase. The inner loop rapidly encodes contexts into a low-rank adapter (LoRA) that serves as a parameter-efficient memory module for the base model. Concurrently, the outer loop learns to use the updated adapter to accurately recall and reason over relevant information from the encoded long context. Our evaluations on several long-context reasoning tasks show that PERK significantly outperforms the standard prompt-based long-context baseline, achieving average absolute performance gains of up to 90% for smaller models (GPT-2) and up to 27% for our largest evaluated model, Qwen-2.5-0.5B. In general, PERK is more robust to reasoning complexity, length extrapolation, and the locations of relevant information in contexts. Finally, we show that while PERK is memory-intensive during training, it scales more efficiently at inference time than prompt-based long-context inference.