Computación en Tiempo de Sueño: Más allá del Escalado de Inferencia en Tiempo de Prueba

Sleep-time Compute: Beyond Inference Scaling at Test-time

April 17, 2025

Autores: Kevin Lin, Charlie Snell, Yu Wang, Charles Packer, Sarah Wooders, Ion Stoica, Joseph E. Gonzalez

cs.AI

Resumen

El escalado del cómputo en tiempo de prueba ha surgido como un ingrediente clave para permitir que los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) resuelvan problemas difíciles, pero conlleva una alta latencia y costos de inferencia. Introducimos el cómputo en tiempo de reposo, que permite a los modelos "pensar" fuera de línea sobre contextos antes de que se presenten las consultas: al anticipar qué consultas podrían hacer los usuarios y precalcular cantidades útiles, podemos reducir significativamente los requisitos de cómputo en tiempo de prueba. Para demostrar la eficacia de nuestro método, creamos versiones modificadas de dos tareas de razonamiento: Stateful GSM-Symbolic y Stateful AIME. Encontramos que el cómputo en tiempo de reposo puede reducir la cantidad de cómputo necesario en tiempo de prueba para alcanzar la misma precisión en ~5x en Stateful GSM-Symbolic y Stateful AIME, y que al escalar el cómputo en tiempo de reposo podemos aumentar aún más la precisión hasta en un 13% en Stateful GSM-Symbolic y un 18% en Stateful AIME. Además, introducimos Multi-Query GSM-Symbolic, que extiende GSM-Symbolic al incluir múltiples consultas relacionadas por contexto. Al amortizar el cómputo en tiempo de reposo entre consultas relacionadas sobre el mismo contexto utilizando Multi-Query GSM-Symbolic, podemos disminuir el costo promedio por consulta en 2.5x. Luego, realizamos un análisis adicional para comprender cuándo el cómputo en tiempo de reposo es más efectivo, encontrando que la previsibilidad de la consulta del usuario está bien correlacionada con la eficacia del cómputo en tiempo de reposo. Finalmente, llevamos a cabo un estudio de caso sobre la aplicación del cómputo en tiempo de reposo a una tarea realista de ingeniería de software agente (SWE, por sus siglas en inglés).

English

Scaling test-time compute has emerged as a key ingredient for enabling large language models (LLMs) to solve difficult problems, but comes with high latency and inference cost. We introduce sleep-time compute, which allows models to "think" offline about contexts before queries are presented: by anticipating what queries users might ask and pre-computing useful quantities, we can significantly reduce the compute requirements at test-time. To demonstrate the efficacy of our method, we create modified versions of two reasoning tasks - Stateful GSM-Symbolic and Stateful AIME. We find that sleep-time compute can reduce the amount of test-time compute needed to achieve the same accuracy by ~ 5x on Stateful GSM-Symbolic and Stateful AIME and that by scaling sleep-time compute we can further increase accuracy by up to 13% on Stateful GSM-Symbolic and 18% on Stateful AIME. Furthermore, we introduce Multi-Query GSM-Symbolic, which extends GSM-Symbolic by including multiple related queries per context. By amortizing sleep-time compute across related queries about the same context using Multi-Query GSM-Symbolic, we can decrease the average cost per query by 2.5x. We then conduct additional analysis to understand when sleep-time compute is most effective, finding the predictability of the user query to be well correlated with the efficacy of sleep-time compute. Finally, we conduct a case-study of applying sleep-time compute to a realistic agentic SWE task.