Computação em Tempo de Sono: Além da Escalabilidade de Inferência em Tempo de Teste

Sleep-time Compute: Beyond Inference Scaling at Test-time

April 17, 2025

Autores: Kevin Lin, Charlie Snell, Yu Wang, Charles Packer, Sarah Wooders, Ion Stoica, Joseph E. Gonzalez

cs.AI

Resumo

A escalabilidade do cálculo em tempo de teste emergiu como um ingrediente fundamental para permitir que modelos de linguagem de grande escala (LLMs) resolvam problemas complexos, mas isso vem com alta latência e custo de inferência. Introduzimos o cálculo em tempo de repouso, que permite que os modelos "pensem" offline sobre contextos antes que as consultas sejam apresentadas: ao antecipar quais consultas os usuários podem fazer e pré-calcular quantidades úteis, podemos reduzir significativamente os requisitos de cálculo no tempo de teste. Para demonstrar a eficácia do nosso método, criamos versões modificadas de duas tarefas de raciocínio - Stateful GSM-Symbolic e Stateful AIME. Descobrimos que o cálculo em tempo de repouso pode reduzir a quantidade de cálculo necessária no tempo de teste para alcançar a mesma precisão em ~5x no Stateful GSM-Symbolic e no Stateful AIME, e que, ao escalar o cálculo em tempo de repouso, podemos aumentar ainda mais a precisão em até 13% no Stateful GSM-Symbolic e 18% no Stateful AIME. Além disso, introduzimos o Multi-Query GSM-Symbolic, que estende o GSM-Symbolic ao incluir múltiplas consultas relacionadas por contexto. Ao amortizar o cálculo em tempo de repouso entre consultas relacionadas sobre o mesmo contexto usando o Multi-Query GSM-Symbolic, podemos diminuir o custo médio por consulta em 2,5x. Em seguida, conduzimos uma análise adicional para entender quando o cálculo em tempo de repouso é mais eficaz, descobrindo que a previsibilidade da consulta do usuário está bem correlacionada com a eficácia do cálculo em tempo de repouso. Por fim, realizamos um estudo de caso aplicando o cálculo em tempo de repouso a uma tarefa realista de agente SWE.

English

Scaling test-time compute has emerged as a key ingredient for enabling large language models (LLMs) to solve difficult problems, but comes with high latency and inference cost. We introduce sleep-time compute, which allows models to "think" offline about contexts before queries are presented: by anticipating what queries users might ask and pre-computing useful quantities, we can significantly reduce the compute requirements at test-time. To demonstrate the efficacy of our method, we create modified versions of two reasoning tasks - Stateful GSM-Symbolic and Stateful AIME. We find that sleep-time compute can reduce the amount of test-time compute needed to achieve the same accuracy by ~ 5x on Stateful GSM-Symbolic and Stateful AIME and that by scaling sleep-time compute we can further increase accuracy by up to 13% on Stateful GSM-Symbolic and 18% on Stateful AIME. Furthermore, we introduce Multi-Query GSM-Symbolic, which extends GSM-Symbolic by including multiple related queries per context. By amortizing sleep-time compute across related queries about the same context using Multi-Query GSM-Symbolic, we can decrease the average cost per query by 2.5x. We then conduct additional analysis to understand when sleep-time compute is most effective, finding the predictability of the user query to be well correlated with the efficacy of sleep-time compute. Finally, we conduct a case-study of applying sleep-time compute to a realistic agentic SWE task.