Transformador de Loop Paralelo para Escalonamento Eficiente de Computação em Tempo de Teste

Resumo

Os Modelos de Linguagem de Grande Porte (LLMs) são poderosos, mas frequentemente muito lentos e dispendiosos para uso prático durante a inferência. Os *transformers* com ciclo economizam parâmetros ao reutilizar os mesmos pesos para múltiplas etapas computacionais, ou "ciclos". No entanto, esta abordagem tem uma falha principal: os ciclos são executados um após o outro, fazendo com que a latência de inferência e os requisitos de memória aumentem a cada ciclo adicionado. Isso torna-os impraticáveis para aplicações que exigem rapidez. Para resolver este problema, nós introduzimos o *Parallel Loop Transformer* (PLT). O PLT é uma nova arquitetura que oferece os benefícios de desempenho de um modelo profundo e ciclado, mas com a baixa latência de um modelo padrão e não ciclado. O PLT funciona usando duas técnicas-chave. Primeiro, o Paralelismo Interciclos (CLP) quebra a dependência sequencial ao calcular diferentes ciclos para diferentes *tokens* ao mesmo tempo, tudo dentro de uma única passagem. Segundo, para evitar que os custos de memória cresçam, usamos uma estratégia de Melhoria Eficiente da Representação. Este método partilha a memória (*cache* de Chaves-Valores, KV) do primeiro ciclo com todos os outros ciclos. Em seguida, usa um Mecanismo de Atenção com Janela Deslizante e Portão (G-SWA) para combinar esta informação global partilhada com informação local, mantendo uma alta precisão. As nossas experiências mostram que o PLT alcança a alta precisão de um modelo ciclado tradicional, mas com quase nenhum custo extra de latência ou memória em comparação com um *transformer* padrão.

English

Large Language Models (LLMs) are powerful but often too slow and costly for real-world use during inference. Looped transformers save on parameters by reusing the same weights for multiple computational steps, or "loops." However, this approach has a major flaw: the loops run one after another, causing inference latency and memory requirements to increase with each added loop. This makes them impractical for fast applications. To solve this problem, we introduce the Parallel Loop Transformer (PLT). PLT is a new architecture that delivers the performance benefits of a deep, looped model but with the low latency of a standard, non-looped model. PLT works using two key techniques. First, Cross-Loop Parallelism (CLP) breaks the sequential dependency by computing different loops for different tokens at the same time, all within a single pass. Second, to prevent memory costs from growing, we use an Efficient Representation Enhancement strategy. This method shares the memory (KV cache) from the first loop with all other loops. It then uses a Gated Sliding-Window Attention (G-SWA) to combine this shared global information with local information, maintaining high accuracy. Our experiments show that PLT achieves the high accuracy of a traditional looped model but with almost no extra latency or memory cost compared to a standard transformer.

Transformador de Loop Paralelo para Escalonamento Eficiente de Computação em Tempo de Teste

Parallel Loop Transformer for Efficient Test-Time Computation Scaling

Resumo

Support