Escalonamento Paralelo Generalizado com Gerações Interdependentes

Generalized Parallel Scaling with Interdependent Generations

October 1, 2025

Autores: Harry Dong, David Brandfonbrener, Eryk Helenowski, Yun He, Mrinal Kumar, Han Fang, Yuejie Chi, Karthik Abinav Sankararaman

cs.AI

Resumo

A escalabilidade de inferência paralela em LLMs envolve a amostragem de um conjunto de N>1 respostas para um único prompt de entrada. No entanto, essas N respostas paralelas tendem a ser geradas de forma independente umas das outras, particionando os recursos computacionais e deixando informações potencialmente úteis em uma geração não aproveitadas pelas outras. Isso contrasta com a escalabilidade de comprimento de resposta, onde cálculos anteriores são usados em todas as etapas futuras. Para respostas e conjuntos de respostas de maior qualidade, propomos o Bridge para gerar respostas interdependentes em paralelo, repensando os estados ocultos de LLMs em lotes como tensores holísticos, em vez de fatias independentes. Com apenas uma pequena quantidade (2,8%-5,1%) de novos parâmetros, o Bridge melhora os ganhos relativos de precisão média do aprendizado por reforço com recompensas verificáveis em até 50% e aumenta a consistência das respostas corretas. Uma vez treinado, o Bridge escala para qualquer largura de geração, tudo com desempenho superior às gerações independentes, desbloqueando um modo mais geral de escalabilidade paralela que aproveita efetivamente a informação entre sequências, compatível com qualquer técnica de agregação pós-geração.

English

Parallel LLM inference scaling involves sampling a set of N>1 responses for a single input prompt. However, these N parallel responses tend to be generated independently from each other, partitioning compute resources and leaving potentially useful information in one generation untapped by others. This is in contrast to response length scaling where past computation is used in all future steps. For higher quality responses and response sets, we propose Bridge to generate interdependent responses in parallel by rethinking batched LLM hidden states as holistic tensors rather than independent slices. With only a small amount (2.8%-5.1%) of new parameters, Bridge improves the relative mean accuracy gains from reinforcement learning with verifiable rewards by up to 50% and boosts consistency of correct responses. Trained once, Bridge scales to any generation width, all with greater performance than independent generations, unlocking a more general mode of parallel scaling that effectively leverages information between sequences, compatible with any post-generation aggregation technique.