ChatPaper.aiChatPaper

Escalado Paralelo Generalizado con Generaciones Interdependientes

Generalized Parallel Scaling with Interdependent Generations

October 1, 2025
Autores: Harry Dong, David Brandfonbrener, Eryk Helenowski, Yun He, Mrinal Kumar, Han Fang, Yuejie Chi, Karthik Abinav Sankararaman
cs.AI

Resumen

El escalado paralelo de inferencia en modelos de lenguaje grandes (LLM) implica muestrear un conjunto de N>1 respuestas para una única entrada o *prompt*. Sin embargo, estas N respuestas paralelas tienden a generarse de manera independiente entre sí, lo que divide los recursos computacionales y deja información potencialmente útil en una generación sin ser aprovechada por las demás. Esto contrasta con el escalado de longitud de respuesta, donde los cálculos previos se utilizan en todos los pasos futuros. Para obtener respuestas y conjuntos de respuestas de mayor calidad, proponemos *Bridge* para generar respuestas interdependientes en paralelo, replanteando los estados ocultos de los LLM procesados en lotes como tensores holísticos en lugar de segmentos independientes. Con solo una pequeña cantidad (2.8%-5.1%) de nuevos parámetros, *Bridge* mejora las ganancias relativas de precisión media del aprendizaje por refuerzo con recompensas verificables hasta en un 50% y aumenta la consistencia de las respuestas correctas. Una vez entrenado, *Bridge* se escala a cualquier ancho de generación, superando en rendimiento a las generaciones independientes, desbloqueando un modo más general de escalado paralelo que aprovecha eficazmente la información entre secuencias, compatible con cualquier técnica de agregación posgeneración.
English
Parallel LLM inference scaling involves sampling a set of N>1 responses for a single input prompt. However, these N parallel responses tend to be generated independently from each other, partitioning compute resources and leaving potentially useful information in one generation untapped by others. This is in contrast to response length scaling where past computation is used in all future steps. For higher quality responses and response sets, we propose Bridge to generate interdependent responses in parallel by rethinking batched LLM hidden states as holistic tensors rather than independent slices. With only a small amount (2.8%-5.1%) of new parameters, Bridge improves the relative mean accuracy gains from reinforcement learning with verifiable rewards by up to 50% and boosts consistency of correct responses. Trained once, Bridge scales to any generation width, all with greater performance than independent generations, unlocking a more general mode of parallel scaling that effectively leverages information between sequences, compatible with any post-generation aggregation technique.
PDF42October 3, 2025