효율적인 테스트 타임 계산 확장을 위한 병렬 루프 트랜스포머

초록

대규모 언어 모델(LLM)은 강력하지만 실제 추론 환경에서 사용하기에는 너무 느리고 비용이 많이 드는 경우가 많습니다. 루프 트랜스포머는 여러 계산 단계(즉, "루프")에 동일한 가중치를 재사용하여 매개변수를 절약합니다. 그러나 이 방식에는 큰 결함이 있습니다. 루프가 순차적으로 실행되기 때문에 추가되는 루프마다 추론 지연 시간과 메모리 요구량이 증가합니다. 이로 인해 빠른 응용 프로그램에는 실용적이지 않습니다. 이 문제를 해결하기 위해 우리는 병렬 루프 트랜스포머(PLT)를 제안합니다. PLT는 깊은 루프 모델의 성능 이점을 유지하면서도 표준 비루프 모델의 낮은 지연 시간을 제공하는 새로운 아키텍처입니다. PLT는 두 가지 핵심 기술을 사용합니다. 첫째, 루프 간 병렬 처리(CLP)는 서로 다른 토큰에 대한 서로 다른 루프를 단일 패스 내에서 동시에 계산하여 순차적 의존성을 제거합니다. 둘째, 메모리 비용 증가를 방지하기 위해 효율적 표현 향상 전략을 사용합니다. 이 방법은 첫 번째 루프의 메모리(KV 캐시)를 다른 모든 루프와 공유합니다. 그런 다음 게이트 슬라이딩 윈도우 어텐션(G-SWA)을 사용하여 이 공유된 전역 정보와 지역 정보를 결합하여 높은 정확도를 유지합니다. 우리의 실험 결과, PLT는 기존 루프 모델의 높은 정확도를 달성하면서도 표준 트랜스포머 대비 거의 추가 지연 시간이나 메모리 비용이 없음을 보여줍니다.

English

Large Language Models (LLMs) are powerful but often too slow and costly for real-world use during inference. Looped transformers save on parameters by reusing the same weights for multiple computational steps, or "loops." However, this approach has a major flaw: the loops run one after another, causing inference latency and memory requirements to increase with each added loop. This makes them impractical for fast applications. To solve this problem, we introduce the Parallel Loop Transformer (PLT). PLT is a new architecture that delivers the performance benefits of a deep, looped model but with the low latency of a standard, non-looped model. PLT works using two key techniques. First, Cross-Loop Parallelism (CLP) breaks the sequential dependency by computing different loops for different tokens at the same time, all within a single pass. Second, to prevent memory costs from growing, we use an Efficient Representation Enhancement strategy. This method shares the memory (KV cache) from the first loop with all other loops. It then uses a Gated Sliding-Window Attention (G-SWA) to combine this shared global information with local information, maintaining high accuracy. Our experiments show that PLT achieves the high accuracy of a traditional looped model but with almost no extra latency or memory cost compared to a standard transformer.

효율적인 테스트 타임 계산 확장을 위한 병렬 루프 트랜스포머

Parallel Loop Transformer for Efficient Test-Time Computation Scaling

초록

Support