가상 너비 네트워크

초록

가상 너비 네트워크(VWN)는 은닉 크기 증가에 따른 2차 비용 없이 넓은 표현의 이점을 제공하는 프레임워크입니다. VWN은 표현 너비와 백본 너비를 분리하여 임베딩 공간을 확장하면서 백본 계산량은 거의 일정하게 유지합니다. 대규모 실험에서 8배 확장은 다음 토큰 예측 시 최적화 속도를 2배 이상, 다음 2-토큰 예측 시 3배 이상 가속화했습니다. 이러한 이점은 손실 격차가 커짐과 동시에 수렴 가속화 비율이 증가하며 학습 과정에서 점차 확대되어, VWN이 토큰 효율적일 뿐만 아니라 규모에 따라 효과가 증대됨을 보여줍니다. 또한 가상 너비와 손실 감소 사이의 대수-선형적 스케일링 관계를 확인함으로써, 대규모 모델 효율성의 새로운 차원으로서 가상 너비 스케일링 탐구에 대한 실증적 기반과 동기를 제시합니다.

English

We introduce Virtual Width Networks (VWN), a framework that delivers the benefits of wider representations without incurring the quadratic cost of increasing the hidden size. VWN decouples representational width from backbone width, expanding the embedding space while keeping backbone compute nearly constant. In our large-scale experiment, an 8-times expansion accelerates optimization by over 2 times for next-token and 3 times for next-2-token prediction. The advantage amplifies over training as both the loss gap grows and the convergence-speedup ratio increases, showing that VWN is not only token-efficient but also increasingly effective with scale. Moreover, we identify an approximately log-linear scaling relation between virtual width and loss reduction, offering an initial empirical basis and motivation for exploring virtual-width scaling as a new dimension of large-model efficiency.