Token-Zeit-kontinuierliche Diffusion für die Sprachmodellierung

Zusammenfassung

In dieser Arbeit stellen wir Token Time Continuous Diffusion (TTCD) vor, ein neues Diffusions-Sprachmodell, das (a) im kontinuierlichen Raum arbeitet und Gaußsches Rauschen deterministisch auf eine endgültige Token-Leinwand abbildet, ohne weitere Stichprobenziehung, und das entscheidend (b) ein neues Konzept von Token-spezifischen Zeiten beinhaltet, bei dem einige Token schneller vom Rauschen zum Token übergehen als andere. Die Modellierung im kontinuierlichen Raum hilft TTCD, das parallele Sampling mehrerer Token zu vermeiden, was eine Hauptquelle von Ungenauigkeiten bei hohen Beschleunigungen für Modelle ist, die ausschließlich im diskreten Raum iterieren. Das Konzept der Token-spezifischen Zeiten hilft TTCD, die bedingte Generierung besser zu modellieren, ermöglicht es sichereren Token, schneller voranzuschreiten, und erlaubt differenzierte Inter-Token-Einflüsse während der Verfeinerung. TTCD übertrifft diskrete Modelle bei hohen Beschleunigungen. Wir trainieren ein TTCD-Modell mit 160 Millionen Parametern auf OpenWebText und destillieren es anschließend selbst; wir stellen fest, dass wir bei hohen Beschleunigungen in der Qualität der unbedingten Generierung mit mehreren bestehenden Modellen vergleichbarer Größe, die auf denselben Daten trainiert und selbst destilliert wurden, vergleichbar sind und sie in der bedingten Generierung übertreffen. Ähnliche Verbesserungen erzielen wir auch beim Lösen von Sudoku.

English

In this paper we introduce token time continuous diffusion (TTCD), a new diffusion language model which (a) operates in continuous space, deterministically mapping Gaussian noise to a final token canvas with no further sampling, and crucially (b) incorporates a new notion of per-token times, with some tokens proceeding from noise to token at a faster rate than others. Continuous space modeling helps TTCD avoid the parallel sampling of multiple tokens, which is a key source of inaccuracy at high speedups for models that iterate purely in discrete space. The notion of per-token times helps TTCD to better model conditional generation, allows for more sure tokens to proceed at a faster rate, and allows for differentiated inter-token influences during refinement. TTCD outperforms discrete models at high speedups. We train a 160M parameter TTCD model on OpenWebText, and then self-distill it; we find that at high speedups we are comparable in unconditional generation quality, and outperform in conditional generation, several existing models of similar size trained, on the same data, and self-distilled. We achieve similar gains in Sudoku solving as well.