Der Bild-Tokenizer benötigt Nachschulung

papers.abstract

Aktuelle Bildgenerierungsmodelle erfassen die Bildverteilung typischerweise in einem vorkonstruierten latenten Raum, der auf einem eingefrorenen Bild-Tokenizer basiert. Es besteht jedoch eine erhebliche Diskrepanz zwischen der Rekonstruktions- und der Generierungsverteilung, wobei aktuelle Tokenizer nur die Rekonstruktionsaufgabe priorisieren, die vor dem generativen Training stattfindet, ohne die Generierungsfehler während des Samplings zu berücksichtigen. In diesem Papier analysieren wir umfassend die Ursache dieser Diskrepanz in einem diskreten latenten Raum und schlagen darauf aufbauend ein neuartiges Tokenizer-Trainingsschema vor, das sowohl ein Haupttraining als auch ein Nachtraining umfasst, wobei der Fokus jeweils auf der Verbesserung der latenten Raumkonstruktion und der Dekodierung liegt. Während des Haupttrainings wird eine latente Störungsstrategie vorgeschlagen, um Sampling-Rauschen zu simulieren, d.h. die unerwarteten Token, die während der generativen Inferenz erzeugt werden. Konkret schlagen wir ein Plug-and-Play-Tokenizer-Trainingsschema vor, das die Robustheit des Tokenizers signifikant verbessert und somit die Generierungsqualität und Konvergenzgeschwindigkeit steigert, sowie eine neue Tokenizer-Bewertungsmetrik, pFID, die die Leistung des Tokenizers erfolgreich mit der Generierungsqualität korreliert. Während des Nachtrainings optimieren wir den Tokenizer-Decoder weiter in Bezug auf ein gut trainiertes generatives Modell, um die Verteilungsdifferenz zwischen generierten und rekonstruierten Token zu verringern. Mit einem sim400M-Generator erreicht ein diskreter Tokenizer, der mit unserem vorgeschlagenen Haupttraining trainiert wurde, einen bemerkenswerten gFID-Wert von 1,60 und erzielt mit dem zusätzlichen Nachtraining einen weiteren gFID-Wert von 1,36. Weitere Experimente werden durchgeführt, um die Wirksamkeit unserer Nachtrainingsstrategie breit zu validieren, sowohl für diskrete als auch kontinuierliche Tokenizer, die mit autoregressiven und diffusionsbasierten Generatoren gekoppelt sind.

English

Recent image generative models typically capture the image distribution in a pre-constructed latent space, relying on a frozen image tokenizer. However, there exists a significant discrepancy between the reconstruction and generation distribution, where current tokenizers only prioritize the reconstruction task that happens before generative training without considering the generation errors during sampling. In this paper, we comprehensively analyze the reason for this discrepancy in a discrete latent space, and, from which, we propose a novel tokenizer training scheme including both main-training and post-training, focusing on improving latent space construction and decoding respectively. During the main training, a latent perturbation strategy is proposed to simulate sampling noises, \ie, the unexpected tokens generated in generative inference. Specifically, we propose a plug-and-play tokenizer training scheme, which significantly enhances the robustness of tokenizer, thus boosting the generation quality and convergence speed, and a novel tokenizer evaluation metric, \ie, pFID, which successfully correlates the tokenizer performance to generation quality. During post-training, we further optimize the tokenizer decoder regarding a well-trained generative model to mitigate the distribution difference between generated and reconstructed tokens. With a sim400M generator, a discrete tokenizer trained with our proposed main training achieves a notable 1.60 gFID and further obtains 1.36 gFID with the additional post-training. Further experiments are conducted to broadly validate the effectiveness of our post-training strategy on off-the-shelf discrete and continuous tokenizers, coupled with autoregressive and diffusion-based generators.

Der Bild-Tokenizer benötigt Nachschulung

Image Tokenizer Needs Post-Training

papers.abstract

Support