Topic-VQ-VAE: Sfruttare i Codebook Latenti per una Generazione Flessibile di Documenti Guidata da Argomenti

Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation

December 15, 2023

Autori: YoungJoon Yoo, Jongwon Choi

cs.AI

Abstract

Questo articolo introduce un approccio innovativo per il topic modeling che utilizza codebook latenti derivati da un Autoencoder Variazionale Quantizzato Vettoriale (VQ-VAE), incapsulando in modo discreto le ricche informazioni degli embedding pre-addestrati, come quelli di un modello linguistico pre-addestrato. Partendo da una nuova interpretazione dei codebook latenti e degli embedding come bag-of-words concettuali, proponiamo un nuovo modello generativo di topic chiamato Topic-VQ-VAE (TVQ-VAE), che genera inversamente i documenti originali associati ai rispettivi codebook latenti. Il TVQ-VAE è in grado di visualizzare i topic attraverso varie distribuzioni generative, inclusa la tradizionale distribuzione BoW e la generazione autoregressiva di immagini. I nostri risultati sperimentali sull'analisi dei documenti e sulla generazione di immagini dimostrano che il TVQ-VAE cattura efficacemente il contesto dei topic, rivelando le strutture sottostanti del dataset e supportando forme flessibili di generazione di documenti. L'implementazione ufficiale del TVQ-VAE proposto è disponibile all'indirizzo https://github.com/clovaai/TVQ-VAE.

English

This paper introduces a novel approach for topic modeling utilizing latent codebooks from Vector-Quantized Variational Auto-Encoder~(VQ-VAE), discretely encapsulating the rich information of the pre-trained embeddings such as the pre-trained language model. From the novel interpretation of the latent codebooks and embeddings as conceptual bag-of-words, we propose a new generative topic model called Topic-VQ-VAE~(TVQ-VAE) which inversely generates the original documents related to the respective latent codebook. The TVQ-VAE can visualize the topics with various generative distributions including the traditional BoW distribution and the autoregressive image generation. Our experimental results on document analysis and image generation demonstrate that TVQ-VAE effectively captures the topic context which reveals the underlying structures of the dataset and supports flexible forms of document generation. Official implementation of the proposed TVQ-VAE is available at https://github.com/clovaai/TVQ-VAE.