Topic-VQ-VAE : Exploitation des codebooks latents pour une génération flexible de documents guidée par thèmes

Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation

December 15, 2023

Auteurs: YoungJoon Yoo, Jongwon Choi

cs.AI

Résumé

Cet article présente une nouvelle approche pour la modélisation thématique en exploitant les codebooks latents d'un Auto-Encodeur Variationnel Vectoriellement Quantifié (VQ-VAE), encapsulant de manière discrète les informations riches des embeddings pré-entraînés, tels que ceux d'un modèle de langage pré-entraîné. En interprétant de manière novatrice les codebooks latents et les embeddings comme des sacs de mots conceptuels, nous proposons un nouveau modèle génératif de thèmes appelé Topic-VQ-VAE (TVQ-VAE), qui génère de manière inverse les documents originaux associés à chaque codebook latent. Le TVQ-VAE permet de visualiser les thèmes avec diverses distributions génératives, incluant la distribution traditionnelle de sacs de mots (BoW) et la génération d'images autoregressive. Nos résultats expérimentaux sur l'analyse de documents et la génération d'images démontrent que le TVQ-VAE capture efficacement le contexte thématique, révélant les structures sous-jacentes du jeu de données et supportant des formes flexibles de génération de documents. L'implémentation officielle du TVQ-VAE proposé est disponible à l'adresse https://github.com/clovaai/TVQ-VAE.

English

This paper introduces a novel approach for topic modeling utilizing latent codebooks from Vector-Quantized Variational Auto-Encoder~(VQ-VAE), discretely encapsulating the rich information of the pre-trained embeddings such as the pre-trained language model. From the novel interpretation of the latent codebooks and embeddings as conceptual bag-of-words, we propose a new generative topic model called Topic-VQ-VAE~(TVQ-VAE) which inversely generates the original documents related to the respective latent codebook. The TVQ-VAE can visualize the topics with various generative distributions including the traditional BoW distribution and the autoregressive image generation. Our experimental results on document analysis and image generation demonstrate that TVQ-VAE effectively captures the topic context which reveals the underlying structures of the dataset and supports flexible forms of document generation. Official implementation of the proposed TVQ-VAE is available at https://github.com/clovaai/TVQ-VAE.