Topic-VQ-VAE: Aproveitando Codebooks Latentes para Geração Flexível de Documentos Orientada por Tópicos

Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation

December 15, 2023

Autores: YoungJoon Yoo, Jongwon Choi

cs.AI

Resumo

Este artigo introduz uma nova abordagem para modelagem de tópicos utilizando codebooks latentes do Autoencoder Variacional Quantizado Vetorial (VQ-VAE), encapsulando discretamente as ricas informações dos embeddings pré-treinados, como os de modelos de linguagem pré-treinados. A partir de uma nova interpretação dos codebooks latentes e embeddings como um saco de palavras conceitual, propomos um novo modelo generativo de tópicos chamado Topic-VQ-VAE (TVQ-VAE), que gera inversamente os documentos originais relacionados ao respectivo codebook latente. O TVQ-VAE pode visualizar os tópicos com várias distribuições generativas, incluindo a distribuição tradicional de saco de palavras (BoW) e a geração autoregressiva de imagens. Nossos resultados experimentais em análise de documentos e geração de imagens demonstram que o TVQ-VAE captura efetivamente o contexto dos tópicos, revelando as estruturas subjacentes do conjunto de dados e suportando formas flexíveis de geração de documentos. A implementação oficial do TVQ-VAE proposto está disponível em https://github.com/clovaai/TVQ-VAE.

English

This paper introduces a novel approach for topic modeling utilizing latent codebooks from Vector-Quantized Variational Auto-Encoder~(VQ-VAE), discretely encapsulating the rich information of the pre-trained embeddings such as the pre-trained language model. From the novel interpretation of the latent codebooks and embeddings as conceptual bag-of-words, we propose a new generative topic model called Topic-VQ-VAE~(TVQ-VAE) which inversely generates the original documents related to the respective latent codebook. The TVQ-VAE can visualize the topics with various generative distributions including the traditional BoW distribution and the autoregressive image generation. Our experimental results on document analysis and image generation demonstrate that TVQ-VAE effectively captures the topic context which reveals the underlying structures of the dataset and supports flexible forms of document generation. Official implementation of the proposed TVQ-VAE is available at https://github.com/clovaai/TVQ-VAE.