Woodpecker: Correção de Alucinações para Modelos de Linguagem Multimodais de Grande Escala

Woodpecker: Hallucination Correction for Multimodal Large Language Models

October 24, 2023

Autores: Shukang Yin, Chaoyou Fu, Sirui Zhao, Tong Xu, Hao Wang, Dianbo Sui, Yunhang Shen, Ke Li, Xing Sun, Enhong Chen

cs.AI

Resumo

A alucinação é uma grande sombra que paira sobre os Modelos de Linguagem Multimodal de Grande Escala (MLLMs) em rápida evolução, referindo-se ao fenômeno em que o texto gerado é inconsistente com o conteúdo da imagem. Para mitigar as alucinações, os estudos existentes recorrem principalmente a uma abordagem de ajuste por instrução que requer o retreinamento dos modelos com dados específicos. Neste artigo, trilhamos um caminho diferente, introduzindo um método sem necessidade de treinamento chamado Woodpecker. Como um pica-pau que cura árvores, ele identifica e corrige alucinações no texto gerado. Concretamente, o Woodpecker consiste em cinco estágios: extração de conceitos-chave, formulação de perguntas, validação de conhecimento visual, geração de afirmações visuais e correção de alucinações. Implementado de maneira pós-remédio, o Woodpecker pode facilmente servir a diferentes MLLMs, ao mesmo tempo em que é interpretável ao acessar as saídas intermediárias dos cinco estágios. Avaliamos o Woodpecker tanto quantitativa quanto qualitativamente e mostramos o enorme potencial desse novo paradigma. No benchmark POPE, nosso método obtém uma melhoria de 30,66%/24,33% na precisão em relação à linha de base MiniGPT-4/mPLUG-Owl. O código-fonte é disponibilizado em https://github.com/BradyFU/Woodpecker.

English

Hallucination is a big shadow hanging over the rapidly evolving Multimodal Large Language Models (MLLMs), referring to the phenomenon that the generated text is inconsistent with the image content. In order to mitigate hallucinations, existing studies mainly resort to an instruction-tuning manner that requires retraining the models with specific data. In this paper, we pave a different way, introducing a training-free method named Woodpecker. Like a woodpecker heals trees, it picks out and corrects hallucinations from the generated text. Concretely, Woodpecker consists of five stages: key concept extraction, question formulation, visual knowledge validation, visual claim generation, and hallucination correction. Implemented in a post-remedy manner, Woodpecker can easily serve different MLLMs, while being interpretable by accessing intermediate outputs of the five stages. We evaluate Woodpecker both quantitatively and qualitatively and show the huge potential of this new paradigm. On the POPE benchmark, our method obtains a 30.66%/24.33% improvement in accuracy over the baseline MiniGPT-4/mPLUG-Owl. The source code is released at https://github.com/BradyFU/Woodpecker.