Mitigando a Alucinação de Objetos por meio da Atenção Causal Concêntrica

Mitigating Object Hallucination via Concentric Causal Attention

October 21, 2024

Autores: Yun Xing, Yiheng Li, Ivan Laptev, Shijian Lu

cs.AI

Resumo

Os Modelos de Linguagem Visual de Grande Escala (LVLMs) recentes apresentam notáveis capacidades de conversação e raciocínio zero-shot dadas consultas multimodais. No entanto, eles sofrem de alucinação de objetos, um fenômeno no qual os LVLMs são propensos a gerar respostas textuais que não estão alinhadas factualmente com as entradas de imagem. Nosso estudo piloto revela que a alucinação de objetos está intimamente ligada à Codificação de Posição Rotativa (RoPE), um modelo de design de modelagem de dependência posicional amplamente adotado nos LVLMs existentes. Devido ao decaimento de longo prazo em RoPE, os LVLMs tendem a alucinar mais quando as pistas visuais relevantes estão distantes dos tokens de instrução na sequência de entrada multimodal. Além disso, observamos um efeito semelhante ao inverter a ordem sequencial dos tokens visuais durante o alinhamento multimodal. Nossos testes indicam que o decaimento de longo prazo em RoPE apresenta desafios para os LVLMs ao capturar interações visuais-instrução em longas distâncias. Propomos a Atenção Causal Concêntrica (CCA), uma estratégia de alinhamento posicional simples, porém eficaz, que mitiga o impacto do decaimento de longo prazo de RoPE nos LVLMs, reduzindo naturalmente a distância relativa entre os tokens visuais e de instrução. Com a CCA, os tokens visuais podem interagir melhor com os tokens de instrução, melhorando assim a capacidade de percepção do modelo e aliviando a alucinação de objetos. Sem firulas, nosso método de alinhamento posicional supera significativamente as estratégias existentes de mitigação de alucinação em múltiplos benchmarks de alucinação de objetos.

English

Recent Large Vision Language Models (LVLMs) present remarkable zero-shot conversational and reasoning capabilities given multimodal queries. Nevertheless, they suffer from object hallucination, a phenomenon where LVLMs are prone to generate textual responses not factually aligned with image inputs. Our pilot study reveals that object hallucination is closely tied with Rotary Position Encoding (RoPE), a widely adopted positional dependency modeling design in existing LVLMs. Due to the long-term decay in RoPE, LVLMs tend to hallucinate more when relevant visual cues are distant from instruction tokens in the multimodal input sequence. Additionally, we observe a similar effect when reversing the sequential order of visual tokens during multimodal alignment. Our tests indicate that long-term decay in RoPE poses challenges to LVLMs while capturing visual-instruction interactions across long distances. We propose Concentric Causal Attention (CCA), a simple yet effective positional alignment strategy that mitigates the impact of RoPE long-term decay in LVLMs by naturally reducing relative distance between visual and instruction tokens. With CCA, visual tokens can better interact with instruction tokens, thereby enhancing model's perception capability and alleviating object hallucination. Without bells and whistles, our positional alignment method surpasses existing hallucination mitigation strategies by large margins on multiple object hallucination benchmarks.