Mitigación de la alucinación de objetos a través de la atención causal concéntrica.

Mitigating Object Hallucination via Concentric Causal Attention

October 21, 2024

Autores: Yun Xing, Yiheng Li, Ivan Laptev, Shijian Lu

cs.AI

Resumen

Los Modelos de Lenguaje y Visión a Gran Escala (LVLMs) recientes presentan notables capacidades de conversación y razonamiento cero-shot dadas las consultas multimodales. Sin embargo, sufren de alucinación de objetos, un fenómeno en el que los LVLMs tienden a generar respuestas textuales que no están alineadas factualmente con las entradas de imagen. Nuestro estudio piloto revela que la alucinación de objetos está estrechamente relacionada con la Codificación de Posición Rotativa (RoPE), un diseño de modelado de dependencia posicional ampliamente adoptado en los LVLMs existentes. Debido a la decadencia a largo plazo en RoPE, los LVLMs tienden a alucinar más cuando las señales visuales relevantes están distantes de los tokens de instrucción en la secuencia de entrada multimodal. Además, observamos un efecto similar al revertir el orden secuencial de los tokens visuales durante la alineación multimodal. Nuestros tests indican que la decadencia a largo plazo en RoPE plantea desafíos a los LVLMs al capturar interacciones visuales-instrucción a largas distancias. Proponemos Atención Causal Concéntrica (CCA), una estrategia de alineación posicional simple pero efectiva que mitiga el impacto de la decadencia a largo plazo de RoPE en los LVLMs al reducir naturalmente la distancia relativa entre los tokens visuales e instructivos. Con CCA, los tokens visuales pueden interactuar mejor con los tokens de instrucción, mejorando así la capacidad de percepción del modelo y aliviando la alucinación de objetos. Sin adornos, nuestro método de alineación posicional supera ampliamente las estrategias existentes de mitigación de alucinaciones en múltiples referencias de alucinación de objetos.

English

Recent Large Vision Language Models (LVLMs) present remarkable zero-shot conversational and reasoning capabilities given multimodal queries. Nevertheless, they suffer from object hallucination, a phenomenon where LVLMs are prone to generate textual responses not factually aligned with image inputs. Our pilot study reveals that object hallucination is closely tied with Rotary Position Encoding (RoPE), a widely adopted positional dependency modeling design in existing LVLMs. Due to the long-term decay in RoPE, LVLMs tend to hallucinate more when relevant visual cues are distant from instruction tokens in the multimodal input sequence. Additionally, we observe a similar effect when reversing the sequential order of visual tokens during multimodal alignment. Our tests indicate that long-term decay in RoPE poses challenges to LVLMs while capturing visual-instruction interactions across long distances. We propose Concentric Causal Attention (CCA), a simple yet effective positional alignment strategy that mitigates the impact of RoPE long-term decay in LVLMs by naturally reducing relative distance between visual and instruction tokens. With CCA, visual tokens can better interact with instruction tokens, thereby enhancing model's perception capability and alleviating object hallucination. Without bells and whistles, our positional alignment method surpasses existing hallucination mitigation strategies by large margins on multiple object hallucination benchmarks.