Избавление от позиционного смещения языковых моделей: механистический подход

Eliminating Position Bias of Language Models: A Mechanistic Approach

July 1, 2024

Авторы: Ziqi Wang, Hanlin Zhang, Xiner Li, Kuan-Hao Huang, Chi Han, Shuiwang Ji, Sham M. Kakade, Hao Peng, Heng Ji

cs.AI

Аннотация

Позиционный биас доказал себя как распространенная проблема современных языковых моделей (LM), где модели приоритизируют контент на основе его позиции в заданном контексте. Этот биас часто приводит к неожиданным сбоям модели и ухудшает производительность, устойчивость и надежность в различных приложениях. Наш механистический анализ относит позиционный биас к двум компонентам, используемым практически во всех современных LM: причинное внимание и относительные позиционные кодирования. В частности, мы обнаружили, что причинное внимание обычно заставляет модели предпочитать отдаленный контент, в то время как относительные позиционные кодирования, такие как RoPE, предпочитают близкие на основе анализа вопросно-ответных систем с увеличенным поиском (QA). Кроме того, наше эмпирическое исследование по обнаружению объектов показывает, что позиционный биас также присутствует в моделях видео-языка (VLM). Исходя из вышеизложенного анализа, мы предлагаем ИСКЛЮЧИТЬ позиционный биас, вызванный различными порядками вводимых сегментов (например, вариантов в LM-как-судья, извлеченных документов в QA), в РЕЖИМЕ ОБУЧЕНИЯ БЕЗ ОБРАЗЦОВ. Наш метод изменяет причинное внимание на двунаправленное внимание между сегментами и использует значения внимания модели для определения относительных порядков сегментов вместо использования порядка, предоставленного во входных подсказках, что позволяет достичь Инференции, Инвариантной к Позиции (PINE) на уровне сегмента. Избавляясь от позиционного биаса, модели достигают лучшей производительности и надежности в последующих задачах, где широко распространен позиционный биас, таких как LM-как-судья и вопросно-ответные системы с увеличенным поиском. Следует отметить, что PINE особенно полезен при адаптации LM для оценки пар рассуждений: он последовательно обеспечивает прирост производительности на 8-10 процентных пунктов в большинстве случаев и делает Llama-3-70B-Instruct даже лучше, чем GPT-4-0125-preview на подмножестве рассуждений RewardBench.

English

Position bias has proven to be a prevalent issue of modern language models (LMs), where the models prioritize content based on its position within the given context. This bias often leads to unexpected model failures and hurts performance, robustness, and reliability across various applications. Our mechanistic analysis attributes the position bias to two components employed in nearly all state-of-the-art LMs: causal attention and relative positional encodings. Specifically, we find that causal attention generally causes models to favor distant content, while relative positional encodings like RoPE prefer nearby ones based on the analysis of retrieval-augmented question answering (QA). Further, our empirical study on object detection reveals that position bias is also present in vision-language models (VLMs). Based on the above analyses, we propose to ELIMINATE position bias caused by different input segment orders (e.g., options in LM-as-a-judge, retrieved documents in QA) in a TRAINING-FREE ZERO-SHOT manner. Our method changes the causal attention to bidirectional attention between segments and utilizes model attention values to decide the relative orders of segments instead of using the order provided in input prompts, therefore enabling Position-INvariant inferencE (PINE) at the segment level. By eliminating position bias, models achieve better performance and reliability in downstream tasks where position bias widely exists, such as LM-as-a-judge and retrieval-augmented QA. Notably, PINE is especially useful when adapting LMs for evaluating reasoning pairs: it consistently provides 8 to 10 percentage points performance gains in most cases, and makes Llama-3-70B-Instruct perform even better than GPT-4-0125-preview on the RewardBench reasoning subset.