Aandachtsbekken: Waarom Contextuele Positie Belangrijk is in Grote Taalmodellen

Attention Basin: Why Contextual Position Matters in Large Language Models

August 7, 2025

Auteurs: Zihao Yi, Delong Zeng, Zhenqing Ling, Haohao Luo, Zhe Xu, Wei Liu, Jian Luan, Wanxia Cao, Ying Shen

cs.AI

Samenvatting

De prestaties van Large Language Models (LLMs) zijn aanzienlijk gevoelig voor de contextuele positie van informatie in de invoer. Om het mechanisme achter deze positionele bias te onderzoeken, onthullen onze uitgebreide experimenten een consistent fenomeen dat we de aandachtskom noemen: wanneer een reeks gestructureerde items (bijvoorbeeld opgehaalde documenten of few-shot voorbeelden) wordt gepresenteerd, wijzen modellen systematisch meer aandacht toe aan de items aan het begin en het einde van de reeks, terwijl die in het midden worden verwaarloosd. Cruciaal is dat onze analyse verder aantoont dat het toewijzen van meer aandacht aan kritieke informatie essentieel is voor het verbeteren van de modelprestaties. Op basis van deze inzichten introduceren we Attention-Driven Reranking (AttnRank), een tweestaps raamwerk dat (i) de intrinsieke positionele aandachtspreferenties van een model schat met behulp van een kleine kalibratieset, en (ii) opgehaalde documenten of few-shot voorbeelden herordent om de meest opvallende inhoud uit te lijnen met deze hoge-aandachtsposities. AttnRank is een model-agnostische, trainingsvrije en plug-and-play methode met minimale rekenkosten. Experimenten op multi-hop QA en few-shot in-context learning taken tonen aan dat AttnRank aanzienlijke verbeteringen bereikt over 10 grote taalmodellen van verschillende architecturen en schalen, zonder modelparameters of trainingsprocedures aan te passen.

English

The performance of Large Language Models (LLMs) is significantly sensitive to the contextual position of information in the input. To investigate the mechanism behind this positional bias, our extensive experiments reveal a consistent phenomenon we term the attention basin: when presented with a sequence of structured items (e.g., retrieved documents or few-shot examples), models systematically assign higher attention to the items at the beginning and end of the sequence, while neglecting those in the middle. Crucially, our analysis further reveals that allocating higher attention to critical information is key to enhancing model performance. Based on these insights, we introduce Attention-Driven Reranking (AttnRank), a two-stage framework that (i) estimates a model's intrinsic positional attention preferences using a small calibration set, and (ii) reorders retrieved documents or few-shot examples to align the most salient content with these high-attention positions. AttnRank is a model-agnostic, training-free, and plug-and-play method with minimal computational overhead. Experiments on multi-hop QA and few-shot in-context learning tasks demonstrate that AttnRank achieves substantial improvements across 10 large language models of varying architectures and scales, without modifying model parameters or training procedures.