Werkaantekeningen over Laat-Interactie Dynamiek: Analyse van Gerichte Gedragingen van Laat-Interactiemodellen

Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models

March 27, 2026

Auteurs: Antoine Edy, Max Conti, Quentin Macé

cs.AI

Samenvatting

Hoewel Late Interaction-modellen sterke retrievalprestaties vertonen, blijven veel van hun onderliggende dynamieken onderbelicht, wat mogelijk prestatieknelpunten verbergt. In dit werk richten we ons op twee aspecten van Late Interaction-retrieval: een lengtebias die ontstaat bij het gebruik van multi-vector scoring, en de gelijkenisverdeling voorbij de beste scores die door de MaxSim-operator worden gepoold. We analyseren dit gedrag voor state-of-the-art modellen op de NanoBEIR-benchmark. Resultaten tonen aan dat hoewel de theoretische lengtebias van causale Late Interaction-modellen in de praktijk standhoudt, bidirectionele modellen er in extreme gevallen eveneens onder kunnen lijden. We merken ook op dat er geen significante gelijkenistrend bestaat voorbij het top-1 documenttoken, wat valideert dat de MaxSim-operator de token-level gelijkenisscores efficiënt benut.

English

While Late Interaction models exhibit strong retrieval performance, many of their underlying dynamics remain understudied, potentially hiding performance bottlenecks. In this work, we focus on two topics in Late Interaction retrieval: a length bias that arises when using multi-vector scoring, and the similarity distribution beyond the best scores pooled by the MaxSim operator. We analyze these behaviors for state-of-the-art models on the NanoBEIR benchmark. Results show that while the theoretical length bias of causal Late Interaction models holds in practice, bi-directional models can also suffer from it in extreme cases. We also note that no significant similarity trend lies beyond the top-1 document token, validating that the MaxSim operator efficiently exploits the token-level similarity scores.