Arbeitsnotizen zu späten Interaktionsdynamiken: Analyse gezielter Verhaltensweisen von Late-Interaction-Modellen
Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models
March 27, 2026
Autoren: Antoine Edy, Max Conti, Quentin Macé
cs.AI
Zusammenfassung
Obwohl Late-Interaction-Modelle eine starke Retrieval-Leistung aufweisen, sind viele ihrer zugrundeliegenden Dynamiken nach wie vor unzureichend erforscht, was potenzielle Leistungsengpässe verschleiern könnte. In dieser Arbeit konzentrieren wir uns auf zwei Aspekte beim Late-Interaction-Retrieval: eine Längenverzerrung (Length Bias), die bei der Verwendung von Multi-Vector-Scoring auftritt, und die Ähnlichkeitsverteilung jenseits der durch den MaxSim-Operator gepoolten besten Scores. Wir analysieren dieses Verhalten für state-of-the-art Modelle am NanoBEIR-Benchmark. Die Ergebnisse zeigen, dass die theoretische Längenverzerrung von kausalen Late-Interaction-Modellen in der Praxis zutrifft, bidirektionale Modelle in Extremfällen jedoch ebenfalls darunter leiden können. Weiterhin stellen wir fest, dass jenseits des Top-1-Dokument-Tokens kein signifikanter Ähnlichkeitstrend vorliegt, was die effiziente Ausnutzung der Token-Level-Ähnlichkeitswerte durch den MaxSim-Operator validiert.
English
While Late Interaction models exhibit strong retrieval performance, many of their underlying dynamics remain understudied, potentially hiding performance bottlenecks. In this work, we focus on two topics in Late Interaction retrieval: a length bias that arises when using multi-vector scoring, and the similarity distribution beyond the best scores pooled by the MaxSim operator. We analyze these behaviors for state-of-the-art models on the NanoBEIR benchmark. Results show that while the theoretical length bias of causal Late Interaction models holds in practice, bi-directional models can also suffer from it in extreme cases. We also note that no significant similarity trend lies beyond the top-1 document token, validating that the MaxSim operator efficiently exploits the token-level similarity scores.