Notes de travail sur la dynamique des interactions tardives : analyse des comportements ciblés des modèles d'interaction tardive
Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models
March 27, 2026
Auteurs: Antoine Edy, Max Conti, Quentin Macé
cs.AI
Résumé
Bien que les modèles à Interaction Tardive présentent de solides performances en recherche d'information, nombre de leurs dynamiques sous-jacentes restent peu étudiées, ce qui pourrait masquer des goulots d'étranglement limitant leurs performances. Dans ce travail, nous nous concentrons sur deux aspects de la recherche par Interaction Tardive : un biais de longueur qui survient lors de l'utilisation du score multi-vecteurs, et la distribution des similarités au-delà des meilleurs scores agrégés par l'opérateur MaxSim. Nous analysons ces comportements pour des modèles de pointe sur le benchmark NanoBEIR. Les résultats montrent que si le biais de longueur théorique des modèles à Interaction Tardive causale se vérifie en pratique, les modèles bidirectionnels peuvent également en souffrir dans des cas extrêmes. Nous constatons également qu'aucune tendance significative de similarité n'existe au-delà du meilleur token de document, ce qui valide que l'opérateur MaxSim exploite efficacement les scores de similarité au niveau token.
English
While Late Interaction models exhibit strong retrieval performance, many of their underlying dynamics remain understudied, potentially hiding performance bottlenecks. In this work, we focus on two topics in Late Interaction retrieval: a length bias that arises when using multi-vector scoring, and the similarity distribution beyond the best scores pooled by the MaxSim operator. We analyze these behaviors for state-of-the-art models on the NanoBEIR benchmark. Results show that while the theoretical length bias of causal Late Interaction models holds in practice, bi-directional models can also suffer from it in extreme cases. We also note that no significant similarity trend lies beyond the top-1 document token, validating that the MaxSim operator efficiently exploits the token-level similarity scores.