Apuntes de Trabajo sobre Dinámicas de Interacción Tardía: Análisis de Comportamientos Dirigidos en Modelos de Interacción Tardía
Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models
March 27, 2026
Autores: Antoine Edy, Max Conti, Quentin Macé
cs.AI
Resumen
Si bien los modelos de Interacción Tardía exhiben un fuerte rendimiento en recuperación, muchas de sus dinámicas subyacentes permanecen poco estudiadas, lo que potencialmente oculta cuellos de botella en el rendimiento. En este trabajo, nos centramos en dos aspectos de la recuperación por Interacción Tardía: un sesgo de longitud que surge al utilizar la puntuación multivectorial y la distribución de similitud más allá de las mejores puntuaciones agrupadas por el operador MaxSim. Analizamos estos comportamientos en modelos de vanguardia utilizando el benchmark NanoBEIR. Los resultados muestran que, si bien el sesgo de longitud teórico de los modelos de Interacción Tardía causal se mantiene en la práctica, los modelos bidireccionales también pueden verse afectados por él en casos extremos. También observamos que no existe una tendencia significativa de similitud más allá del token principal del documento, lo que valida que el operador MaxSim explota eficientemente las puntuaciones de similitud a nivel de token.
English
While Late Interaction models exhibit strong retrieval performance, many of their underlying dynamics remain understudied, potentially hiding performance bottlenecks. In this work, we focus on two topics in Late Interaction retrieval: a length bias that arises when using multi-vector scoring, and the similarity distribution beyond the best scores pooled by the MaxSim operator. We analyze these behaviors for state-of-the-art models on the NanoBEIR benchmark. Results show that while the theoretical length bias of causal Late Interaction models holds in practice, bi-directional models can also suffer from it in extreme cases. We also note that no significant similarity trend lies beyond the top-1 document token, validating that the MaxSim operator efficiently exploits the token-level similarity scores.