Notas de Trabalho sobre Dinâmicas de Interação Tardia: Análise de Comportamentos Direcionados em Modelos de Interação Tardia
Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models
March 27, 2026
Autores: Antoine Edy, Max Conti, Quentin Macé
cs.AI
Resumo
Embora os modelos de Interação Tardia exibam forte desempenho em recuperação de informação, muitas de suas dinâmicas subjacentes permanecem pouco estudadas, potencialmente ocultando gargalos de desempenho. Neste trabalho, focamos em dois tópicos na recuperação por Interação Tardia: um viés de comprimento que surge ao usar a pontuação multivectorial e a distribuição de similaridade além das melhores pontuações agregadas pelo operador MaxSim. Analisamos esses comportamentos para modelos state-of-the-art no benchmark NanoBEIR. Os resultados mostram que, embora o viés de comprimento teórico dos modelos de Interação Tardia causais se mantenha na prática, modelos bidirecionais também podem sofrer com ele em casos extremos. Também observamos que não há uma tendência significativa de similaridade além do token de documento top-1, validando que o operador MaxSim explora eficientemente as pontuações de similaridade em nível de token.
English
While Late Interaction models exhibit strong retrieval performance, many of their underlying dynamics remain understudied, potentially hiding performance bottlenecks. In this work, we focus on two topics in Late Interaction retrieval: a length bias that arises when using multi-vector scoring, and the similarity distribution beyond the best scores pooled by the MaxSim operator. We analyze these behaviors for state-of-the-art models on the NanoBEIR benchmark. Results show that while the theoretical length bias of causal Late Interaction models holds in practice, bi-directional models can also suffer from it in extreme cases. We also note that no significant similarity trend lies beyond the top-1 document token, validating that the MaxSim operator efficiently exploits the token-level similarity scores.