Рабочие заметки по динамике позднего взаимодействия: анализ целенаправленного поведения моделей позднего взаимодействия
Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models
March 27, 2026
Авторы: Antoine Edy, Max Conti, Quentin Macé
cs.AI
Аннотация
Хотя модели с поздним взаимодействием демонстрируют высокую производительность при поиске, многие лежащие в их основе динамические процессы остаются малоизученными, что потенциально скрывает узкие места производительности. В данной работе мы сосредоточимся на двух аспектах поиска с поздним взаимодействием: смещении в пользу длины, возникающем при использовании многовекторного оценивания, и распределении сходства за пределами наилучших оценок, агрегированных оператором MaxSim. Мы анализируем это поведение для современных моделей на бенчмарке NanoBEIR. Результаты показывают, что хотя теоретическое смещение в пользу длины у каузальных моделей с поздним взаимодействием подтверждается на практике, двунаправленные модели также могут страдать от него в крайних случаях. Мы также отмечаем, что за пределами токена документа с наивысшим сходством не наблюдается значимой тенденции в распределении схожести, что подтверждает эффективность оператора MaxSim в использовании оценок сходства на уровне токенов.
English
While Late Interaction models exhibit strong retrieval performance, many of their underlying dynamics remain understudied, potentially hiding performance bottlenecks. In this work, we focus on two topics in Late Interaction retrieval: a length bias that arises when using multi-vector scoring, and the similarity distribution beyond the best scores pooled by the MaxSim operator. We analyze these behaviors for state-of-the-art models on the NanoBEIR benchmark. Results show that while the theoretical length bias of causal Late Interaction models holds in practice, bi-directional models can also suffer from it in extreme cases. We also note that no significant similarity trend lies beyond the top-1 document token, validating that the MaxSim operator efficiently exploits the token-level similarity scores.