LMK > CLS: Landmark Pooling per gli Embedding Densi

LMK > CLS: Landmark Pooling for Dense Embeddings

January 29, 2026

Autori: Meet Doshi, Aashka Trivedi, Vishwajeet Kumar, Parul Awasthy, Yulong Li, Jaydeep Sen, Radu Florian, Sachindra Joshi

cs.AI

Abstract

L'apprendimento di rappresentazioni è centrale per numerosi task downstream come la ricerca, il clustering, la classificazione e il riordinamento dei risultati. Gli encoder di sequenza allo stato dell'arte tipicamente collassano una sequenza di token di lunghezza variabile in un singolo vettore utilizzando un operatore di pooling, più comunemente uno speciale token [CLS] o il mean pooling sugli embedding dei token. In questo articolo, identifichiamo delle debolezze sistemiche di queste strategie di pooling: il token [CLS] tende a concentrare l'informazione verso le posizioni iniziali della sequenza e può sottorappresentare evidenze distribuite, mentre il mean pooling può diluire segnali locali salienti, portando talvolta a prestazioni peggiori in contesti brevi. Per affrontare questi problemi, introduciamo il Landmark (LMK) pooling, che suddivide una sequenza in segmenti, inserisce token landmark tra di essi, e forma la rappresentazione finale effettuando il mean pooling sugli embedding dei token landmark. Questo semplice meccanismo migliora l'estrapolazione a contesti lunghi senza sacrificare le caratteristiche salienti locali, al costo di introdurre un piccolo numero di token speciali. Dimostriamo empiricamente che il LMK pooling eguaglia i metodi esistenti sui task di retrieval a contesto breve e produce miglioramenti sostanziali sui task a contesto lungo, rendendolo un'alternativa pratica e scalabile ai metodi di pooling esistenti.

English

Representation learning is central to many downstream tasks such as search, clustering, classification, and reranking. State-of-the-art sequence encoders typically collapse a variable-length token sequence to a single vector using a pooling operator, most commonly a special [CLS] token or mean pooling over token embeddings. In this paper, we identify systematic weaknesses of these pooling strategies: [CLS] tends to concentrate information toward the initial positions of the sequence and can under-represent distributed evidence, while mean pooling can dilute salient local signals, sometimes leading to worse short-context performance. To address these issues, we introduce Landmark (LMK) pooling, which partitions a sequence into chunks, inserts landmark tokens between chunks, and forms the final representation by mean-pooling the landmark token embeddings. This simple mechanism improves long-context extrapolation without sacrificing local salient features, at the cost of introducing a small number of special tokens. We empirically demonstrate that LMK pooling matches existing methods on short-context retrieval tasks and yields substantial improvements on long-context tasks, making it a practical and scalable alternative to existing pooling methods.