NER Retriever : Récupération d'entités nommées en Zero-Shot avec des embeddings conscients du type
NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings
September 4, 2025
papers.authors: Or Shachar, Uri Katz, Yoav Goldberg, Oren Glickman
cs.AI
papers.abstract
Nous présentons NER Retriever, un cadre de récupération zero-shot pour la recherche ad-hoc d'entités nommées, une variante de la Reconnaissance d'Entités Nommées (NER), où les types d'intérêt ne sont pas fournis à l'avance, et une description de type définie par l'utilisateur est utilisée pour récupérer les documents mentionnant des entités de ce type. Plutôt que de s'appuyer sur des schémas fixes ou des modèles affinés, notre méthode s'appuie sur les représentations internes des grands modèles de langage (LLMs) pour intégrer à la fois les mentions d'entités et les descriptions de types ouvertes fournies par l'utilisateur dans un espace sémantique partagé. Nous montrons que les représentations internes, en particulier les vecteurs de valeur des blocs transformateurs des couches intermédiaires, encodent des informations de type plus fines que les embeddings couramment utilisés dans les couches supérieures. Pour affiner ces représentations, nous entraînons un réseau de projection contrastif léger qui aligne les entités compatibles tout en séparant les types non liés. Les embeddings d'entités résultants sont compacts, conscients du type et bien adaptés à la recherche des plus proches voisins. Évalué sur trois benchmarks, NER Retriever surpasse significativement les bases de référence lexicales et denses au niveau de la phrase. Nos résultats fournissent un support empirique pour la sélection de représentations au sein des LLMs et démontrent une solution pratique pour la récupération d'entités scalable et sans schéma. Le codebase de NER Retriever est disponible publiquement à l'adresse https://github.com/ShacharOr100/ner_retriever.
English
We present NER Retriever, a zero-shot retrieval framework for ad-hoc Named
Entity Retrieval, a variant of Named Entity Recognition (NER), where the types
of interest are not provided in advance, and a user-defined type description is
used to retrieve documents mentioning entities of that type. Instead of relying
on fixed schemas or fine-tuned models, our method builds on internal
representations of large language models (LLMs) to embed both entity mentions
and user-provided open-ended type descriptions into a shared semantic space. We
show that internal representations, specifically the value vectors from
mid-layer transformer blocks, encode fine-grained type information more
effectively than commonly used top-layer embeddings. To refine these
representations, we train a lightweight contrastive projection network that
aligns type-compatible entities while separating unrelated types. The resulting
entity embeddings are compact, type-aware, and well-suited for nearest-neighbor
search. Evaluated on three benchmarks, NER Retriever significantly outperforms
both lexical and dense sentence-level retrieval baselines. Our findings provide
empirical support for representation selection within LLMs and demonstrate a
practical solution for scalable, schema-free entity retrieval. The NER
Retriever Codebase is publicly available at
https://github.com/ShacharOr100/ner_retriever