NER Retriever: Null-Shot-Named-Entity-Retrieval mit typbewussten Einbettungen
NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings
September 4, 2025
papers.authors: Or Shachar, Uri Katz, Yoav Goldberg, Oren Glickman
cs.AI
papers.abstract
Wir stellen NER Retriever vor, ein Zero-Shot-Retrieval-Framework für ad-hoc Named Entity Retrieval, eine Variante der Named Entity Recognition (NER), bei der die interessierenden Typen nicht im Voraus festgelegt sind und eine benutzerdefinierte Typbeschreibung verwendet wird, um Dokumente zu finden, die Entitäten dieses Typs erwähnen. Anstatt auf feste Schemata oder feinabgestimmte Modelle angewiesen zu sein, basiert unsere Methode auf internen Repräsentationen großer Sprachmodelle (LLMs), um sowohl Entitätserwähnungen als auch benutzerdefinierte, offene Typbeschreibungen in einen gemeinsamen semantischen Raum einzubetten. Wir zeigen, dass interne Repräsentationen, insbesondere die Wertvektoren aus mittleren Transformer-Blöcken, feinkörnige Typinformationen effektiver kodieren als häufig verwendete Top-Layer-Embeddings. Um diese Repräsentationen zu verfeinern, trainieren wir ein leichtgewichtiges kontrastives Projektionsnetzwerk, das typkompatible Entitäten ausrichtet, während es nicht verwandte Typen trennt. Die resultierenden Entitäts-Embeddings sind kompakt, typbewusst und eignen sich gut für die nächste-Nachbar-Suche. Auf drei Benchmarks getestet, übertrifft NER Retriever sowohl lexikalische als auch dichte Satzebenen-Retrieval-Baselines deutlich. Unsere Ergebnisse liefern empirische Unterstützung für die Repräsentationsauswahl innerhalb von LLMs und demonstrieren eine praktische Lösung für skalierbare, schemafreie Entitätsretrieval. Der NER Retriever Codebase ist öffentlich verfügbar unter https://github.com/ShacharOr100/ner_retriever.
English
We present NER Retriever, a zero-shot retrieval framework for ad-hoc Named
Entity Retrieval, a variant of Named Entity Recognition (NER), where the types
of interest are not provided in advance, and a user-defined type description is
used to retrieve documents mentioning entities of that type. Instead of relying
on fixed schemas or fine-tuned models, our method builds on internal
representations of large language models (LLMs) to embed both entity mentions
and user-provided open-ended type descriptions into a shared semantic space. We
show that internal representations, specifically the value vectors from
mid-layer transformer blocks, encode fine-grained type information more
effectively than commonly used top-layer embeddings. To refine these
representations, we train a lightweight contrastive projection network that
aligns type-compatible entities while separating unrelated types. The resulting
entity embeddings are compact, type-aware, and well-suited for nearest-neighbor
search. Evaluated on three benchmarks, NER Retriever significantly outperforms
both lexical and dense sentence-level retrieval baselines. Our findings provide
empirical support for representation selection within LLMs and demonstrate a
practical solution for scalable, schema-free entity retrieval. The NER
Retriever Codebase is publicly available at
https://github.com/ShacharOr100/ner_retriever