NER Retriever: Извлечение именованных сущностей в условиях нулевого обучения с использованием типозависимых эмбеддингов
NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings
September 4, 2025
Авторы: Or Shachar, Uri Katz, Yoav Goldberg, Oren Glickman
cs.AI
Аннотация
Мы представляем NER Retriever, фреймворк для поиска именованных сущностей в режиме zero-shot, который является вариацией задачи распознавания именованных сущностей (NER), где типы сущностей не заданы заранее, а для поиска документов, упоминающих сущности определённого типа, используется описание, предоставленное пользователем. Вместо использования фиксированных схем или тонко настроенных моделей наш метод опирается на внутренние представления больших языковых моделей (LLM), чтобы встраивать как упоминания сущностей, так и открытые описания типов, предоставленные пользователем, в общее семантическое пространство. Мы показываем, что внутренние представления, в частности векторы значений из средних слоёв трансформерных блоков, кодируют информацию о типах более детально, чем обычно используемые эмбеддинги верхних слоёв. Для уточнения этих представлений мы обучаем лёгкую контрастную проекционную сеть, которая выравнивает сущности, совместимые по типу, и разделяет несвязанные типы. Полученные эмбеддинги сущностей компактны, учитывают типы и хорошо подходят для поиска ближайших соседей. Оценка на трёх бенчмарках показывает, что NER Retriever значительно превосходит как лексические, так и плотные методы поиска на уровне предложений. Наши результаты предоставляют эмпирическое обоснование для выбора представлений внутри LLM и демонстрируют практическое решение для масштабируемого поиска сущностей без использования схем. Кодовая база NER Retriever доступна по адресу https://github.com/ShacharOr100/ner_retriever.
English
We present NER Retriever, a zero-shot retrieval framework for ad-hoc Named
Entity Retrieval, a variant of Named Entity Recognition (NER), where the types
of interest are not provided in advance, and a user-defined type description is
used to retrieve documents mentioning entities of that type. Instead of relying
on fixed schemas or fine-tuned models, our method builds on internal
representations of large language models (LLMs) to embed both entity mentions
and user-provided open-ended type descriptions into a shared semantic space. We
show that internal representations, specifically the value vectors from
mid-layer transformer blocks, encode fine-grained type information more
effectively than commonly used top-layer embeddings. To refine these
representations, we train a lightweight contrastive projection network that
aligns type-compatible entities while separating unrelated types. The resulting
entity embeddings are compact, type-aware, and well-suited for nearest-neighbor
search. Evaluated on three benchmarks, NER Retriever significantly outperforms
both lexical and dense sentence-level retrieval baselines. Our findings provide
empirical support for representation selection within LLMs and demonstrate a
practical solution for scalable, schema-free entity retrieval. The NER
Retriever Codebase is publicly available at
https://github.com/ShacharOr100/ner_retriever