NER Retriever: 유형 인식 임베딩을 활용한 제로샷 개체명 검색

초록

NER Retriever를 소개합니다. 이는 특정 유형이 사전에 제공되지 않고, 사용자 정의 유형 설명을 통해 해당 유형의 개체를 언급하는 문서를 검색하는 Named Entity Recognition(NER)의 변형인 임시 명명 개체 검색을 위한 제로샷 검색 프레임워크입니다. 고정된 스키마나 미세 조정된 모델에 의존하는 대신, 우리의 방법은 대규모 언어 모델(LLM)의 내부 표현을 기반으로 하여 개체 언급과 사용자가 제공한 개방형 유형 설명을 공유된 의미 공간에 임베딩합니다. 특히 중간층 트랜스포머 블록의 값 벡터와 같은 내부 표현이 일반적으로 사용되는 최상층 임베딩보다 세분화된 유형 정보를 더 효과적으로 인코딩함을 보여줍니다. 이러한 표현을 개선하기 위해, 우리는 유형 호환 개체를 정렬하면서 관련 없는 유형을 분리하는 경량 대조 투영 네트워크를 학습합니다. 결과적으로 생성된 개체 임베딩은 컴팩트하고 유형 인식이 가능하며, 최근접 이웃 검색에 적합합니다. 세 가지 벤치마크에서 평가된 NER Retriever는 어휘적 및 밀집 문장 수준 검색 기준선을 크게 능가합니다. 우리의 연구 결과는 LLM 내에서의 표현 선택에 대한 실증적 지원을 제공하며, 확장 가능한 스키마 없는 개체 검색을 위한 실용적인 해결책을 보여줍니다. NER Retriever 코드베이스는 https://github.com/ShacharOr100/ner_retriever에서 공개적으로 이용 가능합니다.

English

We present NER Retriever, a zero-shot retrieval framework for ad-hoc Named Entity Retrieval, a variant of Named Entity Recognition (NER), where the types of interest are not provided in advance, and a user-defined type description is used to retrieve documents mentioning entities of that type. Instead of relying on fixed schemas or fine-tuned models, our method builds on internal representations of large language models (LLMs) to embed both entity mentions and user-provided open-ended type descriptions into a shared semantic space. We show that internal representations, specifically the value vectors from mid-layer transformer blocks, encode fine-grained type information more effectively than commonly used top-layer embeddings. To refine these representations, we train a lightweight contrastive projection network that aligns type-compatible entities while separating unrelated types. The resulting entity embeddings are compact, type-aware, and well-suited for nearest-neighbor search. Evaluated on three benchmarks, NER Retriever significantly outperforms both lexical and dense sentence-level retrieval baselines. Our findings provide empirical support for representation selection within LLMs and demonstrate a practical solution for scalable, schema-free entity retrieval. The NER Retriever Codebase is publicly available at https://github.com/ShacharOr100/ner_retriever

NER Retriever: 유형 인식 임베딩을 활용한 제로샷 개체명 검색

NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings

초록

Support