ECI_{sem}: 하드 네거티브 평가를 위한 의미론적 잔차 효과적 대조 정보

초록

고밀도 검색(덴스 검색)을 위한 하드 네거티브 소스 선택은 일반적으로 미세 조정과 다운스트림 평가 후에만 결정된다. 본 논문에서는 효과적 대조 정보(ECI)의 의미 잔차 변종인 ECI_{sem}을 제안하며, 이는 고정된 타겟 인코더 임베딩을 사용하여 후보 네거티브 소스의 순위를 매긴다. ECI_{sem}은 학습이 필요 없지만, 레이블이 필요 없는 것은 아니다. 즉, 각 점수가 매겨진 예제는 쿼리, 레이블이 지정된 긍정 예제, 그리고 명시적인 후보 네거티브를 필요로 한다. ECI_{sem}은 타겟 일관성, 의미적 지역성, 어휘 잔차성, 그리고 로그 행렬식 다양성 목적 함수로부터 가중 잔차 정보 행렬을 구축한다. MS MARCO 네거티브 소스에 대해, 패밀리 내 ECI_{sem}은 비하이브리드 소스 중에서는 LLM 네거티브를 가장 높게, 하이브리드 소스 중에서는 Dense+LLM을 가장 높게 순위 매기며, DistilBERT, E5-base, Contriever에 걸쳐 가장 강력한 집계 BEIR 전이 결과와 일치한다. 통제된 절제 실험은 이러한 정렬이 타겟 인코더 패밀리를 사용하는 데 의존함을 보여주며, 추가 절제 실험은 샘플 크기, 온도, 토크나이저, IDF 코퍼스 변동에 대한 안정성을 보여준다. 이론은 손실 감소에 대한 국소 선형화 연결을 제공하는 반면, 경험적 연구는 다운스트림 평가를 최종 테스트로 간주한다.

English

Hard-negative source selection for dense retrieval is usually decided only after fine-tuning and downstream evaluation. We propose ECI_{sem}, a semantic residual variant of Effective Contrastive Information (ECI) that ranks candidate negative sources using frozen target-encoder embeddings. ECI_{sem} is training-free, not label-free: each scored example requires a query, a labeled positive, and an explicit candidate negative. ECI_{sem} builds a weighted residual information matrix from target consistency, semantic locality, lexical residuality, and a log-determinant diversity objective. On MS MARCO negative sources, in-family ECI_{sem} ranks LLM negatives highest among non-hybrid sources and Dense+LLM highest among hybrid sources, matching the strongest aggregate BEIR transfer results across DistilBERT, E5-base, and Contriever. Controlled ablations show that this alignment depends on using the target encoder family, while additional ablations show stability under sample-size, temperature, tokenizer, and IDF-corpus perturbations. The theory gives a local linearized link to loss reduction, while the empirical study treats downstream evaluation as the final test.