MULTI3IR: 다중 관점, 다중 도메인, 다중 모달 정보 검색을 위한 벤치마크

초록

정보 검색(IR)은 다양한 관점을 허용하는 개방형 질의를 점점 더 대상으로 삼고 있다. 그러나 기존 IR 벤치마크는 주로 폐쇄형 질의에 초점을 맞추고 있으며, 개방형 벤치마크조차 대부분 단일 주제 도메인과 모달리티에 걸친 지원 문서를 가진 질의로 구성되어 있다. 우리는 다양한 도메인과 모달리티에 걸친 개방형 질의의 다면적 관점을 검색기가 얼마나 잘 포괄하는지 평가하는 벤치마크인 Multi³IR을 소개한다. 이 벤치마크는 104.9K개의 Stack Exchange 질의로 구성되며, 각 질의는 질의의 암묵적 관점을 포착하는 관점 설명으로 주석 처리되어 있다. 또한 우리는 임베딩을 다양하면서도 의미 있는 의미적 방향으로 유도하는 노이즈 벡터를 학습하는, 파라미터 및 레이블 효율적 방법인 SPIN을 제안한다. 실험 결과, 기존의 다중 모달 검색기들은 단일 관점 편향을 보이며, SPIN은 Multi³IR에서 관점 포괄성을 크게 향상시키고 보지 못한 개방형 IR 벤치마크에도 잘 일반화된다. 데이터셋과 실험 코드는 https://github.com/seokwon99/Multi3IR에서 이용할 수 있다.

English

Information retrieval (IR) increasingly targets open-ended queries that admit diverse perspectives. Existing IR benchmarks, however, focus primarily on closed-ended queries, while even open-ended benchmarks largely consist of queries whose supporting documents span a single subject domain and modality. We introduce Multi^3IR, a benchmark that evaluates how well retrievers cover the multifaceted perspectives of open-ended queries across diverse domains and modalities. It comprises 104.9K Stack Exchange queries, each annotated with perspective descriptions that capture the query's implicit viewpoints. We further propose SPIN, a parameter- and label-efficient method that learns noise vectors to steer embeddings toward diverse yet meaningful semantic directions. Experiments show that existing multimodal retrievers suffer from single-perspective bias, while SPIN substantially improves perspective coverage on Multi^3IR and generalizes well to unseen open-ended IR benchmarks. The dataset and experimental code are available at https://github.com/seokwon99/Multi3IR.