CGPT: 테이블 검색을 위한 LLM 생성 감독 기반 클러스터 유도 부분 테이블

초록

범용 임베딩 모델은 텍스트 검색에서는 강력한 성능을 보여주지만, 고도로 구조화된 콘텐츠로 인해 의미론적 압축과 쿼리-테이블 불일치가 발생하는 테이블 검색 분야에서는 여전히 최적의 성능을 내지 못하고 있습니다. 최근 LLM 기반 검색 증강 방법은 합성 쿼리를 생성하여 이 문제를 완화하지만, 휴리스틱한 부분 테이블 선택에 의존하는 경우가 많으며, 이러한 합성 쿼리를 임베딩 모델 개선을 위한 감독 신호로 활용하는 경우는 드뭅니다. 본 연구에서는 LLM 생성 감독 신호를 통해 테이블 검색 성능을 향상시키는 학습 프레임워크인 CGPT를 소개합니다. CGPT는 K-평균 군집화를 통해 테이블 인스턴스를 그룹화하고 다양한 군집에서 샘플링하여 의미론적 다양성이 보장된 부분 테이블을 구성합니다. 이후 LLM을 이용해 이러한 부분 테이블에 대한 합성 쿼리를 생성하며, 이 쿼리들은 하드 네거티브 대조 학습을 통해 임베딩 모델을 정제하는 데 활용됩니다. 4개의 공개 벤치마크(MimoTable, OTTQA, FetaQA, E2E-WTQ)에서 진행된 실험 결과, CGPT는 QGpT를 포함한 기존 검색 기준선들을 꾸준히 능가하며 평균 R@1에서 16.54%의 성능 향상을 보였습니다. 통합 다중 도메인 코퍼스 환경에서 CGPT는 강력한 교차 도메인 일반화 능력을 추가로 입증했으며, 더 작은 LLM을 사용하여 합성 쿼리를 생성하는 경우에도 효과를 유지했습니다. 이러한 결과는 의미론적으로 지도된 부분 테이블 구성과 LLM 생성 감독 신호에 기반한 대조 학습이 대규모 테이블 검색을 위한 효과적이고 확장 가능한 패러다임을 제공함을 시사합니다. 코드는 https://github.com/yumeow0122/CGPT에서 확인할 수 있습니다.

English

General-purpose embedding models have demonstrated strong performance in text retrieval but remain suboptimal for table retrieval, where highly structured content leads to semantic compression and query-table mismatch. Recent LLM-based retrieval augmentation methods mitigate this issue by generating synthetic queries, yet they often rely on heuristic partial-table selection and seldom leverage these synthetic queries as supervision to improve the embedding model. We introduce CGPT, a training framework that enhances table retrieval through LLM-generated supervision. CGPT constructs semantically diverse partial tables by clustering table instances using K-means and sampling across clusters to broaden semantic coverage. An LLM then generates synthetic queries for these partial tables, which are used in hard-negative contrastive fine-tuning to refine the embedding model. Experiments across four public benchmarks (MimoTable, OTTQA, FetaQA, and E2E-WTQ) show that CGPT consistently outperforms retrieval baselines, including QGpT, with an average R@1 improvement of 16.54 percent. In a unified multi-domain corpus setting, CGPT further demonstrates strong cross-domain generalization and remains effective even when using smaller LLMs for synthetic query generation. These results indicate that semantically guided partial-table construction, combined with contrastive training from LLM-generated supervision, provides an effective and scalable paradigm for large-scale table retrieval. Our code is available at https://github.com/yumeow0122/CGPT.

CGPT: 테이블 검색을 위한 LLM 생성 감독 기반 클러스터 유도 부분 테이블

CGPT: Cluster-Guided Partial Tables with LLM-Generated Supervision for Table Retrieval

초록

Support