컨포멀 언어 작업의 인컨텍스트 앙상블 통합

초록

요약 및 추출적 질의응답과 같은 많은 NLP 작업은 두 가지 제약 조건, 즉 목표를 달성하는 데 필요한 충분한 관련 정보를 유지하는 커버리지(coverage)와 가능한 한 많은 무관한 정보를 제거하는 간결성(conciseness) 아래에서 문서의 관련 내용을 검색하는 문제로 귀결된다. 컨포멀 예측(conformal prediction) 방법은 커버리지를 보장하는 데 사용되어 왔으며, 점수 함수(score function)의 설계를 통해 간결성 측면에서 최적화되어야 한다. 최신 점수 함수들은 콘텐츠의 중요도를 평가하도록 모델에 요청하는 수작업으로 설계된 LLM 프롬프트를 사용하지만, 수동 프롬프트 엔지니어링은 노동 집약적이고 작업별로 상이하다. 우리는 문맥 내 학습(in-context learning) 예제 선별과 앙상블링을 사용하여 최소한의 수동 입력으로 커버리지를 유지하면서 간결성을 향상시키는 점수 함수를 생성하는 Conformal Relevance 프레임워크를 제안한다. 또한 이 프레임워크를 일곱 가지 NLP 작업에 적용하여 그 효과를 입증하고, 앙상블된 컨포멀 점수들에 다양성이 미치는 영향을 이론적으로 분석한다. 이를 통해 앙상블링이 최악의 경우(worst-case) 문장 점수들을 개선하는 조건을 특성화하는 상보성 조건(complementarity condition)과 앙상블 개선의 포화 한계(saturation bound)를 제시한다.

English

Many NLP tasks, such as summarization and extractive question answering, reduce to retrieving relevant content from documents under two constraints: coverage, retaining enough pertinent information to achieve some goal, and conciseness, removing as much irrelevant information as possible. Conformal prediction methods have been used to guarantee coverage, and must be optimized for conciseness through design of a score function. State-of-the-art scoring functions use hand-engineered LLM prompts asking the model to rate the importance of content, but manual prompt engineering is labor-intensive and task-specific. We introduce the Conformal Relevance framework which uses in-context learning example curation and ensembling to create a score function which maintains coverage while improving conciseness with minimal manual input. We demonstrate this framework's application on seven NLP tasks, and also theoretically study the impact of diversity for ensembled conformal scores, giving a complementarity condition that characterizes when ensembling improves worst-case sentence scores, and a saturation bound on ensemble improvement.