インコンテキスト・アンサンブルによるコンフォーマル言語タスクの統合

要旨

要約や抽出型質問応答など、多くのNLPタスクは、文書から関連コンテンツを取得する問題に帰着する。その際には、カバレッジ（目標を達成するために十分な関連情報を保持すること）と簡潔さ（可能な限り多くの無関係な情報を除去すること）という2つの制約が存在する。コンフォーマル予測手法はカバレッジを保証するために用いられてきたが、簡潔さについては、スコア関数の設計を通じて最適化する必要がある。最先端のスコア関数は、モデルにコンテンツの重要度を評価させる手動設計のLLMプロンプトを用いるが、手動によるプロンプトエンジニアリングは労働集約的であり、タスク固有である。本稿では、インコンテキスト学習における事例の選定とアンサンブルを利用し、最小限の手動入力でカバレッジを維持しつつ簡潔さを向上させるスコア関数を構築する、Conformal Relevanceフレームワークを導入する。本フレームワークを7つのNLPタスクに適用して実証するとともに、アンサンブルされたコンフォーマルスコアに対する多様性の影響を理論的にも考察する。具体的には、アンサンブルが最悪ケースの文スコアを改善する条件を特徴付ける相補性条件と、アンサンブル改善に関する飽和限界を与える。

English

Many NLP tasks, such as summarization and extractive question answering, reduce to retrieving relevant content from documents under two constraints: coverage, retaining enough pertinent information to achieve some goal, and conciseness, removing as much irrelevant information as possible. Conformal prediction methods have been used to guarantee coverage, and must be optimized for conciseness through design of a score function. State-of-the-art scoring functions use hand-engineered LLM prompts asking the model to rate the importance of content, but manual prompt engineering is labor-intensive and task-specific. We introduce the Conformal Relevance framework which uses in-context learning example curation and ensembling to create a score function which maintains coverage while improving conciseness with minimal manual input. We demonstrate this framework's application on seven NLP tasks, and also theoretically study the impact of diversity for ensembled conformal scores, giving a complementarity condition that characterizes when ensembling improves worst-case sentence scores, and a saturation bound on ensemble improvement.