スキルインコンテクストプロンプティング：大規模言語モデルにおける構成性の解放

Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models

August 1, 2023

著者: Jiaao Chen, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong Yu, Jianshu Chen

cs.AI

要旨

大規模言語モデル（LLM）における合成的汎化能力を引き出す問題を、新たなタイプのプロンプト戦略を用いて考察する。合成的汎化は、LLMが既に見た問題よりも難しい問題（すなわち、易しい問題から難しい問題への汎化）を解決する能力を強化し、人間に似た知能の重要な推論能力である。しかし、現在の最先端のLLMでさえ、この形式の推論に苦戦している。このギャップを埋めるため、我々はスキルインコンテキスト（SKiC）プロンプトを提案する。これは、LLMに基本的なスキルを組み合わせてより複雑な問題を解決する方法を指示するものである。スキルと合成的な例を同じプロンプトコンテキスト内で示すことが重要であることがわかった。たった2つの例示でも、SKiCプロンプトはスキルとその合成能力の間に強力な相乗効果を生み出す。特に、LLMが未見の問題を解決する能力を強化し、革新的なスキル合成を必要とする広範な挑戦的な合成的タスクにおいてほぼ完璧な汎化を達成する。興味深いことに、SKiCプロンプトはLLMの潜在能力を引き出し、プロンプトコンテキストに明示的に提示されていない場合でも、事前学習段階で獲得された既存の内部スキルを活用することを可能にする。これにより、LLMは内部能力を活性化し、組み合わせることで未見の複雑な問題を解決する能力を獲得する。このような顕著な特徴により、SKiCプロンプトは挑戦的な数学的推論ベンチマーク（例：MATH）において最先端の性能を達成することができる。

English

We consider the problem of eliciting compositional generalization capabilities in large language models (LLMs) with a novel type of prompting strategy. Compositional generalization empowers the LLMs to solve problems that are harder than the ones they have seen (i.e., easy-to-hard generalization), which is a critical reasoning capability of human-like intelligence. However, even the current state-of-the-art LLMs still struggle with this form of reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting, which instructs LLMs how to compose basic skills to resolve more complex problems. We find that it is crucial to demonstrate both the skills and the compositional examples within the same prompting context. With as few as two examplars, our SKiC prompting initiates strong synergies between skills and their composition capabilities. Notably, it empowers LLMs to solve unseen problems that require innovative skill compositions, achieving near-perfect generalization on a broad range of challenging compositionality tasks. Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling them to leverage pre-existing internal skills acquired during earlier pre-training stages, even when these skills are not explicitly presented in the prompting context. This results in the capability of LLMs to solve unseen complex problems by activating and composing internal competencies. With such prominent features, SKiC prompting is able to achieve state-of-the-art performance on challenging mathematical reasoning benchmarks (e.g., MATH).