Über Beispiele hinaus: Hochrangiges automatisches Schlussfolgerungsschema im Kontextlernen mittels MCTS

Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS

November 27, 2024

Autoren: Jinyang Wu, Mingkuan Feng, Shuai Zhang, Feihu Che, Zengqi Wen, Jianhua Tao

cs.AI

Zusammenfassung

In-Context Learning (ICL) ermöglicht es großen Sprachmodellen (LLMs), sich mit nachgelagerten Aufgaben durch ausgefeilte Aufforderungen und hochwertige Demonstrationen zu befassen. Allerdings zeigt dieses traditionelle ICL-Paradigma Grenzen auf, wenn es um komplexe mathematische Schlussfolgerungsaufgaben geht, hauptsächlich aufgrund seiner starken Abhängigkeit von der Qualität der Beispiele und der Notwendigkeit menschlichen Eingreifens in herausfordernden Szenarien. Um diese Einschränkungen anzugehen, präsentiert dieser Artikel HiAR-ICL, ein High-level Automated Reasoning-Paradigma im ICL, das den Fokus von spezifischen Beispielen auf abstraktes Denken verlagert und das herkömmliche Konzept des Kontexts im ICL erweitert. HiAR-ICL führt fünf atomare Schlussfolgerungsaktionen als grundlegende Komponenten zur Konstruktion von kettenstrukturierten Mustern ein. Unter Verwendung der Monte-Carlo-Baumsuche untersuchen wir Schlussfolgerungswege und konstruieren Gedankenkarten, um nachfolgende Inferenzen zu leiten. Anschließend entwickeln wir einen kognitiven Komplexitätsrahmen, der Probleme dynamisch mit geeigneten Gedankenkarten abgleicht. Experimentelle Ergebnisse zeigen die Wirksamkeit von HiAR-ICL, das eine Genauigkeit von 79,6% auf dem MATH-Benchmark mit Qwen2.5-7B-Instruct erreicht und damit GPT-4o (76,6%) und Claude 3.5 (71,1%) übertrifft.

English

In-context Learning (ICL) enables large language models (LLMs) to tackle downstream tasks through sophisticated prompting and high-quality demonstrations. However, this traditional ICL paradigm shows limitations when facing complex mathematical reasoning tasks, primarily due to its heavy dependence on example quality and the necessity for human intervention in challenging scenarios. To address these limitations, this paper presents HiAR-ICL, a High-level Automated Reasoning paradigm in ICL that shifts focus from specific examples to abstract thinking patterns, extending the conventional concept of context in ICL. HiAR-ICL introduces five atomic reasoning actions as fundamental components for constructing chain-structured patterns. Using Monte Carlo Tree Search, we explore reasoning paths and construct thought cards to guide subsequent inference. We then develop a cognitive complexity framework that dynamically matches problems with appropriate thought cards. Experimental results demonstrate HiAR-ICL's effectiveness, achieving state-of-the-art accuracy (79.6%) on the MATH benchmark with Qwen2.5-7B-Instruct, surpassing GPT-4o (76.6%) and Claude 3.5 (71.1%).