Para Além de Exemplos: Paradigma de Raciocínio Automatizado em Alto Nível em Aprendizado Contextual via MCTS

Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS

November 27, 2024

Autores: Jinyang Wu, Mingkuan Feng, Shuai Zhang, Feihu Che, Zengqi Wen, Jianhua Tao

cs.AI

Resumo

A Aprendizagem em Contexto (ICL) permite que grandes modelos de linguagem (LLMs) lidem com tarefas subsequentes por meio de instruções sofisticadas e demonstrações de alta qualidade. No entanto, esse paradigma tradicional de ICL mostra limitações ao enfrentar tarefas complexas de raciocínio matemático, principalmente devido à sua forte dependência da qualidade dos exemplos e à necessidade de intervenção humana em cenários desafiadores. Para lidar com essas limitações, este artigo apresenta o HiAR-ICL, um paradigma de Raciocínio Automatizado em Alto Nível na ICL que muda o foco de exemplos específicos para padrões de pensamento abstrato, ampliando o conceito convencional de contexto na ICL. O HiAR-ICL introduz cinco ações de raciocínio atômico como componentes fundamentais para a construção de padrões em cadeia. Utilizando a Busca em Árvore de Monte Carlo, exploramos caminhos de raciocínio e construímos cartões de pensamento para orientar inferências subsequentes. Em seguida, desenvolvemos um framework de complexidade cognitiva que corresponde dinamicamente problemas com cartões de pensamento apropriados. Resultados experimentais demonstram a eficácia do HiAR-ICL, alcançando uma precisão de ponta (79,6%) no benchmark MATH com Qwen2.5-7B-Instruct, superando o GPT-4o (76,6%) e o Claude 3.5 (71,1%).

English

In-context Learning (ICL) enables large language models (LLMs) to tackle downstream tasks through sophisticated prompting and high-quality demonstrations. However, this traditional ICL paradigm shows limitations when facing complex mathematical reasoning tasks, primarily due to its heavy dependence on example quality and the necessity for human intervention in challenging scenarios. To address these limitations, this paper presents HiAR-ICL, a High-level Automated Reasoning paradigm in ICL that shifts focus from specific examples to abstract thinking patterns, extending the conventional concept of context in ICL. HiAR-ICL introduces five atomic reasoning actions as fundamental components for constructing chain-structured patterns. Using Monte Carlo Tree Search, we explore reasoning paths and construct thought cards to guide subsequent inference. We then develop a cognitive complexity framework that dynamically matches problems with appropriate thought cards. Experimental results demonstrate HiAR-ICL's effectiveness, achieving state-of-the-art accuracy (79.6%) on the MATH benchmark with Qwen2.5-7B-Instruct, surpassing GPT-4o (76.6%) and Claude 3.5 (71.1%).