SQuARE: Motor de Raciocínio de Perguntas e Respostas Sequenciais para Melhoria da Cadeia de Pensamento em Modelos de Linguagem Grandes

SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

February 13, 2025

Autores: Daniel Fleischer, Moshe Berchansky, Gad Markovits, Moshe Wasserblat

cs.AI

Resumo

No campo em rápida evolução do Processamento de Linguagem Natural, os Modelos de Linguagem Grandes (LLMs) são encarregados de desafios de raciocínio cada vez mais complexos. Métodos tradicionais como a indução de pensamento em cadeia têm mostrado promessa, mas frequentemente não conseguem aproveitar totalmente as capacidades de raciocínio de um modelo. Este artigo apresenta o SQuARE (Sequential Question Answering Reasoning Engine), uma técnica de indução inovadora projetada para melhorar o raciocínio por meio de um paradigma de auto-interrogação. Construindo sobre estruturas CoT, o SQuARE induz os modelos a gerar e resolver múltiplas perguntas auxiliares antes de abordar a consulta principal, promovendo uma exploração mais minuciosa de vários aspectos de um tópico. Nossas avaliações abrangentes, conduzidas com os modelos Llama 3 e GPT-4o em múltiplos conjuntos de dados de perguntas e respostas, demonstram que o SQuARE supera significativamente as induções tradicionais de CoT e os métodos existentes de reformulação e resposta. Ao decompor sistematicamente as consultas, o SQuARE avança as capacidades de raciocínio dos LLMs em tarefas de raciocínio. O código está publicamente disponível em https://github.com/IntelLabs/RAG-FiT/tree/square.

English

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model's reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.