SQuARE: Motore di Ragionamento per la Risposta Sequenziale per un Miglioramento della Catena di Pensiero nei Grandi Modelli Linguistici

SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

February 13, 2025

Autori: Daniel Fleischer, Moshe Berchansky, Gad Markovits, Moshe Wasserblat

cs.AI

Abstract

Nel campo in rapida evoluzione dell'Elaborazione del Linguaggio Naturale, i Grandi Modelli Linguistici (LLM) sono incaricati di sfide di ragionamento sempre più complesse. Metodi tradizionali come la sollecitazione a catena di pensiero hanno mostrato promesse ma spesso non riescono a sfruttare appieno le capacità di ragionamento di un modello. Questo articolo introduce SQuARE (Sequential Question Answering Reasoning Engine), una nuova tecnica di sollecitazione progettata per migliorare il ragionamento attraverso un paradigma di auto-interrogazione. Basandosi sui framework di CoT, SQuARE sollecita i modelli a generare e risolvere diverse domande ausiliarie prima di affrontare la query principale, promuovendo una più approfondita esplorazione dei vari aspetti di un argomento. Le nostre ampie valutazioni, condotte con i modelli Llama 3 e GPT-4o su diversi set di dati di domande e risposte, dimostrano che SQuARE supera significativamente le tradizionali sollecitazioni di CoT e i metodi esistenti di riformulazione e risposta. Decomponendo sistematicamente le query, SQuARE avanza le capacità dei LLM nelle attività di ragionamento. Il codice è disponibile pubblicamente su https://github.com/IntelLabs/RAG-FiT/tree/square.

English

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model's reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.