SQuARE : Moteur de raisonnement de réponse aux questions séquentielles pour une chaîne de pensée améliorée dans les grands modèles de langage

SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

February 13, 2025

Auteurs: Daniel Fleischer, Moshe Berchansky, Gad Markovits, Moshe Wasserblat

cs.AI

Résumé

Dans le domaine en constante évolution du Traitement Automatique du Langage Naturel, les Grands Modèles de Langue (LLMs) sont chargés de défis de raisonnement de plus en plus complexes. Les méthodes traditionnelles telles que les incitations en chaîne de pensée ont montré des promesses mais souvent échouent à exploiter pleinement les capacités de raisonnement d'un modèle. Cet article présente SQuARE (Sequential Question Answering Reasoning Engine), une nouvelle technique d'incitation conçue pour améliorer le raisonnement à travers un paradigme d'auto-interrogation. En s'appuyant sur les cadres CoT, SQuARE incite les modèles à générer et résoudre plusieurs questions auxiliaires avant d'aborder la requête principale, favorisant une exploration plus approfondie des différents aspects d'un sujet. Nos évaluations approfondies, menées avec les modèles Llama 3 et GPT-4o sur plusieurs ensembles de données de questions-réponses, démontrent que SQuARE dépasse significativement les incitations CoT traditionnelles et les méthodes existantes de reformulation et de réponse. En décomposant systématiquement les requêtes, SQuARE fait progresser les capacités des LLM dans les tâches de raisonnement. Le code est publiquement disponible sur https://github.com/IntelLabs/RAG-FiT/tree/square.

English

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model's reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.