SQuARE: Motor de Razonamiento de Preguntas y Respuestas Secuenciales para Mejorar la Cadena de Pensamiento en Modelos de Lenguaje Grandes

SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

February 13, 2025

Autores: Daniel Fleischer, Moshe Berchansky, Gad Markovits, Moshe Wasserblat

cs.AI

Resumen

En el campo en constante evolución del Procesamiento del Lenguaje Natural, los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) se enfrentan a desafíos de razonamiento cada vez más complejos. Métodos tradicionales como la generación de cadenas de pensamiento han mostrado promesa, pero a menudo no logran aprovechar completamente las capacidades de razonamiento de un modelo. Este artículo presenta SQuARE (Motor de Razonamiento de Preguntas y Respuestas Secuenciales), una técnica de generación de estímulos novedosa diseñada para mejorar el razonamiento a través de un paradigma de auto-interrogación. Basándose en los marcos de CoT, SQuARE estimula a los modelos a generar y resolver múltiples preguntas auxiliares antes de abordar la consulta principal, fomentando una exploración más exhaustiva de varios aspectos de un tema. Nuestras extensas evaluaciones, realizadas con los modelos Llama 3 y GPT-4o en múltiples conjuntos de datos de preguntas y respuestas, demuestran que SQuARE supera significativamente a los estímulos tradicionales de CoT y a los métodos existentes de reformulación y respuesta. Al descomponer sistemáticamente las consultas, SQuARE mejora las capacidades de los LLM en tareas de razonamiento. El código está disponible públicamente en https://github.com/IntelLabs/RAG-FiT/tree/square.

English

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model's reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.