SQuARE: Sequentiële Vraag-Antwoord Redeneermotor voor Verbeterde Gedachtegang in Grote Taalmodellen

SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

February 13, 2025

Auteurs: Daniel Fleischer, Moshe Berchansky, Gad Markovits, Moshe Wasserblat

cs.AI

Samenvatting

In het snel evoluerende veld van Natuurlijke Taalverwerking krijgen Grote Taalmodellen (LLMs) steeds complexere redeneervraagstukken voorgelegd. Traditionele methoden zoals keten-van-gedachten prompting hebben potentie getoond, maar schieten vaak tekort in het volledig benutten van de redeneervermogens van een model. Dit artikel introduceert SQuARE (Sequential Question Answering Reasoning Engine), een nieuw prompting-techniek ontworpen om redeneren te verbeteren via een zelfondervragingsparadigma. Voortbouwend op CoT-frameworks, spoort SQuARE modellen aan om meerdere hulpvragen te genereren en op te lossen alvorens de hoofdvraag aan te pakken, wat een grondiger verkenning van verschillende aspecten van een onderwerp bevordert. Onze uitgebreide evaluaties, uitgevoerd met Llama 3 en GPT-4o modellen over meerdere vraag-en-antwoorddatasets, tonen aan dat SQuARE aanzienlijk beter presteert dan traditionele CoT-prompts en bestaande herformuleer-en-reageer methoden. Door systematisch vragen te ontleden, bevordert SQuARE de redeneervermogens van LLM's in redeneertaken. De code is openbaar beschikbaar op https://github.com/IntelLabs/RAG-FiT/tree/square.

English

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model's reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.