SQuARE: Sequenzieller Frage-Antwort-Argumentationsmotor zur Verbesserung der Gedankenkette in großen Sprachmodellen

SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

February 13, 2025

Autoren: Daniel Fleischer, Moshe Berchansky, Gad Markovits, Moshe Wasserblat

cs.AI

Zusammenfassung

Im schnelllebigen Bereich der natürlichen Sprachverarbeitung sind Große Sprachmodelle (LLMs) mit zunehmend komplexen Denkaufgaben betraut. Traditionelle Methoden wie Ketten-des-Denkens-Aufforderungen haben vielversprechende Ergebnisse gezeigt, scheitern jedoch oft daran, die Denkfähigkeiten eines Modells voll auszuschöpfen. Dieser Artikel stellt SQuARE (Sequential Question Answering Reasoning Engine) vor, eine neuartige Aufforderungstechnik, die entwickelt wurde, um das Denken durch ein Selbstbefragungsparadigma zu verbessern. Aufbauend auf CoT-Frameworks fordert SQuARE Modelle auf, mehrere Hilfsfragen zu generieren und zu lösen, bevor sie die Hauptanfrage angehen, was eine gründlichere Erkundung verschiedener Aspekte eines Themas fördert. Unsere umfangreichen Bewertungen, durchgeführt mit den Modellen Llama 3 und GPT-4o über mehrere Frage-Antwort-Datensätze hinweg, zeigen, dass SQuARE traditionelle CoT-Aufforderungen und bestehende Umformulierungs-und-Antwort-Methoden signifikant übertrifft. Durch systematische Zerlegung von Anfragen fördert SQuARE die Fähigkeiten von LLMs bei Denkaufgaben. Der Code ist öffentlich verfügbar unter https://github.com/IntelLabs/RAG-FiT/tree/square.

English

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model's reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.