大規模言語モデルにおける思考連鎖の向上のためのSQuARE：Sequential Question Answering Reasoning Engine

SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

February 13, 2025

著者: Daniel Fleischer, Moshe Berchansky, Gad Markovits, Moshe Wasserblat

cs.AI

要旨

自然言語処理の急速に進化する分野において、大規模言語モデル（LLMs）はますます複雑な推論課題に取り組んでいます。連鎖思考プロンプトなどの従来の手法は有望性を示していますが、しばしばモデルの推論能力を十分に活用できていません。本論文では、SQuARE（Sequential Question Answering Reasoning Engine）という新しいプロンプト技術を紹介し、自己尋問のパラダイムを通じて推論を改善するよう設計されています。CoTフレームワークを基盤として、SQuAREはモデルに対して主要なクエリに取り組む前に複数の補助的な質問を生成して解決するよう促し、トピックのさまざまな側面をより徹底的に探求することを促進します。Llama 3とGPT-4oモデルを用いた幅広い評価により、SQuAREが従来のCoTプロンプトや既存の言い換えて応答する方法を大幅に上回ることが示されました。クエリを体系的に分解することで、SQuAREは推論タスクにおけるLLMの能力を向上させます。コードはhttps://github.com/IntelLabs/RAG-FiT/tree/square で公開されています。

English

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model's reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.