SQuARE: Последовательный движок рассуждений по ответам на вопросы для улучшения цепочки мыслей в больших языковых моделях

SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models

February 13, 2025

Авторы: Daniel Fleischer, Moshe Berchansky, Gad Markovits, Moshe Wasserblat

cs.AI

Аннотация

В быстро развивающейся области обработки естественного языка крупные языковые модели (LLM) сталкиваются с все более сложными задачами рассуждения. Традиционные методы, такие как цепочка вопросов, показали свою перспективность, но часто не используют полностью возможности модели в рассуждениях. В данной статье представлена техника под названием SQuARE (Sequential Question Answering Reasoning Engine), новый метод подсказок, разработанный для улучшения рассуждений через парадигму самоподроста. На основе фреймворков CoT, SQuARE подталкивает модели к генерации и разрешению нескольких вспомогательных вопросов перед решением основного запроса, способствуя более тщательному исследованию различных аспектов темы. Наши обширные оценки, проведенные с моделями Llama 3 и GPT-4o на нескольких наборах данных вопросов и ответов, показывают, что SQuARE значительно превосходит традиционные подсказки CoT и существующие методы перефразирования и ответа. Путем систематического декомпозирования запросов SQuARE продвигает возможности LLM в задачах рассуждения. Код общедоступен по адресу https://github.com/IntelLabs/RAG-FiT/tree/square.

English

In the rapidly evolving field of Natural Language Processing, Large Language Models (LLMs) are tasked with increasingly complex reasoning challenges. Traditional methods like chain-of-thought prompting have shown promise but often fall short in fully leveraging a model's reasoning capabilities. This paper introduces SQuARE (Sequential Question Answering Reasoning Engine), a novel prompting technique designed to improve reasoning through a self-interrogation paradigm. Building upon CoT frameworks, SQuARE prompts models to generate and resolve multiple auxiliary questions before tackling the main query, promoting a more thorough exploration of various aspects of a topic. Our expansive evaluations, conducted with Llama 3 and GPT-4o models across multiple question-answering datasets, demonstrate that SQuARE significantly surpasses traditional CoT prompts and existing rephrase-and-respond methods. By systematically decomposing queries, SQuARE advances LLM capabilities in reasoning tasks. The code is publicly available at https://github.com/IntelLabs/RAG-FiT/tree/square.