Catena di Pensiero Autoregolata

Self-Harmonized Chain of Thought

September 6, 2024

Autori: Ziqi Jin, Wei Lu

cs.AI

Abstract

La tecnica di prompting Chain-of-Thought (CoT) rivela che i grandi modelli linguistici sono capaci di eseguire un ragionamento complesso tramite passaggi intermedi. Il prompting CoT è principalmente suddiviso in tre approcci. Il primo approccio utilizza prompt diretti come "Pensiamo passo dopo passo" per generare un processo di pensiero sequenziale prima di fornire una risposta. Il secondo approccio fa uso di dimostrazioni create dall'uomo passo dopo passo per guidare il processo di ragionamento del modello. Il terzo automatizza la generazione di dimostrazioni ragionate con il prompt "Pensiamo passo dopo passo". Questo approccio talvolta porta a errori di ragionamento, evidenziando la necessità di diversificare le dimostrazioni per mitigarne gli effetti fuorvianti. Tuttavia, dimostrazioni diverse pongono sfide per rappresentazioni efficaci. In questo lavoro, proponiamo ECHO, un metodo di prompting a catena di pensiero autoarmonizzato. Esso consolida diversi percorsi di soluzione in un modello di soluzione uniforme ed efficace. ECHO dimostra la migliore performance complessiva attraverso tre domini di ragionamento.

English

Chain-of-Thought (CoT) prompting reveals that large language models are capable of performing complex reasoning via intermediate steps. CoT prompting is primarily categorized into three approaches. The first approach utilizes straightforward prompts like ``Let's think step by step'' to generate a sequential thought process before yielding an answer. The second approach makes use of human-crafted, step-by-step demonstrations to guide the model's reasoning process. The third automates the generation of reasoned demonstrations with the 'Let's think step by step'.This approach sometimes leads to reasoning errors, highlighting the need to diversify demonstrations to mitigate its misleading effects. However, diverse demonstrations pose challenges for effective representations. In this work, we propose ECHO, a self-harmonized chain-of-thought prompting method. It consolidates diverse solution paths into a uniform and effective solution pattern.ECHO demonstrates the best overall performance across three reasoning domains.