Große Sprachmodell-Kaskaden mit Mixture-of-Thoughts-Repräsentationen für kosteneffizientes Schließen

Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning

October 4, 2023

papers.authors: Murong Yue, Jie Zhao, Min Zhang, Liang Du, Ziyu Yao

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) wie GPT-4 haben bemerkenswerte Leistungen in einer Vielzahl von Aufgaben gezeigt, doch diese starke Leistung geht oft mit den hohen Kosten für die Nutzung kostenpflichtiger API-Dienste einher. In diesem Beitrag sind wir motiviert, den Aufbau einer LLM-Kaskade zu untersuchen, um die Kosten für die Nutzung von LLMs zu senken, insbesondere für die Durchführung von Aufgaben, die logisches Denken erfordern (z. B. mathematische, kausale Aufgaben). Unsere Kaskadenpipeline folgt der Intuition, dass einfachere Fragen von einem schwächeren, aber kostengünstigeren LLM bearbeitet werden können, während nur die anspruchsvollen Fragen den stärkeren und teureren LLM erfordern. Um diese Entscheidungsfindung zu realisieren, betrachten wir die „Antwortkonsistenz“ des schwächeren LLMs als Signal für die Schwierigkeit der Frage und schlagen mehrere Methoden für die Antwortentnahme und Konsistenzprüfung vor, darunter eine, die eine Mischung aus zwei Denkrepräsentationen nutzt (d. h. Chain-of-Thought und Program-of-Thought). Durch Experimente mit sechs Benchmark-Datensätzen für logisches Denken, bei denen GPT-3.5-turbo und GPT-4 als schwächeres bzw. stärkeres LLM verwendet werden, zeigen wir, dass unsere vorgeschlagenen LLM-Kaskaden eine Leistung erzielen können, die der alleinigen Nutzung des stärkeren LLMs vergleichbar ist, aber nur 40 % der Kosten erfordern.

English

Large language models (LLMs) such as GPT-4 have exhibited remarkable performance in a variety of tasks, but this strong performance often comes with the high expense of using paid API services. In this paper, we are motivated to study building an LLM cascade to save the cost of using LLMs, particularly for performing reasoning (e.g., mathematical, causal) tasks. Our cascade pipeline follows the intuition that simpler questions can be addressed by a weaker but more affordable LLM, whereas only the challenging questions necessitate the stronger and more expensive LLM. To realize this decision-making, we consider the "answer consistency" of the weaker LLM as a signal of the question difficulty and propose several methods for the answer sampling and consistency checking, including one leveraging a mixture of two thought representations (i.e., Chain-of-Thought and Program-of-Thought). Through experiments on six reasoning benchmark datasets, with GPT-3.5-turbo and GPT-4 being the weaker and stronger LLMs, respectively, we demonstrate that our proposed LLM cascades can achieve performance comparable to using solely the stronger LLM but require only 40% of its cost.