Grote Taalmodel Cascades met Mengsel van Gedachten Representaties voor Kostenefficiënt Redeneren

Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning

October 4, 2023

Auteurs: Murong Yue, Jie Zhao, Min Zhang, Liang Du, Ziyu Yao

cs.AI

Samenvatting

Grote taalmodellen (LLM's) zoals GPT-4 hebben opmerkelijke prestaties getoond in een verscheidenheid aan taken, maar deze sterke prestaties gaan vaak gepaard met de hoge kosten van het gebruik van betaalde API-services. In dit artikel worden we gemotiveerd om het bouwen van een LLM-cascade te bestuderen om de kosten van het gebruik van LLM's te besparen, met name voor het uitvoeren van redeneertaken (bijvoorbeeld wiskundige, causale). Onze cascade-pipeline volgt de intuïtie dat eenvoudigere vragen kunnen worden beantwoord door een zwakker maar betaalbaarder LLM, terwijl alleen de uitdagende vragen het sterkere en duurdere LLM vereisen. Om deze besluitvorming te realiseren, beschouwen we de "antwoordconsistentie" van het zwakkere LLM als een signaal van de vraagmoeilijkheid en stellen we verschillende methoden voor voor het bemonsteren van antwoorden en het controleren van consistentie, waaronder een methode die gebruikmaakt van een mix van twee denkrepresentaties (d.w.z. Chain-of-Thought en Program-of-Thought). Door experimenten op zes redeneerbenchmarkdatasets, waarbij GPT-3.5-turbo en GPT-4 respectievelijk het zwakkere en sterkere LLM zijn, tonen we aan dat onze voorgestelde LLM-cascades prestaties kunnen bereiken die vergelijkbaar zijn met het gebruik van alleen het sterkere LLM, maar slechts 40% van de kosten vereisen.

English

Large language models (LLMs) such as GPT-4 have exhibited remarkable performance in a variety of tasks, but this strong performance often comes with the high expense of using paid API services. In this paper, we are motivated to study building an LLM cascade to save the cost of using LLMs, particularly for performing reasoning (e.g., mathematical, causal) tasks. Our cascade pipeline follows the intuition that simpler questions can be addressed by a weaker but more affordable LLM, whereas only the challenging questions necessitate the stronger and more expensive LLM. To realize this decision-making, we consider the "answer consistency" of the weaker LLM as a signal of the question difficulty and propose several methods for the answer sampling and consistency checking, including one leveraging a mixture of two thought representations (i.e., Chain-of-Thought and Program-of-Thought). Through experiments on six reasoning benchmark datasets, with GPT-3.5-turbo and GPT-4 being the weaker and stronger LLMs, respectively, we demonstrate that our proposed LLM cascades can achieve performance comparable to using solely the stronger LLM but require only 40% of its cost.