GReaTer: Gradiënten over Redenering Maakt Kleinere Taalmodellen Sterker Prompt Optimalisatoren

GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers

December 12, 2024

Auteurs: Sarkar Snigdha Sarathi Das, Ryo Kamoi, Bo Pang, Yusen Zhang, Caiming Xiong, Rui Zhang

cs.AI

Samenvatting

De effectiviteit van grote taalmodellen (LLM's) is nauw verbonden met de vormgeving van prompts, waardoor promptoptimalisatie essentieel is voor het verbeteren van hun prestaties over een breed scala aan taken. Veel bestaande benaderingen voor het automatiseren van prompt-engineering vertrouwen uitsluitend op tekstuele feedback, waarbij prompts worden verfijnd op basis van inferentiefouten die zijn geïdentificeerd door grote, rekenintensieve LLM's. Helaas hebben kleinere modellen moeite met het genereren van feedback van hoge kwaliteit, wat resulteert in een volledige afhankelijkheid van het oordeel van grote LLM's. Bovendien slagen deze methoden er niet in om meer directe en fijnkorrelige informatie, zoals gradiënten, te benutten omdat ze puur in tekstruimte opereren. Om deze reden introduceren we GReaTer, een nieuwe techniek voor promptoptimalisatie die direct gradiëntinformatie over taakspecifiek redeneren incorporeert. Door gebruik te maken van taakverliesgradiënten stelt GReaTer zelfoptimalisatie van prompts mogelijk voor open-source, lichtgewicht taalmodellen zonder de noodzaak van dure gesloten LLM's. Dit maakt hoogwaardige promptoptimalisatie mogelijk zonder afhankelijkheid van massale LLM's, waardoor het gat tussen kleinere modellen en het geavanceerde redeneren dat vaak nodig is voor promptverfijning wordt gedicht. Uitgebreide evaluaties over diverse redeneertaken, waaronder BBH, GSM8k en FOLIO, tonen aan dat GReaTer consequent beter presteert dan eerdere state-of-the-art methoden voor promptoptimalisatie, zelfs die afhankelijk zijn van krachtige LLM's. Bovendien vertonen GReaTer-geoptimaliseerde prompts vaak een betere overdraagbaarheid en verhogen ze in sommige gevallen de taakprestaties tot niveaus die vergelijkbaar zijn met of die groter zijn dan die behaald door grotere taalmodellen, waarbij de effectiviteit van promptoptimalisatie geleid door gradiënten over redeneren wordt benadrukt. De code van GReaTer is beschikbaar op https://github.com/psunlpgroup/GreaTer.

English

The effectiveness of large language models (LLMs) is closely tied to the design of prompts, making prompt optimization essential for enhancing their performance across a wide range of tasks. Many existing approaches to automating prompt engineering rely exclusively on textual feedback, refining prompts based solely on inference errors identified by large, computationally expensive LLMs. Unfortunately, smaller models struggle to generate high-quality feedback, resulting in complete dependence on large LLM judgment. Moreover, these methods fail to leverage more direct and finer-grained information, such as gradients, due to operating purely in text space. To this end, we introduce GReaTer, a novel prompt optimization technique that directly incorporates gradient information over task-specific reasoning. By utilizing task loss gradients, GReaTer enables self-optimization of prompts for open-source, lightweight language models without the need for costly closed-source LLMs. This allows high-performance prompt optimization without dependence on massive LLMs, closing the gap between smaller models and the sophisticated reasoning often needed for prompt refinement. Extensive evaluations across diverse reasoning tasks including BBH, GSM8k, and FOLIO demonstrate that GReaTer consistently outperforms previous state-of-the-art prompt optimization methods, even those reliant on powerful LLMs. Additionally, GReaTer-optimized prompts frequently exhibit better transferability and, in some cases, boost task performance to levels comparable to or surpassing those achieved by larger language models, highlighting the effectiveness of prompt optimization guided by gradients over reasoning. Code of GReaTer is available at https://github.com/psunlpgroup/GreaTer.