GReaTer: Gradienten über Argumentation macht kleinere Sprachmodelle stark Prompt-Optimierer

GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers

December 12, 2024

Autoren: Sarkar Snigdha Sarathi Das, Ryo Kamoi, Bo Pang, Yusen Zhang, Caiming Xiong, Rui Zhang

cs.AI

Zusammenfassung

Die Effektivität großer Sprachmodelle (LLMs) hängt eng mit dem Design von Eingabeaufforderungen zusammen, wodurch die Optimierung der Aufforderungen entscheidend ist, um ihre Leistung über eine Vielzahl von Aufgaben hinweg zu verbessern. Viele bestehende Ansätze zur Automatisierung des Aufforderungsdesigns stützen sich ausschließlich auf textuelles Feedback und verfeinern die Aufforderungen ausschließlich auf der Grundlage von Inferenzfehlern, die von großen, rechenintensiven LLMs identifiziert wurden. Leider haben kleinere Modelle Schwierigkeiten, hochwertiges Feedback zu generieren, was zu einer vollständigen Abhängigkeit von der Beurteilung durch große LLMs führt. Darüber hinaus können diese Methoden keine direkteren und feiner abgestuften Informationen wie Gradienten nutzen, da sie ausschließlich im Textbereich arbeiten. Zu diesem Zweck stellen wir GReaTer vor, eine neuartige Technik zur Optimierung von Eingabeaufforderungen, die direkt Gradienteninformationen über aufgabenspezifisches Denken einbezieht. Durch die Nutzung von Verlustgradienten ermöglicht GReaTer die Selbstoptimierung von Aufforderungen für Open-Source, leichtgewichtige Sprachmodelle, ohne auf teure geschlossene LLMs angewiesen zu sein. Dies ermöglicht eine leistungsstarke Optimierung von Aufforderungen ohne Abhängigkeit von massiven LLMs und schließt die Lücke zwischen kleineren Modellen und dem oft erforderlichen anspruchsvollen Denken zur Aufforderungsverfeinerung. Umfangreiche Bewertungen über verschiedene Denkaufgaben wie BBH, GSM8k und FOLIO zeigen, dass GReaTer konsequent bessere Leistungen erbringt als bisherige State-of-the-Art-Methoden zur Aufforderungsoptimierung, selbst solche, die auf leistungsstarken LLMs beruhen. Darüber hinaus zeigen durch GReaTer optimierte Aufforderungen häufig eine bessere Übertragbarkeit und steigern in einigen Fällen die Leistung auf ein Niveau, das mit oder sogar über dem von größeren Sprachmodellen erreichten vergleichbar ist, was die Effektivität der Aufforderungsoptimierung unter Verwendung von Gradienten über Denken hervorhebt. Der Code von GReaTer ist unter https://github.com/psunlpgroup/GreaTer verfügbar.

English

The effectiveness of large language models (LLMs) is closely tied to the design of prompts, making prompt optimization essential for enhancing their performance across a wide range of tasks. Many existing approaches to automating prompt engineering rely exclusively on textual feedback, refining prompts based solely on inference errors identified by large, computationally expensive LLMs. Unfortunately, smaller models struggle to generate high-quality feedback, resulting in complete dependence on large LLM judgment. Moreover, these methods fail to leverage more direct and finer-grained information, such as gradients, due to operating purely in text space. To this end, we introduce GReaTer, a novel prompt optimization technique that directly incorporates gradient information over task-specific reasoning. By utilizing task loss gradients, GReaTer enables self-optimization of prompts for open-source, lightweight language models without the need for costly closed-source LLMs. This allows high-performance prompt optimization without dependence on massive LLMs, closing the gap between smaller models and the sophisticated reasoning often needed for prompt refinement. Extensive evaluations across diverse reasoning tasks including BBH, GSM8k, and FOLIO demonstrate that GReaTer consistently outperforms previous state-of-the-art prompt optimization methods, even those reliant on powerful LLMs. Additionally, GReaTer-optimized prompts frequently exhibit better transferability and, in some cases, boost task performance to levels comparable to or surpassing those achieved by larger language models, highlighting the effectiveness of prompt optimization guided by gradients over reasoning. Code of GReaTer is available at https://github.com/psunlpgroup/GreaTer.