GReaTer: Градиенты над Рассуждениями Делают Меньшие Языковые Модели Сильными Оптимизаторы Подсказок

GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers

December 12, 2024

Авторы: Sarkar Snigdha Sarathi Das, Ryo Kamoi, Bo Pang, Yusen Zhang, Caiming Xiong, Rui Zhang

cs.AI

Аннотация

Эффективность крупных языковых моделей (LLM) тесно связана с конструкцией подсказок, что делает оптимизацию подсказок необходимой для улучшения их производительности в широком спектре задач. Многие существующие подходы к автоматизации создания подсказок полагаются исключительно на текстовую обратную связь, улучшая подсказки исключительно на основе ошибок вывода, выявленных крупными, вычислительно затратными LLM. К сожалению, более маленькие модели испытывают трудности в генерации обратной связи высокого качества, что приводит к полной зависимости от суждения крупных LLM. Более того, эти методы не используют более прямую и более детализированную информацию, такую как градиенты, из-за того, что они работают исключительно в текстовом пространстве. В этой связи мы представляем GReaTer, новую технику оптимизации подсказок, которая непосредственно включает информацию о градиентах по потерям задачи. Используя градиенты потерь задачи, GReaTer позволяет самооптимизацию подсказок для легких языковых моделей с открытым исходным кодом без необходимости дорогих закрытых LLM. Это позволяет проводить высокопроизводительную оптимизацию подсказок без зависимости от массивных LLM, сокращая разрыв между более маленькими моделями и сложным рассуждением, часто необходимым для улучшения подсказок. Обширные оценки по различным задачам рассуждения, включая BBH, GSM8k и FOLIO, показывают, что GReaTer последовательно превосходит предыдущие передовые методы оптимизации подсказок, даже те, которые полагаются на мощные LLM. Кроме того, подсказки, оптимизированные с помощью GReaTer, часто обладают лучшей переносимостью и, в некоторых случаях, повышают производительность задач до уровня, сравнимого или превосходящего результаты, достигнутые более крупными языковыми моделями, подчеркивая эффективность оптимизации подсказок, направляемой градиентами по рассуждениям. Код GReaTer доступен по адресу https://github.com/psunlpgroup/GreaTer.

English

The effectiveness of large language models (LLMs) is closely tied to the design of prompts, making prompt optimization essential for enhancing their performance across a wide range of tasks. Many existing approaches to automating prompt engineering rely exclusively on textual feedback, refining prompts based solely on inference errors identified by large, computationally expensive LLMs. Unfortunately, smaller models struggle to generate high-quality feedback, resulting in complete dependence on large LLM judgment. Moreover, these methods fail to leverage more direct and finer-grained information, such as gradients, due to operating purely in text space. To this end, we introduce GReaTer, a novel prompt optimization technique that directly incorporates gradient information over task-specific reasoning. By utilizing task loss gradients, GReaTer enables self-optimization of prompts for open-source, lightweight language models without the need for costly closed-source LLMs. This allows high-performance prompt optimization without dependence on massive LLMs, closing the gap between smaller models and the sophisticated reasoning often needed for prompt refinement. Extensive evaluations across diverse reasoning tasks including BBH, GSM8k, and FOLIO demonstrate that GReaTer consistently outperforms previous state-of-the-art prompt optimization methods, even those reliant on powerful LLMs. Additionally, GReaTer-optimized prompts frequently exhibit better transferability and, in some cases, boost task performance to levels comparable to or surpassing those achieved by larger language models, highlighting the effectiveness of prompt optimization guided by gradients over reasoning. Code of GReaTer is available at https://github.com/psunlpgroup/GreaTer.