GReaTer: Gradientes sobre Raciocínio Torna Modelos de Linguagem Menores Mais Fortes Otimizadores de Prompt

GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers

December 12, 2024

Autores: Sarkar Snigdha Sarathi Das, Ryo Kamoi, Bo Pang, Yusen Zhang, Caiming Xiong, Rui Zhang

cs.AI

Resumo

A eficácia de grandes modelos de linguagem (LLMs) está intimamente ligada ao design de prompts, tornando a otimização de prompts essencial para aprimorar seu desempenho em uma ampla gama de tarefas. Muitas abordagens existentes para automatizar a engenharia de prompts dependem exclusivamente de feedback textual, refinando prompts com base apenas em erros de inferência identificados por LLMs grandes e computacionalmente caros. Infelizmente, modelos menores têm dificuldade em gerar feedback de alta qualidade, resultando em uma dependência completa do julgamento de grandes LLMs. Além disso, esses métodos falham em aproveitar informações mais diretas e detalhadas, como gradientes, devido a operarem puramente no espaço de texto. Nesse sentido, apresentamos o GReaTer, uma nova técnica de otimização de prompts que incorpora diretamente informações de gradientes sobre raciocínio específico da tarefa. Ao utilizar gradientes de perda da tarefa, o GReaTer permite a auto-otimização de prompts para modelos de linguagem de código aberto e leves, sem a necessidade de LLMs caros de código fechado. Isso permite a otimização de prompts de alto desempenho sem depender de LLMs massivos, reduzindo a lacuna entre modelos menores e o raciocínio sofisticado frequentemente necessário para o refinamento de prompts. Avaliações extensas em diversas tarefas de raciocínio, incluindo BBH, GSM8k e FOLIO, demonstram que o GReaTer consistentemente supera os métodos de otimização de prompts do estado da arte anteriores, mesmo aqueles dependentes de LLMs poderosos. Além disso, prompts otimizados pelo GReaTer frequentemente apresentam melhor transferibilidade e, em alguns casos, impulsionam o desempenho da tarefa a níveis comparáveis ou superiores aos alcançados por modelos de linguagem maiores, destacando a eficácia da otimização de prompts guiada por gradientes sobre o raciocínio. O código do GReaTer está disponível em https://github.com/psunlpgroup/GreaTer.

English

The effectiveness of large language models (LLMs) is closely tied to the design of prompts, making prompt optimization essential for enhancing their performance across a wide range of tasks. Many existing approaches to automating prompt engineering rely exclusively on textual feedback, refining prompts based solely on inference errors identified by large, computationally expensive LLMs. Unfortunately, smaller models struggle to generate high-quality feedback, resulting in complete dependence on large LLM judgment. Moreover, these methods fail to leverage more direct and finer-grained information, such as gradients, due to operating purely in text space. To this end, we introduce GReaTer, a novel prompt optimization technique that directly incorporates gradient information over task-specific reasoning. By utilizing task loss gradients, GReaTer enables self-optimization of prompts for open-source, lightweight language models without the need for costly closed-source LLMs. This allows high-performance prompt optimization without dependence on massive LLMs, closing the gap between smaller models and the sophisticated reasoning often needed for prompt refinement. Extensive evaluations across diverse reasoning tasks including BBH, GSM8k, and FOLIO demonstrate that GReaTer consistently outperforms previous state-of-the-art prompt optimization methods, even those reliant on powerful LLMs. Additionally, GReaTer-optimized prompts frequently exhibit better transferability and, in some cases, boost task performance to levels comparable to or surpassing those achieved by larger language models, highlighting the effectiveness of prompt optimization guided by gradients over reasoning. Code of GReaTer is available at https://github.com/psunlpgroup/GreaTer.