GReaTer : Les gradients sur le raisonnement renforcent les petits modèles de langage Optimiseurs de consignes

GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers

December 12, 2024

Auteurs: Sarkar Snigdha Sarathi Das, Ryo Kamoi, Bo Pang, Yusen Zhang, Caiming Xiong, Rui Zhang

cs.AI

Résumé

L'efficacité des grands modèles de langage (GML) est étroitement liée à la conception des invitations, rendant l'optimisation des invitations essentielle pour améliorer leurs performances sur une large gamme de tâches. De nombreuses approches existantes pour automatiser l'ingénierie des invitations reposent exclusivement sur des retours textuels, affinant les invitations uniquement en fonction des erreurs d'inférence identifiées par de grands GML coûteux en calcul. Malheureusement, les modèles plus petits ont du mal à générer des retours de haute qualité, ce qui entraîne une dépendance totale au jugement des grands GML. De plus, ces méthodes échouent à exploiter des informations plus directes et plus fines, telles que les gradients, en raison de leur fonctionnement purement dans l'espace textuel. À cette fin, nous présentons GReaTer, une nouvelle technique d'optimisation d'invitation qui intègre directement les informations de gradient sur le raisonnement spécifique à la tâche. En utilisant les gradients de perte de tâche, GReaTer permet l'auto-optimisation des invitations pour des modèles de langage open-source et légers sans avoir besoin de GML coûteux en source fermée. Cela permet une optimisation efficace des invitations sans dépendre de GML massifs, comblant ainsi l'écart entre les modèles plus petits et le raisonnement sophistiqué souvent nécessaire pour affiner les invitations. Des évaluations approfondies sur diverses tâches de raisonnement, y compris BBH, GSM8k et FOLIO, démontrent que GReaTer surpasse systématiquement les méthodes d'optimisation d'invitation de pointe précédentes, même celles reposant sur de puissants GML. De plus, les invitations optimisées par GReaTer présentent fréquemment une meilleure transférabilité et, dans certains cas, améliorent les performances des tâches à des niveaux comparables ou dépassant ceux obtenus par de plus grands modèles de langage, mettant en évidence l'efficacité de l'optimisation des invitations guidée par les gradients sur le raisonnement. Le code de GReaTer est disponible sur https://github.com/psunlpgroup/GreaTer.

English

The effectiveness of large language models (LLMs) is closely tied to the design of prompts, making prompt optimization essential for enhancing their performance across a wide range of tasks. Many existing approaches to automating prompt engineering rely exclusively on textual feedback, refining prompts based solely on inference errors identified by large, computationally expensive LLMs. Unfortunately, smaller models struggle to generate high-quality feedback, resulting in complete dependence on large LLM judgment. Moreover, these methods fail to leverage more direct and finer-grained information, such as gradients, due to operating purely in text space. To this end, we introduce GReaTer, a novel prompt optimization technique that directly incorporates gradient information over task-specific reasoning. By utilizing task loss gradients, GReaTer enables self-optimization of prompts for open-source, lightweight language models without the need for costly closed-source LLMs. This allows high-performance prompt optimization without dependence on massive LLMs, closing the gap between smaller models and the sophisticated reasoning often needed for prompt refinement. Extensive evaluations across diverse reasoning tasks including BBH, GSM8k, and FOLIO demonstrate that GReaTer consistently outperforms previous state-of-the-art prompt optimization methods, even those reliant on powerful LLMs. Additionally, GReaTer-optimized prompts frequently exhibit better transferability and, in some cases, boost task performance to levels comparable to or surpassing those achieved by larger language models, highlighting the effectiveness of prompt optimization guided by gradients over reasoning. Code of GReaTer is available at https://github.com/psunlpgroup/GreaTer.