TextGrad : "Différentiation" automatique via le texte

TextGrad: Automatic "Differentiation" via Text

June 11, 2024

Auteurs: Mert Yuksekgonul, Federico Bianchi, Joseph Boen, Sheng Liu, Zhi Huang, Carlos Guestrin, James Zou

cs.AI

Résumé

L'IA est en train de vivre un changement de paradigme, avec des avancées majeures réalisées par des systèmes orchestrant plusieurs grands modèles de langage (LLMs) et d'autres composants complexes. Par conséquent, développer des méthodes d'optimisation automatisées et fondées sur des principes pour les systèmes d'IA composites représente l'un des nouveaux défis les plus importants. Les réseaux de neurones ont fait face à un défi similaire à leurs débuts, jusqu'à ce que la rétropropagation et la différenciation automatique transforment le domaine en rendant l'optimisation accessible. Inspirés par cela, nous introduisons TextGrad, un cadre puissant effectuant une « différenciation » automatique via le texte. TextGrad rétropropage les retours textuels fournis par les LLMs pour améliorer les composants individuels d'un système d'IA composite. Dans notre cadre, les LLMs fournissent des suggestions riches, générales et en langage naturel pour optimiser les variables dans les graphes de calcul, allant des extraits de code aux structures moléculaires. TextGrad suit la syntaxe et l'abstraction de PyTorch, et est flexible et facile à utiliser. Il fonctionne immédiatement pour une variété de tâches, où les utilisateurs ne fournissent que la fonction objectif sans avoir à ajuster les composants ou les prompts du cadre. Nous démontrons l'efficacité et la généralité de TextGrad à travers une gamme variée d'applications, allant de la réponse à des questions et l'optimisation de molécules à la planification de traitements de radiothérapie. Sans modifier le cadre, TextGrad améliore la précision en zero-shot de GPT-4o dans la réponse à des questions Google-Proof de 51% à 55%, obtient un gain de performance relatif de 20% dans l'optimisation de solutions à des problèmes de codage LeetCode-Hard, améliore les prompts pour le raisonnement, conçoit de nouvelles petites molécules semblables à des médicaments avec une liaison in silico souhaitable, et conçoit des plans de traitement en oncologie radiologique avec une haute spécificité. TextGrad pose les bases pour accélérer le développement de la prochaine génération de systèmes d'IA.

English

AI is undergoing a paradigm shift, with breakthroughs achieved by systems orchestrating multiple large language models (LLMs) and other complex components. As a result, developing principled and automated optimization methods for compound AI systems is one of the most important new challenges. Neural networks faced a similar challenge in its early days until backpropagation and automatic differentiation transformed the field by making optimization turn-key. Inspired by this, we introduce TextGrad, a powerful framework performing automatic ``differentiation'' via text. TextGrad backpropagates textual feedback provided by LLMs to improve individual components of a compound AI system. In our framework, LLMs provide rich, general, natural language suggestions to optimize variables in computation graphs, ranging from code snippets to molecular structures. TextGrad follows PyTorch's syntax and abstraction and is flexible and easy-to-use. It works out-of-the-box for a variety of tasks, where the users only provide the objective function without tuning components or prompts of the framework. We showcase TextGrad's effectiveness and generality across a diverse range of applications, from question answering and molecule optimization to radiotherapy treatment planning. Without modifying the framework, TextGrad improves the zero-shot accuracy of GPT-4o in Google-Proof Question Answering from 51% to 55%, yields 20% relative performance gain in optimizing LeetCode-Hard coding problem solutions, improves prompts for reasoning, designs new druglike small molecules with desirable in silico binding, and designs radiation oncology treatment plans with high specificity. TextGrad lays a foundation to accelerate the development of the next-generation of AI systems.