TextGrad: Diferenciación Automática mediante Texto

TextGrad: Automatic "Differentiation" via Text

June 11, 2024

Autores: Mert Yuksekgonul, Federico Bianchi, Joseph Boen, Sheng Liu, Zhi Huang, Carlos Guestrin, James Zou

cs.AI

Resumen

La IA está experimentando un cambio de paradigma, con avances logrados por sistemas que orquestan múltiples modelos de lenguaje grandes (LLMs) y otros componentes complejos. Como resultado, desarrollar métodos de optimización automatizados y fundamentados para sistemas de IA compuestos es uno de los desafíos más importantes en la actualidad. Las redes neuronales enfrentaron un desafío similar en sus inicios, hasta que la retropropagación y la diferenciación automática transformaron el campo al hacer que la optimización fuera sencilla. Inspirados por esto, presentamos TextGrad, un marco poderoso que realiza "diferenciación" automática a través de texto. TextGrad retropropaga comentarios textuales proporcionados por LLMs para mejorar componentes individuales de un sistema de IA compuesto. En nuestro marco, los LLMs ofrecen sugerencias ricas, generales y en lenguaje natural para optimizar variables en grafos de computación, que van desde fragmentos de código hasta estructuras moleculares. TextGrad sigue la sintaxis y abstracción de PyTorch, siendo flexible y fácil de usar. Funciona de inmediato para una variedad de tareas, donde los usuarios solo proporcionan la función objetivo sin necesidad de ajustar componentes o prompts del marco. Demostramos la efectividad y generalidad de TextGrad en una amplia gama de aplicaciones, desde respuestas a preguntas y optimización de moléculas hasta la planificación de tratamientos de radioterapia. Sin modificar el marco, TextGrad mejora la precisión de cero disparos de GPT-4o en Respuestas a Preguntas a prueba de Google del 51% al 55%, logra una mejora relativa del 20% en la optimización de soluciones a problemas de codificación de LeetCode-Hard, mejora prompts para razonamiento, diseña nuevas moléculas pequeñas con propiedades deseables de unión in silico y planifica tratamientos de oncología radioterápica con alta especificidad. TextGrad sienta las bases para acelerar el desarrollo de la próxima generación de sistemas de IA.

English

AI is undergoing a paradigm shift, with breakthroughs achieved by systems orchestrating multiple large language models (LLMs) and other complex components. As a result, developing principled and automated optimization methods for compound AI systems is one of the most important new challenges. Neural networks faced a similar challenge in its early days until backpropagation and automatic differentiation transformed the field by making optimization turn-key. Inspired by this, we introduce TextGrad, a powerful framework performing automatic ``differentiation'' via text. TextGrad backpropagates textual feedback provided by LLMs to improve individual components of a compound AI system. In our framework, LLMs provide rich, general, natural language suggestions to optimize variables in computation graphs, ranging from code snippets to molecular structures. TextGrad follows PyTorch's syntax and abstraction and is flexible and easy-to-use. It works out-of-the-box for a variety of tasks, where the users only provide the objective function without tuning components or prompts of the framework. We showcase TextGrad's effectiveness and generality across a diverse range of applications, from question answering and molecule optimization to radiotherapy treatment planning. Without modifying the framework, TextGrad improves the zero-shot accuracy of GPT-4o in Google-Proof Question Answering from 51% to 55%, yields 20% relative performance gain in optimizing LeetCode-Hard coding problem solutions, improves prompts for reasoning, designs new druglike small molecules with desirable in silico binding, and designs radiation oncology treatment plans with high specificity. TextGrad lays a foundation to accelerate the development of the next-generation of AI systems.