TextGrad: Автоматическое "Дифференцирование" через текст

TextGrad: Automatic "Differentiation" via Text

June 11, 2024

Авторы: Mert Yuksekgonul, Federico Bianchi, Joseph Boen, Sheng Liu, Zhi Huang, Carlos Guestrin, James Zou

cs.AI

Аннотация

Искусственный интеллект переживает парадигмальный сдвиг, достигнутый благодаря системам, оркестрирующим несколько крупных языковых моделей (LLM) и другие сложные компоненты. В результате разработка принципиальных и автоматизированных методов оптимизации для сложных систем искусственного интеллекта является одним из самых важных новых вызовов. Нейронные сети столкнулись с аналогичным вызовом в свои ранние дни, пока обратное распространение и автоматическое дифференцирование не преобразили область, сделав оптимизацию простой. Вдохновленные этим, мы представляем TextGrad, мощный фреймворк, выполняющий автоматическое "дифференцирование" через текст. TextGrad обратно распространяет текстовую обратную связь, предоставленную LLM, для улучшения отдельных компонентов сложной системы искусственного интеллекта. В нашем фреймворке LLM предоставляют богатые, общие, естественноязыковые предложения для оптимизации переменных в вычислительных графах, начиная от фрагментов кода до молекулярных структур. TextGrad следует синтаксису и абстракции PyTorch, он гибок и прост в использовании. Он работает "из коробки" для различных задач, где пользователи предоставляют только целевую функцию без настройки компонентов или подсказок фреймворка. Мы демонстрируем эффективность и общность TextGrad в разнообразных приложениях, начиная от ответов на вопросы и оптимизации молекул до планирования лучевой терапии. Без модификации фреймворка TextGrad улучшает точность нулевого примера GPT-4o в ответах на вопросы Google-Proof с 51% до 55%, обеспечивает 20% относительный прирост производительности в оптимизации решений проблем кодирования LeetCode-Hard, улучшает подсказки для рассуждений, разрабатывает новые молекулы, подобные лекарствам, с желательным виртуальным связыванием, и разрабатывает планы лучевой онкологической терапии с высокой специфичностью. TextGrad заложил основу для ускорения развития следующего поколения систем искусственного интеллекта.

English

AI is undergoing a paradigm shift, with breakthroughs achieved by systems orchestrating multiple large language models (LLMs) and other complex components. As a result, developing principled and automated optimization methods for compound AI systems is one of the most important new challenges. Neural networks faced a similar challenge in its early days until backpropagation and automatic differentiation transformed the field by making optimization turn-key. Inspired by this, we introduce TextGrad, a powerful framework performing automatic ``differentiation'' via text. TextGrad backpropagates textual feedback provided by LLMs to improve individual components of a compound AI system. In our framework, LLMs provide rich, general, natural language suggestions to optimize variables in computation graphs, ranging from code snippets to molecular structures. TextGrad follows PyTorch's syntax and abstraction and is flexible and easy-to-use. It works out-of-the-box for a variety of tasks, where the users only provide the objective function without tuning components or prompts of the framework. We showcase TextGrad's effectiveness and generality across a diverse range of applications, from question answering and molecule optimization to radiotherapy treatment planning. Without modifying the framework, TextGrad improves the zero-shot accuracy of GPT-4o in Google-Proof Question Answering from 51% to 55%, yields 20% relative performance gain in optimizing LeetCode-Hard coding problem solutions, improves prompts for reasoning, designs new druglike small molecules with desirable in silico binding, and designs radiation oncology treatment plans with high specificity. TextGrad lays a foundation to accelerate the development of the next-generation of AI systems.