TextGrad: "Differenziazione" Automatica tramite Testo

TextGrad: Automatic "Differentiation" via Text

June 11, 2024

Autori: Mert Yuksekgonul, Federico Bianchi, Joseph Boen, Sheng Liu, Zhi Huang, Carlos Guestrin, James Zou

cs.AI

Abstract

L'IA sta vivendo un cambiamento di paradigma, con progressi ottenuti da sistemi che orchestrano più modelli linguistici di grandi dimensioni (LLM) e altri componenti complessi. Di conseguenza, lo sviluppo di metodi di ottimizzazione automatizzati e basati su principi per sistemi di IA composti rappresenta una delle nuove sfide più importanti. Le reti neurali hanno affrontato una sfida simile nei loro primi giorni, fino a quando la retropropagazione e la differenziazione automatica hanno trasformato il campo, rendendo l'ottimizzazione un processo immediato. Ispirati da ciò, introduciamo TextGrad, un potente framework che esegue una "differenziazione" automatica tramite testo. TextGrad retropropaga feedback testuali forniti dagli LLM per migliorare i singoli componenti di un sistema di IA composto. Nel nostro framework, gli LLM forniscono suggerimenti ricchi, generali e in linguaggio naturale per ottimizzare variabili nei grafi di calcolo, che vanno da frammenti di codice a strutture molecolari. TextGrad segue la sintassi e l'astrazione di PyTorch, risultando flessibile e facile da usare. Funziona immediatamente per una varietà di task, dove gli utenti forniscono solo la funzione obiettivo senza dover ottimizzare componenti o prompt del framework. Dimostriamo l'efficacia e la generalità di TextGrad in un'ampia gamma di applicazioni, dal question answering e l'ottimizzazione molecolare alla pianificazione di trattamenti radioterapici. Senza modificare il framework, TextGrad migliora l'accuratezza zero-shot di GPT-4o nel Google-Proof Question Answering dal 51% al 55%, ottiene un guadagno relativo del 20% nelle prestazioni nell'ottimizzazione di soluzioni a problemi di codifica LeetCode-Hard, migliora i prompt per il ragionamento, progetta nuove piccole molecole simili a farmaci con legami in silico desiderabili e progetta piani di trattamento di radioterapia con alta specificità. TextGrad getta le basi per accelerare lo sviluppo della prossima generazione di sistemi di IA.

English

AI is undergoing a paradigm shift, with breakthroughs achieved by systems orchestrating multiple large language models (LLMs) and other complex components. As a result, developing principled and automated optimization methods for compound AI systems is one of the most important new challenges. Neural networks faced a similar challenge in its early days until backpropagation and automatic differentiation transformed the field by making optimization turn-key. Inspired by this, we introduce TextGrad, a powerful framework performing automatic ``differentiation'' via text. TextGrad backpropagates textual feedback provided by LLMs to improve individual components of a compound AI system. In our framework, LLMs provide rich, general, natural language suggestions to optimize variables in computation graphs, ranging from code snippets to molecular structures. TextGrad follows PyTorch's syntax and abstraction and is flexible and easy-to-use. It works out-of-the-box for a variety of tasks, where the users only provide the objective function without tuning components or prompts of the framework. We showcase TextGrad's effectiveness and generality across a diverse range of applications, from question answering and molecule optimization to radiotherapy treatment planning. Without modifying the framework, TextGrad improves the zero-shot accuracy of GPT-4o in Google-Proof Question Answering from 51% to 55%, yields 20% relative performance gain in optimizing LeetCode-Hard coding problem solutions, improves prompts for reasoning, designs new druglike small molecules with desirable in silico binding, and designs radiation oncology treatment plans with high specificity. TextGrad lays a foundation to accelerate the development of the next-generation of AI systems.