TextGrad: Automatische "Differentiatie" via Tekst

Samenvatting

AI ondergaat een paradigmaverschuiving, met doorbraken bereikt door systemen die meerdere grote taalmmodellen (LLMs) en andere complexe componenten orkestreren. Als gevolg hiervan is het ontwikkelen van principiële en geautomatiseerde optimalisatiemethoden voor samengestelde AI-systemen een van de belangrijkste nieuwe uitdagingen. Neurale netwerken stonden in hun beginjaren voor een vergelijkbare uitdaging, totdat backpropagation en automatische differentiatie het veld transformeerden door optimalisatie eenvoudig te maken. Geïnspireerd door dit introduceert TextGrad, een krachtig framework dat automatische "differentiatie" via tekst uitvoert. TextGrad propageert tekstuele feedback, geleverd door LLMs, terug om individuele componenten van een samengesteld AI-systeem te verbeteren. In ons framework bieden LLMs rijke, algemene, natuurlijke taal suggesties om variabelen in rekenkundige grafieken te optimaliseren, variërend van codefragmenten tot moleculaire structuren. TextGrad volgt de syntaxis en abstractie van PyTorch en is flexibel en gebruiksvriendelijk. Het werkt direct voor een verscheidenheid aan taken, waarbij gebruikers alleen de doel functie hoeven te specificeren zonder componenten of prompts van het framework af te stemmen. We demonstreren de effectiviteit en algemeenheid van TextGrad in een breed scala aan toepassingen, van vraagbeantwoording en molecuuloptimalisatie tot radiotherapiebehandelingsplanning. Zonder het framework aan te passen, verbetert TextGrad de zero-shot nauwkeurigheid van GPT-4 in Google-Proof Question Answering van 51% naar 55%, levert het een relatieve prestatieverbetering van 20% op bij het optimaliseren van oplossingen voor LeetCode-Hard codeproblemen, verbetert het prompts voor redenering, ontwerpt het nieuwe geneesmiddelachtige kleine moleculen met gewenste in silico binding, en ontwerpt het radiotherapiebehandelingsplannen met hoge specificiteit. TextGrad legt een basis om de ontwikkeling van de volgende generatie AI-systemen te versnellen.

English

AI is undergoing a paradigm shift, with breakthroughs achieved by systems orchestrating multiple large language models (LLMs) and other complex components. As a result, developing principled and automated optimization methods for compound AI systems is one of the most important new challenges. Neural networks faced a similar challenge in its early days until backpropagation and automatic differentiation transformed the field by making optimization turn-key. Inspired by this, we introduce TextGrad, a powerful framework performing automatic ``differentiation'' via text. TextGrad backpropagates textual feedback provided by LLMs to improve individual components of a compound AI system. In our framework, LLMs provide rich, general, natural language suggestions to optimize variables in computation graphs, ranging from code snippets to molecular structures. TextGrad follows PyTorch's syntax and abstraction and is flexible and easy-to-use. It works out-of-the-box for a variety of tasks, where the users only provide the objective function without tuning components or prompts of the framework. We showcase TextGrad's effectiveness and generality across a diverse range of applications, from question answering and molecule optimization to radiotherapy treatment planning. Without modifying the framework, TextGrad improves the zero-shot accuracy of GPT-4o in Google-Proof Question Answering from 51% to 55%, yields 20% relative performance gain in optimizing LeetCode-Hard coding problem solutions, improves prompts for reasoning, designs new druglike small molecules with desirable in silico binding, and designs radiation oncology treatment plans with high specificity. TextGrad lays a foundation to accelerate the development of the next-generation of AI systems.

TextGrad: Automatische "Differentiatie" via Tekst

TextGrad: Automatic "Differentiation" via Text

Samenvatting

Support