DSPy: Compilación de llamadas declarativas a modelos de lenguaje en pipelines de auto-mejora

Resumen

La comunidad de aprendizaje automático está explorando rápidamente técnicas para el "prompting" de modelos de lenguaje (LMs) y para combinarlos en pipelines que resuelven tareas complejas. Desafortunadamente, los pipelines de LMs existentes suelen implementarse utilizando "plantillas de prompts" codificadas de forma rígida, es decir, cadenas extensas descubiertas mediante prueba y error. Con el objetivo de desarrollar un enfoque más sistemático para la creación y optimización de pipelines de LMs, presentamos DSPy, un modelo de programación que abstrae los pipelines de LMs como grafos de transformación de texto, es decir, grafos computacionales imperativos donde los LMs se invocan a través de módulos declarativos. Los módulos de DSPy están parametrizados, lo que significa que pueden aprender (creando y recopilando demostraciones) cómo aplicar composiciones de técnicas de prompting, ajuste fino, aumento y razonamiento. Diseñamos un compilador que optimiza cualquier pipeline de DSPy para maximizar una métrica dada. Realizamos dos estudios de caso, demostrando que programas concisos de DSPy pueden expresar y optimizar pipelines de LMs sofisticados que razonan sobre problemas matemáticos verbales, abordan recuperación de múltiples saltos, responden preguntas complejas y controlan bucles de agentes. En cuestión de minutos de compilación, unas pocas líneas de DSPy permiten que GPT-3.5 y llama2-13b-chat auto-bootstrapeen pipelines que superan el prompting estándar de pocos ejemplos (generalmente en más del 25% y 65%, respectivamente) y pipelines con demostraciones creadas por expertos (hasta en un 5-46% y 16-40%, respectivamente). Además, los programas de DSPy compilados para LMs abiertos y relativamente pequeños, como T5 de 770 millones de parámetros y llama2-13b-chat, son competitivos con enfoques que dependen de cadenas de prompts escritas por expertos para GPT-3.5 propietario. DSPy está disponible en https://github.com/stanfordnlp/dspy.

English

The ML community is rapidly exploring techniques for prompting language models (LMs) and for stacking them into pipelines that solve complex tasks. Unfortunately, existing LM pipelines are typically implemented using hard-coded "prompt templates", i.e. lengthy strings discovered via trial and error. Toward a more systematic approach for developing and optimizing LM pipelines, we introduce DSPy, a programming model that abstracts LM pipelines as text transformation graphs, i.e. imperative computational graphs where LMs are invoked through declarative modules. DSPy modules are parameterized, meaning they can learn (by creating and collecting demonstrations) how to apply compositions of prompting, finetuning, augmentation, and reasoning techniques. We design a compiler that will optimize any DSPy pipeline to maximize a given metric. We conduct two case studies, showing that succinct DSPy programs can express and optimize sophisticated LM pipelines that reason about math word problems, tackle multi-hop retrieval, answer complex questions, and control agent loops. Within minutes of compiling, a few lines of DSPy allow GPT-3.5 and llama2-13b-chat to self-bootstrap pipelines that outperform standard few-shot prompting (generally by over 25% and 65%, respectively) and pipelines with expert-created demonstrations (by up to 5-46% and 16-40%, respectively). On top of that, DSPy programs compiled to open and relatively small LMs like 770M-parameter T5 and llama2-13b-chat are competitive with approaches that rely on expert-written prompt chains for proprietary GPT-3.5. DSPy is available at https://github.com/stanfordnlp/dspy

DSPy: Compilación de llamadas declarativas a modelos de lenguaje en pipelines de auto-mejora

DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines

Resumen

Support