Uso Eficiente de Herramientas con Razonamiento en Cadena de Abstracción

Resumen

Para lograr un razonamiento fiel que se alinee con las expectativas humanas, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) necesitan fundamentar su razonamiento en conocimientos del mundo real (por ejemplo, hechos de la web, reglas matemáticas y físicas). Las herramientas ayudan a los LLMs a acceder a este conocimiento externo, pero persisten desafíos para afinar los agentes basados en LLMs (por ejemplo, Toolformer) para invocar herramientas en problemas de razonamiento de múltiples pasos, donde las llamadas a herramientas interconectadas requieren una planificación holística y eficiente del uso de herramientas. En este trabajo, proponemos un nuevo método para que los LLMs aprovechen mejor las herramientas en el razonamiento de múltiples pasos. Nuestro método, Cadena de Abstracción (Chain-of-Abstraction, CoA), entrena a los LLMs para que primero decodifiquen cadenas de razonamiento con marcadores de posición abstractos, y luego invoquen herramientas de dominio para concretar cada cadena de razonamiento llenándola con conocimientos específicos. Esta planificación con cadenas abstractas permite a los LLMs aprender estrategias de razonamiento más generales, que son robustas frente a cambios en el conocimiento de dominio (por ejemplo, resultados matemáticos) relevantes para diferentes preguntas de razonamiento. También permite a los LLMs realizar la decodificación y la invocación de herramientas externas en paralelo, lo que evita el retraso en la inferencia causado por la espera de respuestas de las herramientas. En dominios de razonamiento matemático y preguntas y respuestas de Wiki, demostramos que nuestro método supera consistentemente a los enfoques anteriores basados en cadena de pensamiento y herramientas aumentadas, tanto en conjuntos de prueba dentro de la distribución como fuera de ella, con una mejora promedio de ~6% en la precisión absoluta de preguntas y respuestas. Los agentes basados en LLMs entrenados con nuestro método también muestran un uso más eficiente de las herramientas, con una velocidad de inferencia en promedio ~1.4 veces más rápida que los LLMs aumentados con herramientas de referencia.

English

To achieve faithful reasoning that aligns with human expectations, large language models (LLMs) need to ground their reasoning to real-world knowledge (e.g., web facts, math and physical rules). Tools help LLMs access this external knowledge, but there remains challenges for fine-tuning LLM agents (e.g., Toolformer) to invoke tools in multi-step reasoning problems, where inter-connected tool calls require holistic and efficient tool usage planning. In this work, we propose a new method for LLMs to better leverage tools in multi-step reasoning. Our method, Chain-of-Abstraction (CoA), trains LLMs to first decode reasoning chains with abstract placeholders, and then call domain tools to reify each reasoning chain by filling in specific knowledge. This planning with abstract chains enables LLMs to learn more general reasoning strategies, which are robust to shifts of domain knowledge (e.g., math results) relevant to different reasoning questions. It also allows LLMs to perform decoding and calling of external tools in parallel, which avoids the inference delay caused by waiting for tool responses. In mathematical reasoning and Wiki QA domains, we show that our method consistently outperforms previous chain-of-thought and tool-augmented baselines on both in-distribution and out-of-distribution test sets, with an average ~6% absolute QA accuracy improvement. LLM agents trained with our method also show more efficient tool use, with inference speed being on average ~1.4x faster than baseline tool-augmented LLMs.

Uso Eficiente de Herramientas con Razonamiento en Cadena de Abstracción

Efficient Tool Use with Chain-of-Abstraction Reasoning

Resumen

Support