Adaptándose Mientras Aprende: Fundamentando LLMs para Problemas Científicos con Adaptación Inteligente del Uso de Herramientas

Adapting While Learning: Grounding LLMs for Scientific Problems with Intelligent Tool Usage Adaptation

November 1, 2024

Autores: Bohan Lyu, Yadi Cao, Duncan Watson-Parris, Leon Bergen, Taylor Berg-Kirkpatrick, Rose Yu

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLMs) muestran capacidades prometedoras en la resolución de problemas científicos simples, pero a menudo producen alucinaciones en los más complejos. Si bien la integración de LLMs con herramientas puede aumentar la fiabilidad, este enfoque suele resultar en una dependencia excesiva de las herramientas, disminuyendo la capacidad del modelo para resolver problemas simples a través del razonamiento básico. En contraste, los expertos humanos evalúan primero la complejidad del problema utilizando el conocimiento del dominio antes de elegir un enfoque de solución adecuado. Inspirados por este proceso humano de resolución de problemas, proponemos un novedoso método de ajuste fino de dos componentes. En el primer componente, Destilación de Conocimiento del Mundo (WKD por sus siglas en inglés), los LLMs aprenden directamente de las soluciones generadas utilizando la información de las herramientas para interiorizar el conocimiento del dominio. En el segundo componente, Adaptación del Uso de Herramientas (TUA), dividimos los problemas en categorías fáciles y difíciles basándonos en la precisión de respuesta directa del modelo. Manteniendo el mismo objetivo de alineación para los problemas fáciles como en WKD, entrenamos al modelo para cambiar inteligentemente al uso de herramientas para problemas más desafiantes. Validamos nuestro método en seis conjuntos de datos de referencia científica, que abarcan matemáticas, ciencias climáticas y epidemiología. En promedio, nuestros modelos muestran una mejora del 28.18% en la precisión de respuestas y un aumento del 13.89% en la precisión del uso de herramientas en todos los conjuntos de datos, superando a modelos de vanguardia como GPT-4o y Claude-3.5.

English

Large Language Models (LLMs) demonstrate promising capabilities in solving simple scientific problems but often produce hallucinations for complex ones. While integrating LLMs with tools can increase reliability, this approach typically results in over-reliance on tools, diminishing the model's ability to solve simple problems through basic reasoning. In contrast, human experts first assess problem complexity using domain knowledge before choosing an appropriate solution approach. Inspired by this human problem-solving process, we propose a novel two-component fine-tuning method. In the first component World Knowledge Distillation (WKD), LLMs learn directly from solutions generated using tool's information to internalize domain knowledge. In the second component Tool Usage Adaptation (TUA), we partition problems into easy and hard categories based on the model's direct answering accuracy. While maintaining the same alignment target for easy problems as in WKD, we train the model to intelligently switch to tool usage for more challenging problems. We validate our method on six scientific benchmark datasets, spanning mathematics, climate science and epidemiology. On average, our models demonstrate a 28.18% improvement in answer accuracy and a 13.89% increase in tool usage precision across all datasets, surpassing state-of-the-art models including GPT-4o and Claude-3.5.