Адаптация в процессе обучения: закрепление LLM для научных проблем с использованием интеллектуальной адаптации инструментов.

Adapting While Learning: Grounding LLMs for Scientific Problems with Intelligent Tool Usage Adaptation

November 1, 2024

Авторы: Bohan Lyu, Yadi Cao, Duncan Watson-Parris, Leon Bergen, Taylor Berg-Kirkpatrick, Rose Yu

cs.AI

Аннотация

Большие языковые модели (LLM) демонстрируют многообещающие возможности в решении простых научных задач, но часто проявляют галлюцинации при сложных. Интеграция LLM с инструментами может повысить надежность, однако такой подход обычно приводит к чрезмерной зависимости от инструментов, что уменьшает способность модели решать простые задачи на основе базового рассуждения. В отличие от этого, человеческие эксперты сначала оценивают сложность задачи, используя знания области, прежде чем выбрать подходящий способ решения. Вдохновленные этим процессом человеческого решения проблем, мы предлагаем новый метод настройки из двух компонентов. В первом компоненте Дистилляция Мировых Знаний (WKD) LLM учится непосредственно из решений, сгенерированных с использованием информации инструмента, чтобы внутренне усвоить областные знания. Во втором компоненте Адаптация Использования Инструментов (TUA) мы разделяем задачи на простые и сложные категории на основе точности прямого ответа модели. Поддерживая тот же целевой уровень для простых задач, что и в WKD, мы обучаем модель интеллектуально переключаться на использование инструментов для более сложных задач. Мы проверяем наш метод на шести научных эталонных наборах данных, охватывающих математику, климатологию и эпидемиологию. В среднем наши модели демонстрируют улучшение точности ответа на 28,18% и увеличение точности использования инструментов на 13,89% по всем наборам данных, превосходя современные модели, включая GPT-4o и Claude-3.5.

English

Large Language Models (LLMs) demonstrate promising capabilities in solving simple scientific problems but often produce hallucinations for complex ones. While integrating LLMs with tools can increase reliability, this approach typically results in over-reliance on tools, diminishing the model's ability to solve simple problems through basic reasoning. In contrast, human experts first assess problem complexity using domain knowledge before choosing an appropriate solution approach. Inspired by this human problem-solving process, we propose a novel two-component fine-tuning method. In the first component World Knowledge Distillation (WKD), LLMs learn directly from solutions generated using tool's information to internalize domain knowledge. In the second component Tool Usage Adaptation (TUA), we partition problems into easy and hard categories based on the model's direct answering accuracy. While maintaining the same alignment target for easy problems as in WKD, we train the model to intelligently switch to tool usage for more challenging problems. We validate our method on six scientific benchmark datasets, spanning mathematics, climate science and epidemiology. On average, our models demonstrate a 28.18% improvement in answer accuracy and a 13.89% increase in tool usage precision across all datasets, surpassing state-of-the-art models including GPT-4o and Claude-3.5.