Настройка крупных языковых моделей с использованием стратегий обучения, вдохновленных человеком, в медицинском вопросно-ответном моделировании.

Fine-tuning Large Language Models with Human-inspired Learning Strategies in Medical Question Answering

August 15, 2024

Авторы: Yushi Yang, Andrew M. Bean, Robert McCraith, Adam Mahdi

cs.AI

Аннотация

Обучение больших языковых моделей (LLM) сопряжено с существенными затратами на данные, что стимулирует разработку методов обучения, эффективных с точки зрения использования данных, путем оптимизации порядка и выбора данных. Стратегии обучения, вдохновленные человеческим обучением, такие как обучение по курсам, предлагают возможности для эффективного обучения путем организации данных в соответствии с общими практиками человеческого обучения. Несмотря на доказательства того, что дообучение с применением обучения по курсам улучшает производительность LLM для задач понимания естественного языка, его эффективность обычно оценивается с использованием одной модели. В данной работе мы расширяем предыдущие исследования, оценивая как стратегии обучения на основе курсов, так и не на основе курсов, на нескольких LLM, используя человечески определенные и автоматизированные метки данных для ответов на медицинские вопросы. Наши результаты показывают умеренное влияние использования стратегий обучения, вдохновленных человеком, для дообучения LLM, с максимальным приростом точности на модель в 1,77% и на набор данных в 1,81%. Критически важно, что мы демонстрируем, что эффективность этих стратегий значительно варьируется в зависимости от различных комбинаций модель-набор данных, подчеркивая, что преимущества конкретной стратегии, вдохновленной человеком, для дообучения LLM не обобщаются. Кроме того, мы находим доказательства того, что обучение по курсам с использованием определенной сложности вопросов, определенной LLM, превосходит сложность, определенную человеком, что подчеркивает потенциал использования модельно-сгенерированных мер для оптимального проектирования учебного плана.

English

Training Large Language Models (LLMs) incurs substantial data-related costs, motivating the development of data-efficient training methods through optimised data ordering and selection. Human-inspired learning strategies, such as curriculum learning, offer possibilities for efficient training by organising data according to common human learning practices. Despite evidence that fine-tuning with curriculum learning improves the performance of LLMs for natural language understanding tasks, its effectiveness is typically assessed using a single model. In this work, we extend previous research by evaluating both curriculum-based and non-curriculum-based learning strategies across multiple LLMs, using human-defined and automated data labels for medical question answering. Our results indicate a moderate impact of using human-inspired learning strategies for fine-tuning LLMs, with maximum accuracy gains of 1.77% per model and 1.81% per dataset. Crucially, we demonstrate that the effectiveness of these strategies varies significantly across different model-dataset combinations, emphasising that the benefits of a specific human-inspired strategy for fine-tuning LLMs do not generalise. Additionally, we find evidence that curriculum learning using LLM-defined question difficulty outperforms human-defined difficulty, highlighting the potential of using model-generated measures for optimal curriculum design.