Affinamento di Modelli Linguistici di Grandi Dimensioni con Strategie di Apprendimento Ispirate all'Umano nel Rispondere a Domande Mediche

Fine-tuning Large Language Models with Human-inspired Learning Strategies in Medical Question Answering

August 15, 2024

Autori: Yushi Yang, Andrew M. Bean, Robert McCraith, Adam Mahdi

cs.AI

Abstract

L'addestramento di Large Language Models (LLM) comporta costi significativi legati ai dati, stimolando lo sviluppo di metodi di addestramento efficienti dal punto di vista dei dati attraverso l'ottimizzazione dell'ordinamento e della selezione dei dati. Strategie di apprendimento ispirate al comportamento umano, come il curriculum learning, offrono possibilità di addestramento efficiente organizzando i dati secondo pratiche comuni di apprendimento umano. Nonostante le evidenze che il fine-tuning con curriculum learning migliori le prestazioni dei LLM per compiti di comprensione del linguaggio naturale, la sua efficacia è tipicamente valutata utilizzando un singolo modello. In questo lavoro, estendiamo le ricerche precedenti valutando sia strategie di apprendimento basate su curriculum che non basate su curriculum su più LLM, utilizzando etichette di dati definite da esseri umani e automatizzate per il task di risposta a domande mediche. I nostri risultati indicano un impatto moderato dell'uso di strategie di apprendimento ispirate al comportamento umano per il fine-tuning dei LLM, con guadagni massimi di accuratezza dell'1,77% per modello e dell'1,81% per dataset. In modo cruciale, dimostriamo che l'efficacia di queste strategie varia significativamente tra diverse combinazioni modello-dataset, sottolineando che i benefici di una specifica strategia ispirata al comportamento umano per il fine-tuning dei LLM non sono generalizzabili. Inoltre, troviamo evidenze che il curriculum learning basato sulla difficoltà delle domande definita dai LLM supera quella definita dagli esseri umani, evidenziando il potenziale dell'uso di misure generate dai modelli per un design ottimale del curriculum.

English

Training Large Language Models (LLMs) incurs substantial data-related costs, motivating the development of data-efficient training methods through optimised data ordering and selection. Human-inspired learning strategies, such as curriculum learning, offer possibilities for efficient training by organising data according to common human learning practices. Despite evidence that fine-tuning with curriculum learning improves the performance of LLMs for natural language understanding tasks, its effectiveness is typically assessed using a single model. In this work, we extend previous research by evaluating both curriculum-based and non-curriculum-based learning strategies across multiple LLMs, using human-defined and automated data labels for medical question answering. Our results indicate a moderate impact of using human-inspired learning strategies for fine-tuning LLMs, with maximum accuracy gains of 1.77% per model and 1.81% per dataset. Crucially, we demonstrate that the effectiveness of these strategies varies significantly across different model-dataset combinations, emphasising that the benefits of a specific human-inspired strategy for fine-tuning LLMs do not generalise. Additionally, we find evidence that curriculum learning using LLM-defined question difficulty outperforms human-defined difficulty, highlighting the potential of using model-generated measures for optimal curriculum design.