Ottimizzare un Modello Linguistico di Piccole Dimensioni o Utilizzare Prompt su un Modello Linguistico di Grandi Dimensioni? Il Caso della Generazione di Flussi di Lavoro Low-Code
Fine-Tune an SLM or Prompt an LLM? The Case of Generating Low-Code Workflows
May 30, 2025
Autori: Orlando Marquez Ayala, Patrice Bechard, Emily Chen, Maggie Baird, Jingfei Chen
cs.AI
Abstract
I modelli linguistici di grandi dimensioni (LLM) come GPT-4o sono in grado di gestire un'ampia gamma di compiti complessi con il prompt appropriato. Man mano che i costi per token si riducono, i vantaggi del fine-tuning di modelli linguistici di piccole dimensioni (SLM) per applicazioni nel mondo reale – inferenza più veloce, costi inferiori – potrebbero non essere più evidenti. In questo lavoro, presentiamo prove che, per compiti specifici di dominio che richiedono output strutturati, gli SLM mantengono ancora un vantaggio qualitativo. Confrontiamo il fine-tuning di un SLM con l'uso di prompt su LLM per il compito di generare flussi di lavoro low-code in formato JSON. Osserviamo che, sebbene un buon prompt possa produrre risultati ragionevoli, il fine-tuning migliora la qualità in media del 10%. Eseguiamo inoltre un'analisi sistematica degli errori per evidenziare le limitazioni dei modelli.
English
Large Language Models (LLMs) such as GPT-4o can handle a wide range of
complex tasks with the right prompt. As per token costs are reduced, the
advantages of fine-tuning Small Language Models (SLMs) for real-world
applications -- faster inference, lower costs -- may no longer be clear. In
this work, we present evidence that, for domain-specific tasks that require
structured outputs, SLMs still have a quality advantage. We compare fine-tuning
an SLM against prompting LLMs on the task of generating low-code workflows in
JSON form. We observe that while a good prompt can yield reasonable results,
fine-tuning improves quality by 10% on average. We also perform systematic
error analysis to reveal model limitations.