AutoTrain: Addestramento senza codice per modelli all'avanguardia

AutoTrain: No-code training for state-of-the-art models

October 21, 2024

Autori: Abhishek Thakur

cs.AI

Abstract

Con i progressi nei modelli open-source, l'allenamento (o fine-tuning) dei modelli su set di dati personalizzati è diventato una parte cruciale nello sviluppo di soluzioni adattate a specifiche applicazioni industriali o open-source. Tuttavia, non esiste uno strumento unico che semplifichi il processo di allenamento attraverso diversi tipi di modalità o compiti. Presentiamo AutoTrain (alias AutoTrain Advanced) - uno strumento/libreria open-source, senza codice, che può essere utilizzato per addestrare (o fare fine-tuning) modelli per diversi tipi di compiti come: fine-tuning di grandi modelli linguistici (LLM), classificazione/testo regressione, classificazione di token, compiti di sequenza in sequenza, fine-tuning di trasformatori di frasi, fine-tuning di modelli linguistici visivi (VLM), classificazione/testo di immagini regressione e persino compiti di classificazione e regressione su dati tabulari. AutoTrain Advanced è una libreria open-source che fornisce le migliori pratiche per l'allenamento dei modelli su set di dati personalizzati. La libreria è disponibile su https://github.com/huggingface/autotrain-advanced. AutoTrain può essere utilizzato in modalità completamente locale o su macchine cloud e funziona con decine di migliaia di modelli condivisi su Hugging Face Hub e le loro varianti.

English

With the advancements in open-source models, training (or finetuning) models on custom datasets has become a crucial part of developing solutions which are tailored to specific industrial or open-source applications. Yet, there is no single tool which simplifies the process of training across different types of modalities or tasks. We introduce AutoTrain (aka AutoTrain Advanced) -- an open-source, no code tool/library which can be used to train (or finetune) models for different kinds of tasks such as: large language model (LLM) finetuning, text classification/regression, token classification, sequence-to-sequence task, finetuning of sentence transformers, visual language model (VLM) finetuning, image classification/regression and even classification and regression tasks on tabular data. AutoTrain Advanced is an open-source library providing best practices for training models on custom datasets. The library is available at https://github.com/huggingface/autotrain-advanced. AutoTrain can be used in fully local mode or on cloud machines and works with tens of thousands of models shared on Hugging Face Hub and their variations.