AutoTrain: Treinamento sem código para modelos de última geração

AutoTrain: No-code training for state-of-the-art models

October 21, 2024

Autores: Abhishek Thakur

cs.AI

Resumo

Com os avanços nos modelos de código aberto, treinar (ou ajustar) modelos em conjuntos de dados personalizados tornou-se uma parte crucial do desenvolvimento de soluções adaptadas a aplicações industriais específicas ou de código aberto. No entanto, não há uma única ferramenta que simplifique o processo de treinamento em diferentes tipos de modalidades ou tarefas. Apresentamos o AutoTrain (também conhecido como AutoTrain Advanced) - uma ferramenta/biblioteca de código aberto que pode ser usada para treinar (ou ajustar) modelos para diferentes tipos de tarefas, como: ajuste fino de modelos de linguagem grandes (LLM), classificação/regressão de texto, classificação de tokens, tarefa sequência-a-sequência, ajuste fino de transformadores de sentenças, ajuste fino de modelos de linguagem visual (VLM), classificação/regressão de imagens e até tarefas de classificação e regressão em dados tabulares. O AutoTrain Advanced é uma biblioteca de código aberto que fornece as melhores práticas para treinar modelos em conjuntos de dados personalizados. A biblioteca está disponível em https://github.com/huggingface/autotrain-advanced. O AutoTrain pode ser usado no modo totalmente local ou em máquinas na nuvem e funciona com dezenas de milhares de modelos compartilhados no Hugging Face Hub e suas variações.

English

With the advancements in open-source models, training (or finetuning) models on custom datasets has become a crucial part of developing solutions which are tailored to specific industrial or open-source applications. Yet, there is no single tool which simplifies the process of training across different types of modalities or tasks. We introduce AutoTrain (aka AutoTrain Advanced) -- an open-source, no code tool/library which can be used to train (or finetune) models for different kinds of tasks such as: large language model (LLM) finetuning, text classification/regression, token classification, sequence-to-sequence task, finetuning of sentence transformers, visual language model (VLM) finetuning, image classification/regression and even classification and regression tasks on tabular data. AutoTrain Advanced is an open-source library providing best practices for training models on custom datasets. The library is available at https://github.com/huggingface/autotrain-advanced. AutoTrain can be used in fully local mode or on cloud machines and works with tens of thousands of models shared on Hugging Face Hub and their variations.