TinyEmo: Ridimensionare il Ragionamento Emotivo tramite Proiezione Metrica
TinyEmo: Scaling down Emotional Reasoning via Metric Projection
October 9, 2024
Autori: Cristian Gutierrez
cs.AI
Abstract
Questo articolo presenta TinyEmo, una famiglia di piccoli modelli linguistici multimodali per il ragionamento e la classificazione emotiva. Il nostro approccio include: (1) un dataset sintetico di istruzioni emotive per le fasi di pre-addestramento e raffinamento, (2) un Proiettore Metrico che delega la classificazione dal modello linguistico consentendo un addestramento e un'infrazione più efficienti, (3) un grande modello linguistico multimodale (MM-LLM) per il ragionamento emotivo e (4) un framework semi-automatizzato per la rilevazione di bias. TinyEmo è in grado di eseguire la classificazione delle emozioni e il ragionamento emotivo, il tutto utilizzando un numero di parametri notevolmente inferiore rispetto ai modelli comparabili. Questa efficienza ci consente di incorporare liberamente dataset emotivi più diversificati, consentendo prestazioni elevate nei compiti di classificazione, con il nostro modello più piccolo (700M parametri) che supera modelli più grandi all'avanguardia basati su MM-LLM a uso generale con oltre 7B parametri. Inoltre, il Proiettore Metrico consente interpretabilità e rilevazione indiretta di bias nei modelli grandi senza addestramento aggiuntivo, offrendo un approccio per comprendere e migliorare i sistemi di intelligenza artificiale.
Rilasciamo codice, modelli e dataset su https://github.com/ggcr/TinyEmo
English
This paper introduces TinyEmo, a family of small multi-modal language models
for emotional reasoning and classification. Our approach features: (1) a
synthetic emotional instruct dataset for both pre-training and fine-tuning
stages, (2) a Metric Projector that delegates classification from the language
model allowing for more efficient training and inference, (3) a multi-modal
large language model (MM-LLM) for emotional reasoning, and (4) a semi-automated
framework for bias detection. TinyEmo is able to perform emotion classification
and emotional reasoning, all while using substantially fewer parameters than
comparable models. This efficiency allows us to freely incorporate more diverse
emotional datasets, enabling strong performance on classification tasks, with
our smallest model (700M parameters) outperforming larger state-of-the-art
models based on general-purpose MM-LLMs with over 7B parameters. Additionally,
the Metric Projector allows for interpretability and indirect bias detection in
large models without additional training, offering an approach to understand
and improve AI systems.
We release code, models, and dataset at https://github.com/ggcr/TinyEmo