TinyEmo: Reduzindo a Escala do Raciocínio Emocional por Projeção Métrica

TinyEmo: Scaling down Emotional Reasoning via Metric Projection

October 9, 2024

Autores: Cristian Gutierrez

cs.AI

Resumo

Este artigo apresenta o TinyEmo, uma família de pequenos modelos de linguagem multimodais para raciocínio e classificação emocional. Nossa abordagem inclui: (1) um conjunto de dados sintético de instruções emocionais para os estágios de pré-treinamento e ajuste fino, (2) um Projetor Métrico que delega a classificação do modelo de linguagem permitindo um treinamento e inferência mais eficientes, (3) um grande modelo de linguagem multimodal (MM-LLM) para raciocínio emocional, e (4) um framework semi-automatizado para detecção de viés. O TinyEmo é capaz de realizar classificação de emoções e raciocínio emocional, tudo isso utilizando substancialmente menos parâmetros do que modelos comparáveis. Essa eficiência nos permite incorporar livremente conjuntos de dados emocionais mais diversos, possibilitando um desempenho sólido em tarefas de classificação, com nosso menor modelo (700M parâmetros) superando modelos maiores de ponta baseados em MM-LLMs de propósito geral com mais de 7B parâmetros. Além disso, o Projetor Métrico permite interpretabilidade e detecção indireta de viés em grandes modelos sem treinamento adicional, oferecendo uma abordagem para entender e melhorar sistemas de IA. Disponibilizamos o código, modelos e conjunto de dados em https://github.com/ggcr/TinyEmo

English

This paper introduces TinyEmo, a family of small multi-modal language models for emotional reasoning and classification. Our approach features: (1) a synthetic emotional instruct dataset for both pre-training and fine-tuning stages, (2) a Metric Projector that delegates classification from the language model allowing for more efficient training and inference, (3) a multi-modal large language model (MM-LLM) for emotional reasoning, and (4) a semi-automated framework for bias detection. TinyEmo is able to perform emotion classification and emotional reasoning, all while using substantially fewer parameters than comparable models. This efficiency allows us to freely incorporate more diverse emotional datasets, enabling strong performance on classification tasks, with our smallest model (700M parameters) outperforming larger state-of-the-art models based on general-purpose MM-LLMs with over 7B parameters. Additionally, the Metric Projector allows for interpretability and indirect bias detection in large models without additional training, offering an approach to understand and improve AI systems. We release code, models, and dataset at https://github.com/ggcr/TinyEmo