TinyEmo: Reducción de escala del Razonamiento Emocional mediante Proyección Métrica

TinyEmo: Scaling down Emotional Reasoning via Metric Projection

October 9, 2024

Autores: Cristian Gutierrez

cs.AI

Resumen

Este documento presenta TinyEmo, una familia de modelos de lenguaje multimodales pequeños para razonamiento y clasificación emocional. Nuestro enfoque incluye: (1) un conjunto de datos sintéticos de instrucciones emocionales para las etapas de pre-entrenamiento y ajuste fino, (2) un Proyector Métrico que delega la clasificación desde el modelo de lenguaje permitiendo un entrenamiento e inferencia más eficientes, (3) un modelo de lenguaje multimodal grande (MM-LLM) para razonamiento emocional, y (4) un marco semi-automatizado para la detección de sesgos. TinyEmo es capaz de realizar clasificación emocional y razonamiento emocional, todo mientras utiliza sustancialmente menos parámetros que modelos comparables. Esta eficiencia nos permite incorporar libremente conjuntos de datos emocionales más diversos, lo que posibilita un rendimiento sólido en tareas de clasificación, con nuestro modelo más pequeño (700M parámetros) superando a modelos más grandes de vanguardia basados en MM-LLMs de propósito general con más de 7B parámetros. Además, el Proyector Métrico permite la interpretabilidad y la detección indirecta de sesgos en modelos grandes sin entrenamiento adicional, ofreciendo un enfoque para comprender y mejorar los sistemas de IA. Publicamos el código, los modelos y el conjunto de datos en https://github.com/ggcr/TinyEmo

English

This paper introduces TinyEmo, a family of small multi-modal language models for emotional reasoning and classification. Our approach features: (1) a synthetic emotional instruct dataset for both pre-training and fine-tuning stages, (2) a Metric Projector that delegates classification from the language model allowing for more efficient training and inference, (3) a multi-modal large language model (MM-LLM) for emotional reasoning, and (4) a semi-automated framework for bias detection. TinyEmo is able to perform emotion classification and emotional reasoning, all while using substantially fewer parameters than comparable models. This efficiency allows us to freely incorporate more diverse emotional datasets, enabling strong performance on classification tasks, with our smallest model (700M parameters) outperforming larger state-of-the-art models based on general-purpose MM-LLMs with over 7B parameters. Additionally, the Metric Projector allows for interpretability and indirect bias detection in large models without additional training, offering an approach to understand and improve AI systems. We release code, models, and dataset at https://github.com/ggcr/TinyEmo