TinyEmo: Het schalen van emotionele redenering via metrische projectie

TinyEmo: Scaling down Emotional Reasoning via Metric Projection

October 9, 2024

Auteurs: Cristian Gutierrez

cs.AI

Samenvatting

Deze paper introduceert TinyEmo, een familie van kleine multimodale taalmodellen voor emotionele redenering en classificatie. Onze aanpak kenmerkt zich door: (1) een synthetische emotionele instructiedataset voor zowel pre-training als fine-tuning fasen, (2) een Metrische Projector die classificatie van het taalmodel delegeert, wat zorgt voor efficiëntere training en inferentie, (3) een multimodaal groot taalmodel (MM-LLM) voor emotionele redenering, en (4) een semi-geautomatiseerd framework voor biasdetectie. TinyEmo is in staat om emotieclassificatie en emotionele redenering uit te voeren, terwijl het aanzienlijk minder parameters gebruikt dan vergelijkbare modellen. Deze efficiëntie stelt ons in staat om vrijelijk meer diverse emotionele datasets op te nemen, waardoor sterke prestaties worden geleverd bij classificatietaken, waarbij ons kleinste model (700M parameters) beter presteert dan grotere state-of-the-art modellen gebaseerd op algemene multimodale taalmodellen met meer dan 7B parameters. Bovendien maakt de Metrische Projector interpretatie en indirecte biasdetectie mogelijk in grote modellen zonder extra training, wat een benadering biedt om AI-systemen te begrijpen en te verbeteren. We stellen code, modellen en dataset beschikbaar op https://github.com/ggcr/TinyEmo

English

This paper introduces TinyEmo, a family of small multi-modal language models for emotional reasoning and classification. Our approach features: (1) a synthetic emotional instruct dataset for both pre-training and fine-tuning stages, (2) a Metric Projector that delegates classification from the language model allowing for more efficient training and inference, (3) a multi-modal large language model (MM-LLM) for emotional reasoning, and (4) a semi-automated framework for bias detection. TinyEmo is able to perform emotion classification and emotional reasoning, all while using substantially fewer parameters than comparable models. This efficiency allows us to freely incorporate more diverse emotional datasets, enabling strong performance on classification tasks, with our smallest model (700M parameters) outperforming larger state-of-the-art models based on general-purpose MM-LLMs with over 7B parameters. Additionally, the Metric Projector allows for interpretability and indirect bias detection in large models without additional training, offering an approach to understand and improve AI systems. We release code, models, and dataset at https://github.com/ggcr/TinyEmo