TinyEmo: Skalierung der emotionalen Argumentation durch metrische Projektion

TinyEmo: Scaling down Emotional Reasoning via Metric Projection

October 9, 2024

Autoren: Cristian Gutierrez

cs.AI

Zusammenfassung

Dieses Papier stellt TinyEmo vor, eine Familie von kleinen multimodalen Sprachmodellen für emotionales Denken und Klassifizierung. Unser Ansatz umfasst: (1) einen synthetischen emotionalen Instruktionsdatensatz für sowohl das Vor- als auch das Feinabstimmungsstadium, (2) einen Metrikprojektor, der die Klassifizierung vom Sprachmodell delegiert und somit ein effizienteres Training und Inferenz ermöglicht, (3) ein multimodales großes Sprachmodell (MM-LLM) für emotionales Denken und (4) ein halbautomatisiertes Framework zur Bias-Erkennung. TinyEmo ist in der Lage, Emotionsklassifizierung und emotionales Denken durchzuführen, und das alles unter Verwendung wesentlich weniger Parameter als vergleichbare Modelle. Diese Effizienz ermöglicht es uns, vielfältigere emotionale Datensätze frei zu integrieren, was zu einer starken Leistung bei Klassifizierungsaufgaben führt, wobei unser kleinstes Modell (700M Parameter) größere, auf allgemeinen multimodalen Sprachmodellen basierende Modelle mit über 7B Parametern übertrifft. Darüber hinaus ermöglicht der Metrikprojektor Interpretierbarkeit und indirekte Bias-Erkennung in großen Modellen ohne zusätzliches Training und bietet somit einen Ansatz, um KI-Systeme zu verstehen und zu verbessern. Wir veröffentlichen den Code, die Modelle und den Datensatz unter https://github.com/ggcr/TinyEmo

English

This paper introduces TinyEmo, a family of small multi-modal language models for emotional reasoning and classification. Our approach features: (1) a synthetic emotional instruct dataset for both pre-training and fine-tuning stages, (2) a Metric Projector that delegates classification from the language model allowing for more efficient training and inference, (3) a multi-modal large language model (MM-LLM) for emotional reasoning, and (4) a semi-automated framework for bias detection. TinyEmo is able to perform emotion classification and emotional reasoning, all while using substantially fewer parameters than comparable models. This efficiency allows us to freely incorporate more diverse emotional datasets, enabling strong performance on classification tasks, with our smallest model (700M parameters) outperforming larger state-of-the-art models based on general-purpose MM-LLMs with over 7B parameters. Additionally, the Metric Projector allows for interpretability and indirect bias detection in large models without additional training, offering an approach to understand and improve AI systems. We release code, models, and dataset at https://github.com/ggcr/TinyEmo