Une Symphonie Multimodale : Intégration du Goût et du Son grâce à l'IA Générative

A Multimodal Symphony: Integrating Taste and Sound through Generative AI

March 4, 2025

Auteurs: Matteo Spanio, Massimiliano Zampini, Antonio Rodà, Franco Pierucci

cs.AI

Résumé

Au cours des dernières décennies, les recherches en neurosciences et en psychologie ont mis en évidence des relations directes entre le goût et les perceptions auditives. Cet article explore des modèles génératifs multimodaux capables de convertir des informations gustatives en musique, en s'appuyant sur ces recherches fondamentales. Nous proposons une brève revue de l'état de l'art dans ce domaine, en mettant en lumière les découvertes et méthodologies clés. Nous présentons une expérience dans laquelle une version affinée d'un modèle génératif de musique (MusicGEN) est utilisée pour générer de la musique à partir de descriptions gustatives détaillées fournies pour chaque morceau. Les résultats sont prometteurs : selon l'évaluation des participants (n=111), le modèle affiné produit une musique qui reflète de manière plus cohérente les descriptions gustatives en entrée par rapport au modèle non affiné. Cette étude représente une avancée significative dans la compréhension et le développement d'interactions incarnées entre l'IA, le son et le goût, ouvrant de nouvelles possibilités dans le domaine de l'IA générative. Nous mettons à disposition notre ensemble de données, notre code et notre modèle pré-entraîné à l'adresse suivante : https://osf.io/xs5jy/.

English

In recent decades, neuroscientific and psychological research has traced direct relationships between taste and auditory perceptions. This article explores multimodal generative models capable of converting taste information into music, building on this foundational research. We provide a brief review of the state of the art in this field, highlighting key findings and methodologies. We present an experiment in which a fine-tuned version of a generative music model (MusicGEN) is used to generate music based on detailed taste descriptions provided for each musical piece. The results are promising: according the participants' (n=111) evaluation, the fine-tuned model produces music that more coherently reflects the input taste descriptions compared to the non-fine-tuned model. This study represents a significant step towards understanding and developing embodied interactions between AI, sound, and taste, opening new possibilities in the field of generative AI. We release our dataset, code and pre-trained model at: https://osf.io/xs5jy/.