Stark: Conversación social a largo plazo multi-modal con conocimiento de sentido común de personaje.

Stark: Social Long-Term Multi-Modal Conversation with Persona Commonsense Knowledge

July 4, 2024

Autores: Young-Jun Lee, Dokyong Lee, Junyoung Youn, Kyeongjin Oh, Byungsoo Ko, Jonghwan Hyeon, Ho-Jin Choi

cs.AI

Resumen

Los humanos comparten una amplia variedad de imágenes relacionadas con sus experiencias personales dentro de conversaciones a través de herramientas de mensajería instantánea. Sin embargo, los trabajos existentes se centran en (1) el comportamiento de compartir imágenes en sesiones individuales, lo que conduce a una interacción social limitada a largo plazo, y (2) una falta de comportamiento personalizado de compartir imágenes. En este trabajo, presentamos Stark, un conjunto de datos de conversación multi-modal a gran escala a largo plazo que abarca una amplia gama de personalidades sociales en un formato multi-modal, intervalos de tiempo e imágenes. Para construir Stark automáticamente, proponemos un novedoso marco de contextualización multi-modal, Mcu, que genera un diálogo multi-modal a largo plazo destilado de ChatGPT y nuestro alineador de imágenes Propósito-y-Ejecución propuesto. Utilizando nuestro conjunto de datos Stark, entrenamos un modelo de conversación multi-modal, Ultron 7B, que demuestra una impresionante capacidad de imaginación visual. Además, demostramos la efectividad de nuestro conjunto de datos en evaluación humana. Ponemos nuestro código fuente y conjunto de datos a disposición del público.

English

Humans share a wide variety of images related to their personal experiences within conversations via instant messaging tools. However, existing works focus on (1) image-sharing behavior in singular sessions, leading to limited long-term social interaction, and (2) a lack of personalized image-sharing behavior. In this work, we introduce Stark, a large-scale long-term multi-modal conversation dataset that covers a wide range of social personas in a multi-modality format, time intervals, and images. To construct Stark automatically, we propose a novel multi-modal contextualization framework, Mcu, that generates long-term multi-modal dialogue distilled from ChatGPT and our proposed Plan-and-Execute image aligner. Using our Stark, we train a multi-modal conversation model, Ultron 7B, which demonstrates impressive visual imagination ability. Furthermore, we demonstrate the effectiveness of our dataset in human evaluation. We make our source code and dataset publicly available.