Artículos de Investigación en IA Diarios

En este informe, presentamos el último modelo de la familia Gemini, Gemini 1.5 Pro, un modelo multimodal de mezcla de expertos altamente eficiente en cómputo, capaz de recordar y razonar sobre información detallada a partir de millones de tokens de contexto, incluyendo múltiples documentos extensos y horas de video y audio. Gemini 1.5 Pro logra un recuerdo casi perfecto en tareas de recuperación de contexto largo a través de modalidades, mejora el estado del arte en preguntas y respuestas sobre documentos extensos, preguntas y respuestas sobre videos largos y reconocimiento automático de voz en contextos largos, y coincide o supera el rendimiento de vanguardia de Gemini 1.0 Ultra en un amplio conjunto de benchmarks. Al estudiar los límites de la capacidad de contexto largo de Gemini 1.5 Pro, encontramos una mejora continua en la predicción del siguiente token y una recuperación casi perfecta (>99%) hasta al menos 10 millones de tokens, un salto generacional sobre modelos existentes como Claude 2.1 (200k) y GPT-4 Turbo (128k). Finalmente, destacamos nuevas capacidades sorprendentes de los modelos de lenguaje grandes en la frontera; cuando se le proporciona un manual de gramática para el kalamang, un idioma con menos de 200 hablantes en todo el mundo, el modelo aprende a traducir del inglés al kalamang a un nivel similar al de una persona que aprendió a partir del mismo contenido.

Presentamos DeepSeek-VL, un modelo de Visión-Lenguaje (VL) de código abierto diseñado para aplicaciones de comprensión visual y lingüística en el mundo real. Nuestro enfoque se estructura en torno a tres dimensiones clave: Nos esforzamos por garantizar que nuestros datos sean diversos, escalables y cubran extensamente escenarios del mundo real, incluyendo capturas de pantalla web, PDFs, OCR, gráficos y contenido basado en conocimiento, con el objetivo de lograr una representación integral de contextos prácticos. Además, creamos una taxonomía de casos de uso a partir de escenarios reales de usuarios y construimos un conjunto de datos de ajuste de instrucciones en consecuencia. El ajuste fino con este conjunto de datos mejora sustancialmente la experiencia del usuario en aplicaciones prácticas. Teniendo en cuenta la eficiencia y las demandas de la mayoría de los escenarios del mundo real, DeepSeek-VL incorpora un codificador visual híbrido que procesa eficientemente imágenes de alta resolución (1024 x 1024), manteniendo un costo computacional relativamente bajo. Esta elección de diseño asegura la capacidad del modelo para capturar información semántica crítica y detalles en diversas tareas visuales. Postulamos que un modelo de Visión-Lenguaje competente debe, ante todo, poseer fuertes habilidades lingüísticas. Para garantizar la preservación de las capacidades del LLM durante el preentrenamiento, investigamos una estrategia efectiva de preentrenamiento VL integrando el entrenamiento del LLM desde el principio y gestionando cuidadosamente la dinámica competitiva observada entre las modalidades de visión y lenguaje. La familia DeepSeek-VL (tanto los modelos de 1.3B como de 7B) demuestra experiencias de usuario superiores como un chatbot de visión-lenguaje en aplicaciones del mundo real, logrando un rendimiento de vanguardia o competitivo en una amplia gama de benchmarks visual-lingüísticos con el mismo tamaño de modelo, mientras mantiene un rendimiento robusto en benchmarks centrados en el lenguaje. Hemos hecho accesibles públicamente tanto los modelos de 1.3B como de 7B para fomentar innovaciones basadas en este modelo fundacional.

Los modelos de difusión han demostrado un rendimiento notable en el dominio de la generación de texto a imagen. Sin embargo, la mayoría de los modelos ampliamente utilizados aún emplean CLIP como su codificador de texto, lo que limita su capacidad para comprender instrucciones densas, que abarcan múltiples objetos, atributos detallados, relaciones complejas, alineación de texto largo, etc. En este artículo, presentamos un Adaptador Eficiente de Modelos de Lenguaje Grande, denominado ELLA, que equipa a los modelos de difusión de texto a imagen con potentes Modelos de Lenguaje Grande (LLM) para mejorar la alineación del texto sin necesidad de entrenar ni la U-Net ni el LLM. Para conectar de manera fluida dos modelos preentrenados, investigamos una variedad de diseños de conectores de alineación semántica y proponemos un nuevo módulo, el Conector Semántico Consciente del Paso de Tiempo (TSC), que extrae dinámicamente condiciones dependientes del paso de tiempo del LLM. Nuestro enfoque adapta las características semánticas en diferentes etapas del proceso de eliminación de ruido, ayudando a los modelos de difusión a interpretar instrucciones largas y complejas a lo largo de los pasos de muestreo. Además, ELLA puede integrarse fácilmente con modelos y herramientas de la comunidad para mejorar sus capacidades de seguimiento de instrucciones. Para evaluar los modelos de texto a imagen en el seguimiento de instrucciones densas, presentamos el Benchmark de Gráficos de Instrucciones Densas (DPG-Bench), un punto de referencia desafiante que consta de 1K instrucciones densas. Experimentos extensos demuestran la superioridad de ELLA en el seguimiento de instrucciones densas en comparación con los métodos más avanzados, particularmente en composiciones de múltiples objetos que involucran diversos atributos y relaciones.

En el panorama digital del audio en constante evolución, Spotify, conocido por su contenido musical y de charlas, ha introducido recientemente audiolibros a su amplia base de usuarios. Aunque prometedor, este movimiento presenta desafíos significativos para las recomendaciones personalizadas. A diferencia de la música y los podcasts, los audiolibros, inicialmente disponibles por un costo, no pueden ser fácilmente hojeados antes de la compra, lo que aumenta la importancia de la relevancia de las recomendaciones. Además, la introducción de un nuevo tipo de contenido en una plataforma existente enfrenta una extrema escasez de datos, ya que la mayoría de los usuarios no están familiarizados con este nuevo tipo de contenido. Por último, recomendar contenido a millones de usuarios requiere que el modelo reaccione rápidamente y sea escalable. Para abordar estos desafíos, aprovechamos las preferencias de los usuarios de podcasts y música e introducimos 2T-HGNN, un sistema de recomendación escalable que comprende Redes Neuronales de Grafos Heterogéneos (HGNNs) y un modelo de Dos Torres (2T). Este enfoque novedoso descubre relaciones matizadas entre los ítems mientras asegura baja latencia y complejidad. Desacoplamos a los usuarios del grafo HGNN y proponemos un innovador muestreador de vecinos multi-enlace. Estas elecciones, junto con el componente 2T, reducen significativamente la complejidad del modelo HGNN. Las evaluaciones empíricas que involucran a millones de usuarios muestran una mejora significativa en la calidad de las recomendaciones personalizadas, resultando en un aumento del +46% en la tasa de inicio de nuevos audiolibros y un incremento del +23% en las tasas de streaming. Curiosamente, el impacto de nuestro modelo se extiende más allá de los audiolibros, beneficiando a productos establecidos como los podcasts.

Los avances recientes en los sistemas generativos de texto a imagen han estado impulsados en gran medida por los modelos de difusión. Sin embargo, los modelos de difusión de texto a imagen de una sola etapa aún enfrentan desafíos en términos de eficiencia computacional y refinamiento de detalles de la imagen. Para abordar este problema, proponemos CogView3, un marco innovador en cascada que mejora el rendimiento de la difusión de texto a imagen. CogView3 es el primer modelo que implementa la difusión en relevos en el ámbito de la generación de texto a imagen, ejecutando la tarea creando primero imágenes de baja resolución y aplicando posteriormente una super-resolución basada en relevos. Esta metodología no solo produce resultados competitivos en la generación de texto a imagen, sino que también reduce significativamente los costos tanto de entrenamiento como de inferencia. Nuestros resultados experimentales demuestran que CogView3 supera a SDXL, el modelo de difusión de texto a imagen de código abierto más avanzado actualmente, en un 77.0\% en evaluaciones humanas, todo ello requiriendo solo aproximadamente la mitad del tiempo de inferencia. La variante destilada de CogView3 logra un rendimiento comparable utilizando solo 1/10 del tiempo de inferencia de SDXL.

Los modelos generativos feed-forward 3D, como el Large Reconstruction Model (LRM), han demostrado una velocidad de generación excepcional. Sin embargo, los métodos basados en transformers no aprovechan los priors geométricos del componente triplano en su arquitectura, lo que a menudo resulta en una calidad subóptima debido al tamaño limitado de los datos 3D y al entrenamiento lento. En este trabajo, presentamos el Convolutional Reconstruction Model (CRM), un modelo generativo feed-forward de imagen única a 3D de alta fidelidad. Reconociendo las limitaciones impuestas por los datos 3D escasos, destacamos la necesidad de integrar priors geométricos en el diseño de la red. CRM se basa en la observación clave de que la visualización del triplano exhibe una correspondencia espacial de seis imágenes ortográficas. Primero, genera seis imágenes de vista ortográfica a partir de una única imagen de entrada, luego alimenta estas imágenes en una U-Net convolucional, aprovechando sus fuertes capacidades de alineación a nivel de píxel y su ancho de banda significativo para crear un triplano de alta resolución. CRM además emplea Flexicubes como representación geométrica, facilitando la optimización directa de extremo a extremo en mallas texturizadas. En general, nuestro modelo entrega una malla texturizada de alta fidelidad a partir de una imagen en solo 10 segundos, sin ninguna optimización en tiempo de prueba.

Los modelos de difusión de texto a imagen (T2I) han demostrado capacidades sin precedentes en la creación de imágenes realistas y estéticas. Por el contrario, los modelos de difusión de texto a video (T2V) aún están muy rezagados en cuanto a la calidad de los fotogramas y la alineación con el texto, debido a la insuficiente calidad y cantidad de videos de entrenamiento. En este artículo, presentamos VideoElevator, un método sin necesidad de entrenamiento y de tipo plug-and-play, que mejora el rendimiento de T2V utilizando las capacidades superiores de T2I. A diferencia del muestreo convencional de T2V (es decir, modelado temporal y espacial), VideoElevator descompone explícitamente cada paso de muestreo en refinamiento de movimiento temporal y elevación de calidad espacial. Específicamente, el refinamiento de movimiento temporal utiliza T2V encapsulado para mejorar la consistencia temporal, seguido de la inversión a la distribución de ruido requerida por T2I. Luego, la elevación de calidad espacial aprovecha T2I inflado para predecir directamente un latente menos ruidoso, añadiendo detalles más fotorrealistas. Hemos realizado experimentos con una amplia variedad de prompts bajo la combinación de varios T2V y T2I. Los resultados muestran que VideoElevator no solo mejora el rendimiento de las líneas base de T2V con T2I fundamental, sino que también facilita la síntesis de videos estilizados con T2I personalizado. Nuestro código está disponible en https://github.com/YBYBZhang/VideoElevator.