Artículos de Investigación en IA Diarios

En este artículo, presentamos los hallazgos de nuestro Proyecto ALPINE, que significa "Aprendizaje Autoregresivo para la Planificación en Redes" (Autoregressive Learning for Planning In NEtworks). El Proyecto ALPINE inicia una investigación teórica sobre el desarrollo de capacidades de planificación en modelos de lenguaje basados en Transformers a través de sus mecanismos de aprendizaje autoregresivo, con el objetivo de identificar posibles limitaciones en sus habilidades de planificación. Abstraemos la planificación como una tarea de búsqueda de rutas en redes, donde el objetivo es generar una ruta válida desde un nodo de origen especificado hasta un nodo de destino designado. En términos de expresividad, demostramos que el Transformer es capaz de ejecutar la búsqueda de rutas al incrustar las matrices de adyacencia y alcanzabilidad dentro de sus pesos. Nuestro análisis teórico de la dinámica de aprendizaje basada en gradientes del Transformer revela que este es capaz de aprender tanto la matriz de adyacencia como una forma limitada de la matriz de alcanzabilidad. Estas ideas teóricas se validan posteriormente mediante experimentos, que demuestran que el Transformer efectivamente aprende la matriz de adyacencia y una matriz de alcanzabilidad incompleta, lo que coincide con las predicciones de nuestro análisis teórico. Además, al aplicar nuestra metodología a un benchmark de planificación del mundo real, llamado Blocksworld, nuestras observaciones se mantienen consistentes. Nuestros análisis teóricos y empíricos también revelan una posible limitación del Transformer en la búsqueda de rutas: no puede identificar relaciones de alcanzabilidad a través de la transitividad y, por lo tanto, fallaría cuando se necesita concatenar rutas para generar una ruta. En resumen, nuestros hallazgos arrojan nueva luz sobre cómo los mecanismos internos del aprendizaje autoregresivo permiten la planificación en redes. Este estudio puede contribuir a nuestra comprensión de las capacidades generales de planificación en otros dominios relacionados.

Presentamos Xmodel-VLM, un modelo multimodal de visión y lenguaje de vanguardia. Está diseñado para un despliegue eficiente en servidores con GPU de consumo. Nuestro trabajo aborda directamente un problema crucial de la industria al enfrentar los costos prohibitivos del servicio que dificultan la adopción generalizada de sistemas multimodales a gran escala. Mediante un entrenamiento riguroso, hemos desarrollado un modelo de lenguaje de 1B de parámetros desde cero, empleando el paradigma LLaVA para la alineación modal. El resultado, al que llamamos Xmodel-VLM, es un modelo multimodal de visión y lenguaje ligero pero potente. Pruebas exhaustivas en numerosos benchmarks multimodales clásicos han revelado que, a pesar de su menor tamaño y ejecución más rápida, Xmodel-VLM ofrece un rendimiento comparable al de modelos más grandes. Nuestros puntos de control del modelo y el código están disponibles públicamente en GitHub en https://github.com/XiaoduoAILab/XmodelVLM.

En este artículo, exploramos el potencial de utilizar modelos de difusión latente, una familia de modelos generativos potentes, para la tarea de reconstruir música naturalista a partir de grabaciones de electroencefalograma (EEG). A diferencia de música más simple con timbres limitados, como melodías generadas por MIDI o piezas monofónicas, el enfoque aquí está en música intrincada que presenta una diversa gama de instrumentos, voces y efectos, rica en armónicos y timbre. Este estudio representa una incursión inicial en la reconstrucción general de música de alta calidad utilizando datos de EEG no invasivos, empleando un enfoque de entrenamiento de extremo a extremo directamente sobre datos crudos sin la necesidad de preprocesamiento manual ni selección de canales. Entrenamos nuestros modelos en el conjunto de datos público NMED-T y realizamos una evaluación cuantitativa proponiendo métricas basadas en incrustaciones neuronales. Además, llevamos a cabo una clasificación de canciones basada en las pistas generadas. Nuestro trabajo contribuye a la investigación en curso sobre decodificación neural e interfaces cerebro-computadora, ofreciendo perspectivas sobre la viabilidad de utilizar datos de EEG para la reconstrucción de información auditiva compleja.

La evaluación sistemática y la comprensión de los modelos de visión por computadora bajo condiciones variables requieren grandes cantidades de datos con etiquetas completas y personalizadas, algo que rara vez satisfacen los conjuntos de datos de visión del mundo real. Si bien los generadores de datos sintéticos actuales ofrecen una alternativa prometedora, particularmente para tareas de IA encarnada, a menudo no cumplen con las expectativas para tareas de visión por computadora debido a la baja calidad de los activos y el renderizado, la diversidad limitada y las propiedades físicas poco realistas. Presentamos el BEHAVIOR Vision Suite (BVS), un conjunto de herramientas y activos para generar datos sintéticos completamente personalizados para la evaluación sistemática de modelos de visión por computadora, basado en el nuevo punto de referencia de IA encarnada, BEHAVIOR-1K. BVS admite un gran número de parámetros ajustables a nivel de escena (por ejemplo, iluminación, colocación de objetos), a nivel de objeto (por ejemplo, configuración de articulaciones, atributos como "lleno" y "doblado") y a nivel de cámara (por ejemplo, campo de visión, distancia focal). Los investigadores pueden variar arbitrariamente estos parámetros durante la generación de datos para realizar experimentos controlados. Mostramos tres escenarios de aplicación de ejemplo: evaluar sistemáticamente la robustez de los modelos en diferentes ejes continuos de cambio de dominio, evaluar modelos de comprensión de escenas en el mismo conjunto de imágenes, y entrenar y evaluar la transferencia de simulación a realidad para una nueva tarea de visión: la predicción de estados unarios y binarios. Sitio web del proyecto: https://behavior-vision-suite.github.io/