Artículos de Investigación en IA Diarios

La Visión por Computadora (CV) aún no ha logrado completamente la generalización de tareas de cero disparo observada en el Procesamiento de Lenguaje Natural (NLP), a pesar de seguir muchos de los hitos establecidos en NLP, como grandes modelos transformadores, extenso pre-entrenamiento y el paradigma de auto-regresión, entre otros. En este artículo, exploramos la idea de que CV adopta definiciones de tareas discretas y terminológicas (por ejemplo, "segmentación de imágenes"), lo cual puede ser una barrera clave para la generalización de tareas de cero disparo. Nuestra hipótesis es que sin comprender verdaderamente las tareas previamente vistas, debido a estas definiciones terminológicas, los modelos profundos tienen dificultades para generalizar a tareas nuevas. Para verificar esto, introducimos Instrucciones Explicativas, que proporcionan una forma intuitiva de definir los objetivos de las tareas de CV a través de transformaciones lingüísticas detalladas desde las imágenes de entrada hasta las salidas. Creamos un conjunto de datos a gran escala que comprende 12 millones de tripletes "imagen de entrada a instrucción explicativa a salida" y entrenamos un modelo de visión-lenguaje basado en auto-regresión (AR-based VLM) que toma tanto imágenes como instrucciones explicativas como entrada. Al aprender a seguir estas instrucciones, el AR-based VLM logra capacidades de cero disparo a nivel de instrucción para tareas previamente vistas y demuestra una fuerte generalización de cero disparo para tareas de CV no vistas. El código y el conjunto de datos estarán disponibles abiertamente en nuestro repositorio de GitHub.

Los modelos de lenguaje multimodales grandes (MLLMs) tienen un gran potencial en el campo médico, pero a menudo sus capacidades se ven limitadas por la insuficiencia de datos en ciertos dominios médicos, lo que destaca la necesidad de comprender qué tipos de imágenes pueden ser utilizadas por los MLLMs para la generalización. La investigación actual sugiere que el entrenamiento multitarea supera al de tarea única, ya que diferentes tareas pueden beneficiarse mutuamente, pero a menudo pasan por alto las relaciones internas dentro de estas tareas, ofreciendo una orientación limitada sobre la selección de conjuntos de datos para mejorar tareas específicas. Para analizar este fenómeno, intentamos emplear la generalización composicional (CG) -la capacidad de los modelos para entender combinaciones novedosas al recombinar elementos aprendidos- como un marco orientador. Dado que las imágenes médicas pueden ser definidas precisamente por Modalidad, Área Anatómica y Tarea, proporcionando naturalmente un entorno para explorar la CG. Por lo tanto, reunimos 106 conjuntos de datos médicos para crear Med-MAT para experimentos exhaustivos. Los experimentos confirmaron que los MLLMs pueden utilizar la CG para comprender imágenes médicas no vistas e identificaron la CG como uno de los principales impulsores de la generalización observada en el entrenamiento multitarea. Además, estudios adicionales demostraron que la CG apoya de manera efectiva a los conjuntos de datos con datos limitados y ofrece un rendimiento consistente en diferentes estructuras, destacando su versatilidad y amplia aplicabilidad. Med-MAT está disponible públicamente en https://github.com/FreedomIntelligence/Med-MAT.

Los avances recientes en modelado generativo ahora permiten la creación de contenido 4D (objetos 3D en movimiento) controlado con indicaciones de texto. La generación 4D tiene un gran potencial en aplicaciones como mundos virtuales, medios de comunicación y videojuegos, pero los métodos existentes ofrecen un control limitado sobre la apariencia y geometría del contenido generado. En este trabajo, presentamos un método para animar objetos 3D proporcionados por el usuario condicionados a indicaciones textuales para guiar la generación 4D, permitiendo animaciones personalizadas manteniendo la identidad del objeto original. Primero convertimos una malla 3D en un Campo de Radiancia Neural (NeRF) "estático" 4D que conserva los atributos visuales del objeto de entrada. Luego, animamos el objeto utilizando un modelo de difusión de Imagen a Video impulsado por texto. Para mejorar la realismo del movimiento, introducimos un protocolo incremental de selección de puntos de vista para muestrear perspectivas que promuevan un movimiento natural y una pérdida de Muestreo de Destilación de Puntuación enmascarada (SDS), que aprovecha mapas de atención para enfocar la optimización en regiones relevantes. Evaluamos nuestro modelo en términos de coherencia temporal, adherencia a las indicaciones y fidelidad visual y encontramos que nuestro método supera a los baselines basados en otros enfoques, logrando mejoras de hasta tres veces en la preservación de la identidad medida mediante puntuaciones LPIPS, y equilibrando eficazmente la calidad visual con el contenido dinámico.

El notable rendimiento de modelos como el OpenAI o1 se puede atribuir a su capacidad para emular un pensamiento a largo plazo similar al humano durante la inferencia. Estos modelos emplean procesos de encadenamiento de pensamientos extendidos (CoT), explorando múltiples estrategias para mejorar las capacidades de resolución de problemas. Sin embargo, una pregunta crítica persiste: ¿Cómo escalar de manera inteligente y eficiente los recursos computacionales durante las pruebas? Este documento presenta el primer estudio exhaustivo sobre el problema prevalente de sobre-pensar en estos modelos, donde se asignan recursos computacionales excesivos para problemas simples con beneficios mínimos. Introducimos métricas de eficiencia novedosas desde perspectivas tanto de resultado como de proceso para evaluar el uso racional de recursos computacionales por parte de modelos similares a o1. Utilizando un paradigma de auto-entrenamiento, proponemos estrategias para mitigar el sobre-pensamiento, optimizando los procesos de razonamiento sin comprometer la precisión. Los resultados experimentales muestran que nuestro enfoque reduce con éxito la sobrecarga computacional mientras se preserva el rendimiento del modelo en una variedad de conjuntos de pruebas con niveles de dificultad variables, como GSM8K, MATH500, GPQA y AIME.

La rápida evolución de los modelos de lenguaje grandes (LLMs) ha desbloqueado sus capacidades en tareas avanzadas de razonamiento como la resolución de problemas matemáticos, generación de código y análisis legal. Central en este progreso se encuentran los algoritmos de razonamiento en tiempo de inferencia, que perfeccionan las salidas explorando múltiples caminos de solución, a costa de aumentar las demandas computacionales y las latencias de respuesta. Los sistemas de servicio existentes no logran adaptarse a los comportamientos de escala de estos algoritmos o a la variabilidad en la dificultad de las consultas, lo que resulta en un uso ineficiente de recursos y objetivos de latencia no cumplidos. Presentamos Dynasor, un sistema que optimiza la computación en tiempo de inferencia para consultas de razonamiento de LLM. A diferencia de los motores tradicionales, Dynasor rastrea y programa solicitudes dentro de las consultas de razonamiento y utiliza Certaindex, un proxy que mide el progreso estadístico del razonamiento basado en la certeza del modelo, para guiar la asignación de computación de forma dinámica. Dynasor coadapta la programación con el progreso del razonamiento: asigna más computación a consultas difíciles, reduce la computación para las más simples y finaliza temprano las consultas poco prometedoras, equilibrando precisión, latencia y costos. En conjuntos de datos y algoritmos diversos, Dynasor reduce la computación hasta en un 50% en procesamiento por lotes y mantiene tasas de consultas hasta 3.3 veces más altas o tiempos de latencia hasta 4.7 veces más ajustados en servicios en línea.

Presentamos TangoFlux, un modelo generativo eficiente de Texto a Audio (TTA) con 515 millones de parámetros, capaz de generar hasta 30 segundos de audio a 44.1kHz en tan solo 3.7 segundos en una sola GPU A40. Un desafío clave en la alineación de modelos TTA radica en la dificultad de crear pares de preferencia, ya que TTA carece de mecanismos estructurados como recompensas verificables o respuestas de estándar de oro disponibles para Modelos de Lenguaje Grandes (LLMs). Para abordar esto, proponemos Optimización de Preferencia Clasificada por Aplausos (CRPO), un marco novedoso que genera y optimiza iterativamente datos de preferencia para mejorar la alineación de TTA. Demostramos que el conjunto de datos de preferencia de audio generado utilizando CRPO supera a las alternativas existentes. Con este marco, TangoFlux logra un rendimiento de vanguardia en tanto en pruebas objetivas como subjetivas. Ponemos a disposición todo el código y los modelos de forma abierta para apoyar futuras investigaciones en la generación de TTA.

Presentamos SWE-Gym, el primer entorno para entrenar agentes de ingeniería de software (SWE) del mundo real. SWE-Gym contiene 2,438 instancias de tareas de Python del mundo real, cada una compuesta por una base de código con un entorno de ejecución ejecutable, pruebas unitarias y una tarea especificada en lenguaje natural. Utilizamos SWE-Gym para entrenar agentes de SWE basados en modelos de lenguaje, logrando hasta un aumento absoluto del 19% en la tasa de resolución en los populares conjuntos de pruebas SWE-Bench Verified y Lite. También experimentamos con la escalabilidad en tiempo de inferencia a través de verificadores entrenados en trayectorias de agentes muestreadas de SWE-Gym. Al combinar esto con nuestros agentes de SWE ajustados, logramos un 32.0% y 26.0% en SWE-Bench Verified y Lite, respectivamente, lo que refleja un nuevo estado del arte para agentes de SWE de peso abierto. Para facilitar investigaciones adicionales, publicamos de forma pública SWE-Gym, modelos y trayectorias de agentes.

Como una necesidad verificada, la edición consistente en imágenes del mundo real sigue siendo un desafío técnico que surge de varios factores incontrolables, como posturas de objetos, condiciones de iluminación y entornos de fotografía. Edicho interviene con una solución sin entrenamiento basada en modelos de difusión, que presenta un principio de diseño fundamental de utilizar correspondencia explícita de imágenes para dirigir la edición. Específicamente, los componentes clave incluyen un módulo de manipulación de atención y una estrategia de desenfoque sin clasificador (CFG) cuidadosamente refinada, ambos teniendo en cuenta la correspondencia preestimada. Este algoritmo en tiempo de inferencia disfruta de una naturaleza de plug-and-play y es compatible con la mayoría de los métodos de edición basados en difusión, como ControlNet y BrushNet. Resultados extensos demuestran la eficacia de Edicho en la edición consistente entre imágenes bajo diferentes configuraciones. Publicaremos el código para facilitar futuros estudios.

Presentamos PERSE, un método para construir un avatar generativo animable y personalizado a partir de un retrato de referencia. Nuestro modelo de avatar permite la edición de atributos faciales en un espacio latente continuo y desentrelazado para controlar cada atributo facial, preservando al mismo tiempo la identidad del individuo. Para lograr esto, nuestro método comienza sintetizando conjuntos de datos de video 2D sintéticos a gran escala, donde cada video contiene cambios consistentes en la expresión facial y el punto de vista, combinados con una variación en un atributo facial específico del input original. Proponemos un nuevo proceso para producir videos 2D fotorrealistas de alta calidad con edición de atributos faciales. Aprovechando este conjunto de datos sintéticos de atributos, presentamos un método de creación de avatar personalizado basado en el método de Splatting Gaussiano 3D, aprendiendo un espacio latente continuo y desentrelazado para la manipulación intuitiva de atributos faciales. Para garantizar transiciones suaves en este espacio latente, introducimos una técnica de regularización del espacio latente utilizando rostros 2D interpolados como supervisión. En comparación con enfoques anteriores, demostramos que PERSE genera avatares de alta calidad con atributos interpolados, preservando la identidad de la persona de referencia.

Los rápidos avances de las tecnologías de modelos de lenguaje grandes (MLG) han dado lugar a la introducción de potentes MLG de código abierto ajustados a instrucciones que poseen la misma calidad de generación de texto que los modelos de vanguardia como GPT-4. Si bien la aparición de tales modelos acelera la adopción de tecnologías MLG en entornos de información sensible, los autores de dichos modelos no revelan los datos de entrenamiento necesarios para replicar los resultados, lo que hace que los logros sean exclusivos del modelo. Dado que estos modelos de código abierto son también multilingües, esto a su vez reduce los beneficios de entrenar MLG específicos de un idioma, ya que la mejora en la eficiencia computacional de inferencia se convierte en la única ventaja garantizada de dicho procedimiento costoso. Opciones más rentables como la extensión de vocabulario y el posterior pre-entrenamiento continuo se ven obstaculizadas por la falta de acceso a datos de ajuste de instrucciones de alta calidad, ya que este es el principal factor detrás de las capacidades resultantes de resolución de tareas de MLG. Para abordar las limitaciones y reducir los costos del proceso de adaptación lingüística, proponemos la Propagación de Incrustaciones Aprendidas (LEP). A diferencia de los enfoques existentes, nuestro método tiene requisitos de tamaño de datos de entrenamiento más bajos debido al impacto mínimo en el conocimiento existente de MLG, que reforzamos mediante un novedoso procedimiento de propagación de incrustaciones ad hoc que permite omitir el paso de ajuste de instrucciones e implantar directamente el nuevo conocimiento del idioma en cualquier variante de MLG ajustada a instrucciones existente. Evaluamos cuatro adaptaciones de vocabulario en ruso para LLaMa-3-8B y Mistral-7B, demostrando que LEP es competitivo con los métodos tradicionales de ajuste de instrucciones, logrando un rendimiento comparable a OpenChat 3.5 y LLaMa-3-8B-Instruct, con mejoras adicionales a través de la auto-calibración y el ajuste continuo que mejoran las capacidades de resolución de tareas.

Presentamos OneKE, un sistema de extracción de conocimiento guiado por esquemas dockerizado, que puede extraer conocimiento de la web y libros en PDF sin procesar, y soportar varios dominios (ciencia, noticias, etc.). Específicamente, diseñamos OneKE con múltiples agentes y una base de conocimiento configurada. Diferentes agentes desempeñan sus roles respectivos, permitiendo el soporte para varios escenarios de extracción. La base de conocimiento configurada facilita la configuración de esquemas, la depuración y corrección de casos de error, mejorando aún más el rendimiento. Evaluaciones empíricas en conjuntos de datos de referencia demuestran la eficacia de OneKE, mientras que estudios de casos aclaran aún más su adaptabilidad a diversas tareas en múltiples dominios, destacando su potencial para aplicaciones amplias. Hemos hecho público el código en https://github.com/zjunlp/OneKE y publicado un vídeo en http://oneke.openkg.cn/demo.mp4.

Recientemente, "visual o1" comenzó a entrar en la visión de las personas, con la expectativa de que este diseño de pensamiento lento pueda resolver tareas de razonamiento visual, especialmente problemas matemáticos geométricos. Sin embargo, la realidad es que los LVLM actuales (Modelos de Lenguaje de Visión Amplia) apenas pueden copiar con precisión una figura geométrica, y mucho menos entender verdaderamente la lógica compleja inherente y las relaciones espaciales dentro de las formas geométricas. Creemos que la copia precisa (percepción fuerte) es el primer paso para el visual o1. Por lo tanto, introducimos el concepto de "percepción lenta" (SP), que guía al modelo para percibir gradualmente combinaciones básicas de puntos-líneas, al igual que nuestros humanos, reconstruyen progresivamente estructuras geométricas complejas. SP consta de dos etapas: a) descomposición de la percepción. La percepción no es instantánea. En esta etapa, las figuras geométricas complejas se descomponen en unidades simples básicas para unificar la representación geométrica. b) flujo de percepción, que reconoce que trazar con precisión una línea no es una tarea fácil. Esta etapa tiene como objetivo evitar "saltos visuales largos" al retroceder segmentos de línea mediante el uso de una "regla perceptual" propuesta para trazar cada línea trazo a trazo. Sorprendentemente, este modo de percepción humanoide disfruta de una ley de escala de tiempo de inferencia: cuanto más lento, mejor. Los investigadores han intentado acelerar la percepción del modelo en el pasado, pero ahora la ralentizamos nuevamente, permitiendo que el modelo lea la imagen paso a paso y cuidadosamente.

Introducimos la generación de código autoinvocante, una nueva tarea diseñada para evaluar las capacidades progresivas de razonamiento y resolución de problemas de LLMs. En esta tarea, se presentan a los modelos un problema base y un problema relacionado, más complejo. Deben resolver el problema base y luego utilizar su solución para abordar el más complejo. Este trabajo presenta tres contribuciones clave. Primero, proponemos una receta general para generar versiones más desafiantes de los benchmarks existentes, lo que resulta en tres nuevos benchmarks: HumanEval Pro, MBPP Pro y BigCodeBench-Lite Pro, diseñados específicamente para evaluar a los LLMs en la generación de código autoinvocante. Segundo, a partir del análisis de los resultados experimentales de más de veinte LLMs en nuestros benchmarks, tenemos dos observaciones importantes: (i) La mayoría de los LLMs destacan en benchmarks tradicionales de generación de código como HumanEval y MBPP, pero su rendimiento disminuye en tareas autoinvocantes. Por ejemplo, o1-mini logra un 96.2% de aciertos en HumanEval pero solo un 76.2% en HumanEval Pro. (ii) En la tarea de generación de código autoinvocante, los modelos ajustados a las instrucciones muestran solo mejoras marginales en comparación con los modelos base. Tercero, revelamos los tipos de modos de falla que existen en nuestros resultados de evaluación. Todos estos resultados subrayan la necesidad de avances adicionales en las tareas de generación de código autoinvocante y ofrecen una nueva dirección para futuras investigaciones sobre el mejoramiento de las capacidades de razonamiento de código de los LLMs.