Artículos de Investigación en IA Diarios

Los avances recientes en modelado generativo ahora permiten la creación de contenido 4D (objetos 3D en movimiento) controlado con indicaciones de texto. La generación 4D tiene un gran potencial en aplicaciones como mundos virtuales, medios de comunicación y videojuegos, pero los métodos existentes ofrecen un control limitado sobre la apariencia y geometría del contenido generado. En este trabajo, presentamos un método para animar objetos 3D proporcionados por el usuario condicionados a indicaciones textuales para guiar la generación 4D, permitiendo animaciones personalizadas manteniendo la identidad del objeto original. Primero convertimos una malla 3D en un Campo de Radiancia Neural (NeRF) "estático" 4D que conserva los atributos visuales del objeto de entrada. Luego, animamos el objeto utilizando un modelo de difusión de Imagen a Video impulsado por texto. Para mejorar la realismo del movimiento, introducimos un protocolo incremental de selección de puntos de vista para muestrear perspectivas que promuevan un movimiento natural y una pérdida de Muestreo de Destilación de Puntuación enmascarada (SDS), que aprovecha mapas de atención para enfocar la optimización en regiones relevantes. Evaluamos nuestro modelo en términos de coherencia temporal, adherencia a las indicaciones y fidelidad visual y encontramos que nuestro método supera a los baselines basados en otros enfoques, logrando mejoras de hasta tres veces en la preservación de la identidad medida mediante puntuaciones LPIPS, y equilibrando eficazmente la calidad visual con el contenido dinámico.

El notable rendimiento de modelos como el OpenAI o1 se puede atribuir a su capacidad para emular un pensamiento a largo plazo similar al humano durante la inferencia. Estos modelos emplean procesos de encadenamiento de pensamientos extendidos (CoT), explorando múltiples estrategias para mejorar las capacidades de resolución de problemas. Sin embargo, una pregunta crítica persiste: ¿Cómo escalar de manera inteligente y eficiente los recursos computacionales durante las pruebas? Este documento presenta el primer estudio exhaustivo sobre el problema prevalente de sobre-pensar en estos modelos, donde se asignan recursos computacionales excesivos para problemas simples con beneficios mínimos. Introducimos métricas de eficiencia novedosas desde perspectivas tanto de resultado como de proceso para evaluar el uso racional de recursos computacionales por parte de modelos similares a o1. Utilizando un paradigma de auto-entrenamiento, proponemos estrategias para mitigar el sobre-pensamiento, optimizando los procesos de razonamiento sin comprometer la precisión. Los resultados experimentales muestran que nuestro enfoque reduce con éxito la sobrecarga computacional mientras se preserva el rendimiento del modelo en una variedad de conjuntos de pruebas con niveles de dificultad variables, como GSM8K, MATH500, GPQA y AIME.

Presentamos TangoFlux, un modelo generativo eficiente de Texto a Audio (TTA) con 515 millones de parámetros, capaz de generar hasta 30 segundos de audio a 44.1kHz en tan solo 3.7 segundos en una sola GPU A40. Un desafío clave en la alineación de modelos TTA radica en la dificultad de crear pares de preferencia, ya que TTA carece de mecanismos estructurados como recompensas verificables o respuestas de estándar de oro disponibles para Modelos de Lenguaje Grandes (LLMs). Para abordar esto, proponemos Optimización de Preferencia Clasificada por Aplausos (CRPO), un marco novedoso que genera y optimiza iterativamente datos de preferencia para mejorar la alineación de TTA. Demostramos que el conjunto de datos de preferencia de audio generado utilizando CRPO supera a las alternativas existentes. Con este marco, TangoFlux logra un rendimiento de vanguardia en tanto en pruebas objetivas como subjetivas. Ponemos a disposición todo el código y los modelos de forma abierta para apoyar futuras investigaciones en la generación de TTA.

Presentamos SWE-Gym, el primer entorno para entrenar agentes de ingeniería de software (SWE) del mundo real. SWE-Gym contiene 2,438 instancias de tareas de Python del mundo real, cada una compuesta por una base de código con un entorno de ejecución ejecutable, pruebas unitarias y una tarea especificada en lenguaje natural. Utilizamos SWE-Gym para entrenar agentes de SWE basados en modelos de lenguaje, logrando hasta un aumento absoluto del 19% en la tasa de resolución en los populares conjuntos de pruebas SWE-Bench Verified y Lite. También experimentamos con la escalabilidad en tiempo de inferencia a través de verificadores entrenados en trayectorias de agentes muestreadas de SWE-Gym. Al combinar esto con nuestros agentes de SWE ajustados, logramos un 32.0% y 26.0% en SWE-Bench Verified y Lite, respectivamente, lo que refleja un nuevo estado del arte para agentes de SWE de peso abierto. Para facilitar investigaciones adicionales, publicamos de forma pública SWE-Gym, modelos y trayectorias de agentes.