Papers Diarios

La generación de imágenes moderna exige un modelo único que unifique diversas capacidades, incluyendo texto a imagen (T2I), edición local y edición global. Sin embargo, estas capacidades rara vez están alineadas de forma natural y suelen entrar en conflicto. Por ejemplo, la edición tiende a degradar el rendimiento de T2I, mientras que la edición global y la local interfieren entre sí. En consecuencia, la composición efectiva de estas capacidades se ha convertido en un desafío central para el entrenamiento de modelos de generación de imágenes. Para abordarlo, presentamos DanceOPD, un marco de destilación generativa de campos en política para modelos de flujo matching que enruta cada muestra a un campo de capacidad, consulta un estado inducido por el estudiante de bajo ruido y se entrena con un objetivo simple de error cuadrático medio (MSE) de velocidad. Con cada fuente de capacidad definida como un campo de velocidad sobre el espacio de estados de flujo compartido, el estudiante aprende de los campos consultados en sus propios estados de desarrollo para componer capacidades expertas. Esta formulación también absorbe campos definidos por operadores, como la guía libre de clasificador. Experimentos exhaustivos en T2I, edición, absorción de campo de realismo y absorción de CFG muestran que nuestro enfoque mejora la composición de múltiples capacidades, fortaleciendo las capacidades objetivo mientras preserva la calidad de generación de anclaje. Consideramos que este trabajo establece una ruta práctica para la destilación generativa de campos en modelos de flujo matching.

Los modelos modernos de Visión-Lenguaje-Acción (VLA) a menudo fallan al generalizar a configuraciones novedosas, como puntos de vista de cámara alterados o morfologías robóticas, porque normalmente están condicionados únicamente a observaciones actuales e instrucciones lingüísticas. Al ignorar la configuración subyacente del sistema como variable, estos modelos asumen implícitamente un contexto de ejecución fijo encontrado durante el entrenamiento, lo que requiere un ajuste fino intensivo en datos para cualquier entorno nuevo. En este trabajo, presentamos el Modelado de Mundo en Contexto (ICWM, por sus siglas en inglés), un marco que trata la identificación del sistema como un problema de adaptación en contexto. ICWM permite que las políticas robóticas infieran de manera autónoma variables esenciales del sistema a partir de una breve historia de interacciones autogeneradas y no relacionadas con la tarea. A diferencia del Aprendizaje en Contexto tradicional, que utiliza demostraciones para especificar qué tarea realizar, ICWM aprovecha la ventana de contexto para entender cómo opera el sistema. Al procesar estas interacciones antes de la ejecución de la tarea, el modelo captura implícitamente la dinámica del mundo del sistema actual, permitiendo la adaptación a configuraciones novedosas sin actualizaciones de parámetros. Experimentos exhaustivos en simulación y en plataformas robóticas del mundo real demuestran que ICWM supera significativamente a las líneas base estándar de VLA en puntos de vista de cámara novedosos.

El aprendizaje por refuerzo basado en resultados proporciona una columna vertebral de optimización estable para agentes lingüísticos, pero sus recompensas dispersas a nivel de trayectoria ofrecen poca orientación sobre qué decisiones intermedias deben reforzarse o suprimirse. La autodestilación en política ofrece una supervisión densa a nivel de tokens; sin embargo, las variantes existentes condicionadas por habilidades a menudo dependen de memorias externas de habilidades o de contexto privilegiado recuperado, cuyo mantenimiento resulta costoso y que pueden no coincidir con la distribución de estados inducida por la política actual en interacciones de múltiples turnos. Proponemos OPID (Destilación de Habilidades en Política), un marco que extrae supervisión de habilidades directamente de trayectorias completadas en política. OPID representa la retrospectiva de la trayectoria como habilidades jerárquicas: las habilidades a nivel de episodio capturan flujos de trabajo globales o reglas de prevención de fallos, mientras que las habilidades a nivel de paso capturan conocimiento de decisión local en momentos críticos. Un mecanismo de enrutamiento crítico-primero utiliza habilidades a nivel de paso cuando se identifican decisiones críticas y recurre a habilidades a nivel de episodio como guía predeterminada en caso contrario. La habilidad seleccionada se inyecta en el historial de interacción, permitiendo que la política antigua re-puntúe la misma respuesta muestreada tanto bajo el contexto original como bajo el contexto aumentado con la habilidad. El cambio de log-probabilidad resultante genera una ventaja de autodestilación a nivel de token, que se combina con la ventaja de resultado para la optimización de la política. Así, OPID preserva el RL como objetivo de entrenamiento principal, a la vez que introduce una supervisión retrospectiva densa y emparejada con la distribución. Experimentos en ALFWorld, WebShop y QA basado en búsqueda demuestran que OPID mejora generalmente el rendimiento del agente, la eficiencia muestral y la robustez en comparación con RL basado únicamente en resultados y con las líneas base existentes de destilación de habilidades. Nuestro código está disponible en https://github.com/jinyangwu/OPID/tree/main.

Aunque los modelos de texto a imagen (T2I) han logrado avances notables, presentan dificultades con solicitudes del mundo real que a menudo son poco especificadas, implícitas o dependientes de conocimiento actualizado. Identificamos este desafío como la Brecha de Contexto: el desajuste entre el contexto del usuario y el contexto de generación suficiente para los modelos T2I. Para superar esta brecha, proponemos Qwen-Image-Agent, un marco de agente unificado que integra planificación, razonamiento, búsqueda, memoria y retroalimentación de manera centrada en el contexto. Qwen-Image-Agent trata la entrada del usuario como contexto parcial y construye progresivamente el contexto de generación mediante Planificación Consciente del Contexto y Anclaje de Contexto. Específicamente, la Planificación Consciente del Contexto identifica el contexto faltante y planifica cómo debe adquirirse y utilizarse, mientras que el Anclaje de Contexto reúne este contexto a partir del razonamiento, la búsqueda, la memoria y la retroalimentación. Para evaluar la generación de imágenes basada en agentes, también presentamos Image Agent Bench (IA-Bench), un punto de referencia que cubre cuatro capacidades centrales del agente de imágenes: Planificar, Razonar, Buscar y Recordar. Los experimentos en IA-Bench, Mindbench y WISE-Verified muestran que Qwen-Image-Agent supera a los modelos base potentes y logra un rendimiento de vanguardia.

Una intuición clásica sostiene que verificar una solución es más fácil que generarla. Para los agentes de codificación actuales, esta intuición se está invirtiendo: a medida que los modelos fundacionales desarrollan capacidades de razonamiento más sólidas y los entornos de ingeniería se vuelven más sofisticados, generar soluciones candidatas complejas ya no es difícil —verificarlas de manera fiable se ha convertido en el problema más complejo. Cada verificador que podemos construir es solo un proxy de la intención humana, nunca la intención en sí misma. Esto hace que la verificación esté sujeta a una doble dificultad: primero, la intención está por naturaleza subespecificada, lo que dificulta inherentemente comprobar fielmente si se ha cumplido; segundo, durante el entrenamiento del modelo, la optimización amplía la brecha entre el proxy y la intención, manifestándose como manipulación de la recompensa o saturación de la señal. Para abordar esto, caracterizamos la calidad de las señales de verificación en tres dimensiones —escalabilidad, fidelidad y robustez— y sostenemos que lograr las tres simultáneamente es el desafío central. Además, estudiamos cuatro construcciones de recompensa: un verificador de pruebas para tareas generales de codificación, un verificador de rúbrica para tareas de frontend, el usuario como verificador para tareas de agente en entornos reales, y un verificador agente automatizado para tareas de largo horizonte. A través de diferentes tipos de tareas y niveles de capacidad de las políticas, realizamos análisis en profundidad y experimentos sobre los desafíos centrales del diseño de recompensas y cómo aprovechar más eficazmente las señales de recompensa. Los experimentos muestran que un diseño de verificación dirigido puede suprimir eficazmente la manipulación de la recompensa, mejorar la calidad de finalización de las tareas y lograr mejoras significativas en múltiples benchmarks internos y públicos. Estas experiencias apuntan colectivamente a una observación central: ninguna función de recompensa fija puede seguir siendo efectiva a medida que la capacidad de la política continúa creciendo; y la verificación debe coevolucionar con el generador.

Una representación unificada para texto y visión constituye un objetivo natural, ya que permite un modelado multimodal más simple y un entrenamiento más eficiente. Sin embargo, representar imágenes como señales discretas del mismo modo que el texto inevitablemente conlleva una severa pérdida de información. Los trabajos existentes se enfrentan a la dificultad de equilibrar los detalles de bajo nivel y la semántica de alto nivel en representaciones discretas: las representaciones orientadas a la reconstrucción a menudo carecen de información semántica, mientras que las características semánticamente más fuertes suelen sufrir una pérdida severa de detalles. Presentamos ViQ, un marco de Representaciones Visuales Cuantizadas, diseñado para equilibrar la semántica y los detalles en representaciones discretas, a la vez que admite entradas en resoluciones nativas, permitiendo así servir como representación discreta unificada y general para entradas visuales arbitrarias. Nuestro enfoque estructura el aprendizaje de cuantización en dos etapas: preentrenamiento alineado con texto y discretización de características. Con el preentrenamiento alineado con texto, potenciamos el codificador visual con supervisión rica en semántica proveniente del modelo de lenguaje preentrenado y le permitimos procesar entradas visuales de resolución nativa. Durante la discretización, proponemos una estrategia de aprendizaje de representación proximal para compactar progresivamente el espacio de características, junto con un mecanismo de cuantización por cabeza consciente de la posición que permite un procesamiento flexible de resoluciones arbitrarias. Experimentos exhaustivos en tareas multimodales demuestran que ViQ alcanza un rendimiento competitivo en comparación con codificadores visuales multimodales de última generación con características visuales continuas y de alta dimensionalidad, manteniendo al mismo tiempo una alta precisión en la reconstrucción de bajo nivel. También mostramos que el entrenamiento multimodal con representaciones visuales cuantizadas mejora en gran medida la eficiencia, logrando una aceleración de hasta el 20%-70% con diferentes LLMs base y recetas de entrenamiento.

La decodificación especulativa (DS) acelera los grandes modelos de lenguaje (LLMs) autorregresivos al redactar múltiples tokens y verificarlos en paralelo, pero enfrenta una limitación de escalado: aumentar el presupuesto de borrador mejora la velocidad solo cuando la aceptación sigue siendo alta y la sobrecarga de borrado se mantiene baja. Este techo ha sido difícil de superar porque los métodos previos de DS basados en cabezales enfrentan un dilema de causalidad-eficiencia. Los borradores autorregresivos producen candidatos condicionados por trayectoria que son efectivos para la decodificación especulativa en árbol con mayor longitud de aceptación, pero su costo de borrado crece con la profundidad del árbol. Los borradores de difusión de bloques bidireccionales generan todas las posiciones en una sola pasada, pero sus marginales independientes de ramas pueden formar árboles individualmente plausibles pero mutuamente inconsistentes, desperdiciando presupuesto y reduciendo la aceptación. Proponemos JetSpec, un marco de DS basado en cabezales que combina la eficiencia de borrado en una sola pasada hacia adelante con el condicionamiento causal por rama. JetSpec entrena un cabezal de borrador paralelo causal sobre estados ocultos fusionados del modelo objetivo congelado, produciendo árboles candidatos cuyas puntuaciones se alinean con la factorización autorregresiva del modelo objetivo. Esto permite que JetSpec convierta presupuestos de borrador más grandes en prefijos aceptados más largos y una mayor aceleración de extremo a extremo. En puntos de referencia de matemáticas, codificación y chat en modelos Qwen3 densos y MoE, JetSpec supera consistentemente a las líneas base de DS basadas en cabezales bidireccionales y en árbol. En GPUs H100, JetSpec logra una aceleración de hasta 9.64x en MATH-500 y 4.58x en cargas de trabajo conversacionales de final abierto, con mayores ganancias de latencia demostradas mediante la integración con vLLM bajo cargas de servicio realistas. Nuestro código y modelos están disponibles en https://github.com/hao-ai-lab/JetSpec.

Los agentes de uso de computadora pueden ejecutar tareas de software a través de interfaces gráficas o interfaces de comandos programáticas, pero las evaluaciones existentes confunden la modalidad de interacción con diferencias en las tareas, estados iniciales, verificadores y acciones permitidas. Introducimos un benchmark de capa de ejecución emparejado de 440 tareas de escritorio en 18 aplicaciones y 12 categorías de flujo de trabajo, donde los agentes GUI exclusivos de pantalla y los agentes CLI mediados por habilidades reciben metas, estados y verificadores de estado final idénticos, mientras están restringidos a acciones nativas de su modalidad. En este entorno controlado, el agente GUI más fuerte alcanza una tasa de aprobación completa del 59.1%, superando al agente CLI con habilidades originales más fuerte del 48.2%; sin embargo, el aumento de habilidades guiado por verificador eleva el éxito de CLI al 69.3%, lo que muestra que gran parte del déficit de CLI proviene de una cobertura de habilidades incompleta y no solo de la capacidad del modelo. Estos resultados sugieren que GUI y CLI exponen diferentes cuellos de botella de ejecución: los agentes GUI están limitados por la interacción confiable y fundamentada en flujos de trabajo de largo alcance, mientras que los agentes CLI están limitados por la cobertura y escalabilidad de sus interfaces de habilidades.

Las Arquitecturas Predictivas de Embeddings Conjuntos (JEPAs), incluido el reciente LeWorldModel (LeWM), se han convertido en una base prometedora para modelos visuales del mundo sin reconstrucción. Sin embargo, para la planificación visual, LeWM evalúa secuencias de acciones candidatas aplicando repetidamente un modelo de transición latente local de un paso. Este despliegue autorregresivo hace que la planificación sea computacionalmente costosa y expone la trayectoria predicha a errores latentes acumulados a medida que el horizonte se alarga. Proponemos Fast LeWorldModel (Fast-LeWM), un modelo latente rápido del mundo que reemplaza el despliegue local repetido con la predicción de prefijos de acción. Dado el latente actual y una secuencia de acciones candidatas, Fast-LeWM codifica sus prefijos y predice en paralelo los latentes futuros alcanzados tras ejecutar dichos prefijos. Al hacer de los prefijos de acción la unidad básica de predicción, Fast-LeWM modela directamente los efectos de las acciones acumulados en diferentes grados a lo largo de múltiples horizontes. Esta supervisión a nivel de prefijo obliga al modelo a aprender cómo evolucionan continuamente los estados bajo diferentes prefijos de acción, en lugar de ajustar únicamente transiciones de estado de un solo paso. Durante la planificación, el predictor puede usar el último token del prefijo de la secuencia de acciones codificada para evaluar el latente futuro correspondiente sin tener que recorrer explícitamente cada estado intermedio imaginado. En múltiples tareas, Fast-LeWM mejora la tasa de éxito promedio respecto a LeWM al tiempo que reduce sustancialmente el tiempo de planificación, logrando una pérdida latente en bucle abierto menor cuyo crecimiento se vuelve significativamente más lento a medida que aumenta el horizonte de despliegue.

El uso de herramientas permite que los grandes modelos de lenguaje (LLMs) realicen tareas complejas, y los métodos recientes de aprendizaje por refuerzo (RL) de tipo agente muestran potencial para mejorar las capacidades del modelo. Sin embargo, el RL por sí solo a menudo conduce a inestabilidad o ganancias limitadas en tareas que implican el uso de herramientas. En nuestros experimentos, algunos modelos presentan un colapso catastrófico, donde el rendimiento cae abruptamente y las estructuras de invocación de herramientas fallan. El análisis revela que estos fallos se originan en picos de probabilidad inesperados en tokens de control específicos, lo que interrumpe la ejecución estructurada, aunque la capacidad subyacente de uso de herramientas permanece intacta, simplemente oscurecida por formatos concretos. Para abordar esto, investigamos sistemáticamente un conjunto diverso de señales de supervisión, incluyendo supervisión fuera de política (off-policy), guía basada en pistas, supervisión mediante ejemplos erróneos y otras, aplicadas tanto en esquemas de entrenamiento sincrónicos como intercalados. Encontramos que intercalar el ajuste fino supervisado (SFT) con RL mejora sustancialmente la estabilidad, pero presenta un rendimiento degradado bajo evaluaciones fuera de distribución (OOD) en formato y contenido. También analizamos el impacto de las tasas de aprendizaje y la generalización en distintos escenarios. Estos resultados resaltan la importancia de comprender los fallos del RL y demuestran cómo diversas señales de supervisión pueden guiar el aprendizaje exploratorio, permitiendo un entrenamiento robusto de LLMs para tareas complejas de múltiples pasos que requieren uso de herramientas. Nuestro código está disponible en https://github.com/hypasd-art/Tool-RL-Box.

A medida que los sistemas agentivos continúan evolucionando y se despliegan ampliamente en escenarios del mundo real, existe una demanda creciente de evaluar fielmente sus capacidades. Sin embargo, los puntos de referencia actuales suelen basarse en aplicaciones populares con tareas relativamente simples y se centran en un conjunto limitado de capacidades, pasando por alto dimensiones más amplias, lo que resulta en un rendimiento saturado en los agentes modernos y no logra sondear sus limitaciones. Con este fin, presentamos GauntletBench, un punto de referencia basado en la web para evaluar la generalización de agentes en escenarios desafiantes, centrándose en tres capacidades poco exploradas (percepción temporal, comprensión gráfica y razonamiento 3D) en cinco aplicaciones profesionales menos cubiertas (Editor de video, Constructor de flujos de trabajo, Modelador 3D, Analizador de vuelos y Diseñador de circuitos), cada una con 20 tareas con gran carga visual (100 en total). Nuestro punto de referencia proporciona un pipeline modular que comprende un entorno compatible tanto con marcos de agentes de código abierto como cerrado, una aplicación web controlada, un conjunto de tareas bien estructurado y un motor de evaluación automatizado con métricas diversas. Contrariamente a lo esperado, nuestros resultados empíricos revelan que los sistemas agentivos de vanguardia aún están lejos de alcanzar un rendimiento a nivel humano. Incluso el agente más avanzado logra solo un 19.1% de tasa de éxito en nuestro GauntletBench, lo que destaca las limitaciones en estas capacidades y generalización pasadas por alto. En comparación, los anotadores humanos no expertos alcanzan más del 80% de éxito en nuestras tareas desafiantes pero factibles, revelando la brecha sustancial entre las capacidades actuales de los agentes y las requeridas para escenarios complejos del mundo real.

El paradigma prevalente de rama dual, es decir, entrenar una red lateral para codificar condiciones visuales y fusionar sus características de capas intermedias en una red principal preentrenada congelada, ha demostrado un éxito notable en la generación controlable por condiciones visuales. A pesar de su adopción generalizada, el papel de la rama lateral y su eficiencia de entrenamiento siguen siendo poco explorados. En este artículo, revisitamos primero este paradigma dominante desde la perspectiva del modelado generativo basado en scores: 1) La red principal preserva la calidad perceptual visual al proporcionar un score incondicional a priori. 2) La red lateral dirige el control condicional al contribuir implícitamente con un score de verosimilitud. Guiados por esta perspectiva, proponemos Alineamiento de Scores de Verosimilitud (LISA, por sus siglas en inglés), un método de regularización efectivo que alinea explícitamente las características intermedias de la red lateral con un score de verosimilitud aproximado. Específicamente, primero enganchamos características de una capa designada de la red lateral y las proyectamos en el espacio latente de scores mediante un decodificador ligero. Luego, construimos un objetivo de score de verosimilitud aproximado y calculamos la distancia entre la salida del decodificador y este objetivo como una pérdida de regularización adicional. Finalmente, optimizamos conjuntamente la red lateral y el decodificador tanto con la pérdida de difusión estándar como con nuestra pérdida de regularización. Experimentos en diversas tareas de imagen/video, arquitecturas y modelos de difusión/flujo demostraron que LISA no solo puede acelerar consistentemente la convergencia del entrenamiento y mejorar los resultados sintéticos finales, sino también fomentar que las características de la red lateral estén más desenredadas para el modelado condicional, con un costo de entrenamiento adicional insignificante y cero costo de inferencia adicional.

La capacidad de razonamiento en los modelos de lenguaje de gran escala (LLMs) ha avanzado rápidamente, lo que lleva a un tamaño creciente de la caché de clave-valor (KV) tanto en las etapas de precarga como de decodificación. Los métodos existentes de compresión de caché KV se basan principalmente en los pesos de atención para estimar la importancia de los tokens. Si bien la atención captura eficazmente la relevancia contextual, pasa por alto señales complementarias de teoría de la información relacionadas con la incertidumbre predictiva y la informatividad del token. En este artículo, revisamos la importancia de los tokens desde una perspectiva prospectiva e introducimos Forward Influence, una métrica que mide cómo los tokens comprimidos afectan a contextos futuros. Nuestro análisis revela que los tokens seleccionados por puntuaciones de atención influyen principalmente en contextos cercanos, mientras que los tokens asociados con una alta incertidumbre predictiva ejercen una influencia sustancialmente mayor en contextos futuros distantes. Basándonos en esta observación, proponemos InfoKV, un marco de compresión de caché KV consciente de la entropía que incorpora señales de teoría de la información. Combina la incertidumbre predictiva a nivel de token con la evolución de la representación a nivel de capa e integra las puntuaciones de entropía resultantes con las puntuaciones de atención durante el razonamiento. Experimentos en puntos de referencia de razonamiento de contexto largo con Llama-3.1, Llama-3.2 y DeepSeek-R1 demuestran que InfoKV supera consistentemente a los métodos de compresión KV basados en atención existentes tanto en escenarios de precarga larga como de decodificación.

Los modelos de razonamiento basados en video asumen implícitamente que cada fotograma de entrada es igualmente fiable. Esto conduce a lo que denominamos el Problema de Confianza Ciega: bajo perturbaciones realistas como desenfoque de movimiento, destellos lumínicos u oclusiones, los modelos de razonamiento de video de frontera pueden sufrir caídas de precisión de 15 a 30 puntos porcentuales en benchmarks encarnados del mundo real, sin ser conscientes de que la evidencia visual se ha degradado. Para abordar este desafío, proponemos Robust-TO, un marco de comprensión de video agentivo que integra explícitamente la fiabilidad por fotograma en cada etapa del razonamiento. Robust-TO organiza herramientas heterogéneas de percepción visual bajo una interfaz de evidencia unificada. Cada herramienta recibe una subconsulta derivada de la pregunta original y un conjunto de fotogramas fiables seleccionados mediante la puntuación de fiabilidad-relevancia. Devuelve evidencia en un formato compartido: una predicción concreta (p. ej., un cuadro delimitador, una trayectoria de movimiento, texto reconocido o una etiqueta de acción), un anclaje temporal y una puntuación de fiabilidad calibrada. Durante el razonamiento, estas puntuaciones calibradas guían la ponderación de la evidencia en un proceso de síntesis de tres niveles (alto/medio/bajo) y definen una recompensa GRPO de costo-confianza que optimiza conjuntamente la corrección, la fiabilidad de la evidencia y la eficiencia. En dos benchmarks de razonamiento de video que abarcan ocho tareas, Robust-TO alcanza un 56.4% de precisión media en entradas limpias, superando al mejor baseline de código abierto en 10.6 puntos porcentuales y superando a Gemini-2.5-Pro (46.2%). Bajo cinco tipos de corrupción realistas, Robust-TO mantiene un 54.3% de precisión media, 5.8 puntos porcentuales por encima del mejor baseline de código abierto, y exhibe la menor caída de precisión entre entradas limpias y corruptas de todos los métodos comparados.

Presentamos PhysiFormer, un transformador de difusión para el movimiento de objetos 3D físicamente plausible. A diferencia de los modelos de mundo en video que operan en un espacio de píxeles dependiente de la vista, PhysiFormer representa objetos como mallas 3D expresadas en coordenadas del mundo. Dadas las posiciones y velocidades iniciales de los vértices, así como el tipo de material del objeto, rígido o elástico, el modelo muestrea trayectorias futuras de los vértices. Mientras que enfoques relacionados de física neuronal se basan en espacios latentes ad-hoc o imponen explícitamente rigidez y causalidad, PhysiFormer demuestra que se pueden obtener excelentes resultados sin tales sesgos inductivos, al formular la predicción de trayectorias de vértices como un único proceso de difusión de eliminación de ruido directamente en coordenadas del mundo. La formulación probabilística captura la incertidumbre en la dinámica aprendida, permitiendo futuros diversos y plausibles a partir de condiciones iniciales, lo que hace que este marco sea potencialmente útil para aplicaciones con incertidumbre no observada. El modelo cuenta con atención factorizada en tiempo, espacio y objetos para lograr eficiencia, permitiendo el razonamiento multiobjeto invariante a la permutación sin necesidad de codificación explícita de objetos. Entrenado en más de 100 mil trayectorias simuladas, PhysiFormer genera mecánica rígida y elástica, y se generaliza a configuraciones de materiales mixtos, geometrías del mundo real no vistas y un mayor número de objetos. Supera sustancialmente a las líneas de base autorregresivas en precisión de trayectoria, preservación de rigidez y consistencia física basada en momento. Nuestros resultados posicionan la difusión en el espacio de coordenadas como un paso prometedor hacia el modelado de mundo invariante a la vista y consciente de la geometría para robótica, gráficos y diseño físico. Las visualizaciones, el código y los modelos están disponibles en https://yimingc9.github.io/physiformer.

Los modelos generativos modernos del mundo generan futuros cada vez más realistas y controlables por acciones, sin embargo, alucinan con frecuencia: las trayectorias generadas se mantienen visualmente fluidas mientras se desvían de la dinámica real. Hipotetizamos que la alucinación se concentra en regiones de baja cobertura del espacio estado-acción, donde señales centradas en datos y ligeras pueden tanto detectarla como guiar su mitigación. Para probar esto, presentamos MMBench2, un conjunto de datos de 427 horas y 210 tareas para el modelado visual del mundo con acciones, recompensas y simuladores en tiempo real verdaderos, y entrenamos en él un modelo del mundo de 350 millones de parámetros. Identificamos tres modos distintos de alucinación: perceptual, marginalizada por acciones y divergente de escena —cada uno anclado a una etapa diferente del proceso— y desarrollamos tres señales que predicen con precisión dónde fallará el modelo. Para cerrar las brechas de cobertura durante el entrenamiento, desarrollamos una técnica de muestreo consciente de la cobertura; para cerrarlas en línea, nuestros predictores de alucinación actúan como recompensas de curiosidad para la recolección dirigida de datos, proporcionando una receta de ajuste fino eficiente en datos que adapta el modelo del mundo preentrenado a entornos completamente nuevos con tan solo 50 trayectorias reales del entorno. En general, nuestros hallazgos revelan que la alucinación en los modelos del mundo es inherentemente un problema de cobertura de datos, y que las mismas señales utilizadas para detectarla también pueden emplearse para su mitigación. Una versión web interactiva de nuestro artículo está disponible en https://www.nicklashansen.com/mmbench2.

A medida que los agentes basados en LLM se vuelven capaces de realizar tareas de horizonte cada vez más largo, evaluar su desempeño en sistemas económicos cobra una importancia creciente. A diferencia de los benchmarks existentes, que evalúan principalmente a un agente individual interactuando con un entorno pasivo, los sistemas económicos son inherentemente multiagente, y requieren que agentes autónomos se comuniquen, negocien y realicen transacciones mientras persiguen sus propios objetivos durante períodos prolongados. Presentamos CoffeeBench, un benchmark para evaluar agentes LLM en una economía multiagente de horizonte largo compuesta por empresas heterogéneas. En CoffeeBench, dos agricultores, dos tostadores y dos minoristas operan sus negocios de forma autónoma durante una simulación de 90 días, buscando cada uno maximizar el ingreso neto acumulado mediante comunicación y transacciones, mientras gestionan efectivo, inventario y precios. El modelo evaluado controla un tostador de café, mientras que las demás empresas están controladas por agentes de referencia fijos. Entre varios LLM recientes de pesos abiertos y propietarios, todos los modelos superan a una línea base pasiva que no realiza acciones, logrando la mayoría un ingreso neto positivo. El análisis del comportamiento de los agentes revela diferencias sustanciales en la interacción económica de horizonte largo: los modelos de mayor rendimiento se comunican más activamente con otras empresas, mientras que Claude Haiku 4.5 presenta un modo de fallo de deriva inactiva, eligiendo repetidamente la inacción a pesar de generar evaluaciones y planes coherentes. Publicamos nuestro código y las trayectorias de los agentes para apoyar futuras investigaciones.

Los modelos de recompensa de proceso permiten una evaluación detallada a nivel de paso de los LLM, pero construirlos para entornos agentivos sigue siendo prohibitivamente difícil: las interacciones de largo horizonte, las acciones irreversibles y la retroalimentación estocástica del entorno hacen que tanto la anotación humana como la estimación de Monte Carlo sean inviables a escala. En este trabajo, demostramos que el post-entrenamiento mediante aprendizaje por refuerzo (RL) ya proporciona los ingredientes para una puntuación efectiva a nivel de paso, eliminando la necesidad de entrenar modelos de recompensa dedicados. Concretamente, derivamos una ventaja implícita bajo un proceso de decisión de Markov estocástico general, a la que denominamos ventaja de progreso: la proporción de log-probabilidad entre la política entrenada con RL y su política de referencia recupera exactamente la función de ventaja óptima. Esta formulación hace que la señal resultante esté libre de anotaciones, sea independiente del dominio y esté disponible como subproducto del pipeline estándar de post-entrenamiento con RL. Validamos la efectividad de la ventaja de progreso en tres aplicaciones diferentes: escalamiento en tiempo de prueba, cuantificación de incertidumbre y atribución de fallos en cinco benchmarks y cuatro familias de modelos. En todos los escenarios, supera consistentemente las líneas base basadas en confianza y, a pesar de no requerir entrenamiento específico de la tarea, sobrepasa a modelos de recompensa dedicados entrenados. Complementamos estos resultados con análisis más profundos sobre las características de la ventaja de progreso, ofreciendo orientación práctica para su adopción en sistemas agentivos del mundo real.

A pesar de su uso generalizado, el papel de los modelos de recompensa en la configuración del aprendizaje por refuerzo es poco comprendido. Los modelos de recompensa ofrecen una promesa tentadora: estiman automáticamente la calidad de las respuestas en ausencia de verificadores o jueces humanos. A diferencia de las "recompensas verificables", que suelen producir puntuaciones binarias, los modelos de recompensa normalmente generan puntuaciones continuas, lo que les permite ser sensibles a diferencias sutiles entre respuestas. Sin embargo, demostramos que esta aparente fortaleza es una debilidad seria: muchos modelos de recompensa populares son sobresensibles, asignando puntuaciones diferentes a respuestas igualmente buenas. Teóricamente, mostramos que modelos de recompensa aparentemente perfectos pueden ser altamente sobresensibles; empíricamente, esta sobresensibilidad puede conducir a políticas deficientes. En lugar de las nociones existentes de "precisión del modelo de recompensa", proponemos evaluar los modelos de recompensa mediante medidas distintas de "capacidad discriminativa" y "especificidad" (el complemento de la sobresensibilidad). Como solución, describimos un algoritmo sin entrenamiento que utiliza dropout de Monte Carlo en cualquier modelo de recompensa neuronal para producir grupos de recompensa discretos. Teóricamente, demostramos que existen discretizaciones que reducen la sobresensibilidad con un costo mínimo en capacidad discriminativa; empíricamente, mostramos, tanto en entornos de RL controlados como naturales, que discretizar las recompensas conduce a menos manipulación de recompensas y a mejores políticas que entrenar con las recompensas originales.

Aunque la IA generativa ha logrado un éxito notable en la resolución de problemas con soluciones verificables, la generación de arte físico que satisfaga tanto restricciones geométricas estrictas como la estética visual subjetiva sigue siendo un desafío. Este artículo presenta un enfoque para abordar estas dificultades en el dominio del origami computacional, un entorno matemáticamente riguroso que fundamenta el diseño artístico dentro de las ecuaciones de plegabilidad plana. Presentamos COrigami, un pipeline impulsado por IA de extremo a extremo que asiste el ciclo de diseño generando patrones de pliegue a partir de lenguaje natural. Nuestro pipeline implica generar una figura de palitos semántica, calcular un empaquetado de base, resolver un patrón de pliegue plegable plano, modelar el patrón de pliegue plegado plano y refinar el modelo generado mediante aprendizaje por refuerzo impulsado por un bucle de evaluación estética autónoma. Nuestro sistema actúa como un asistente colaborativo altamente efectivo, generando puntos de partida estructurales que los artistas humanos pueden expandir y modelar posteriormente. Al integrar la optimización algorítmica con la crítica estética autónoma, este trabajo demuestra cómo los sistemas de IA pueden satisfacer restricciones físicas multiobjetivo para permitir una co-creatividad confiable y matemáticamente fundamentada.

ABACUS es un modelo unificado de visión y lenguaje que maneja el conteo de objetos, el conteo de multitudes, el conteo por expresión referencial y la generación de imágenes fiel al conteo sin necesidad de entrenamiento específico para ningún punto de referencia. Nuestro modelo se basa en un modelo fundacional unificado existente de 3 mil millones de parámetros y se adapta a tareas de localización de objetos mediante tres innovaciones clave: zoom adaptativo consciente de la densidad con mapas de objetividad para el anclaje espacial; una política de conteo consciente de los límites mediante GRPO para eliminar errores de límites de recorte; y una estrategia de GRPO consistente en el ciclo donde la rama de comprensión autocrítica las salidas generadas, cerrando la brecha entre comprensión y generación sin anotaciones externas. ABACUS alcanza resultados de vanguardia en siete puntos de referencia, superando tanto a especialistas en tareas específicas como a modelos generalistas más grandes.

Una cita funcional parece una prueba, pero el hecho de que un enlace se resuelva no significa que el artículo citado respalde la afirmación. Observo que los modelos agentivos actuales rara vez fabrican citas (más del 99% se resuelven), pero aproximadamente el 15,9% enlazan al artículo incorrecto. Los puntos de referencia existentes pasan por alto este modo de fallo: cuando una pregunta tiene una clave de respuesta fija, un modelo puede reproducir la fuente esperada a partir de esa clave en lugar de verificar de forma independiente que la fuente respalda la afirmación. Presento \openbiorq{}, un punto de referencia agentivo basado en recuperación con 12{,}553 preguntas de investigación biomédica no resueltas en 12 dominios, que trata las preguntas abiertas como una sonda de fidelidad y abstención. Hasta donde sé, este es el primer punto de referencia biomédico que combina un entorno agentivo —donde el modelo debe realizar múltiples llamadas a herramientas— con preguntas no resueltas que no tienen clave de respuesta. La apertura se verifica mediante evidencia de seguimiento real, no mediante el conocimiento paramétrico del modelo. La dificultad es empírica: la anclo en preguntas que tres modelos de referencia de peso abierto no logran responder, en lugar de etiquetas subjetivas de dificultad. En este subconjunto más difícil, los modelos excluidos de la misma línea que los anclajes de dificultad resuelven solo aproximadamente el 17%, mientras que tres agentes fronterizos independientes (Gemini-3-Pro, Opus-4.7, GPT-5.5) abarcan un amplio rango del 29-60%. El punto de referencia es, por tanto, difícil, no saturante (el mejor agente aún deja aproximadamente el 33-40% sin resolver) y discriminatorio entre niveles de capacidad. Más allá de la dificultad, observo un colapso agentivo en las preguntas más difíciles, donde los agentes dejan de usar sus herramientas. Para el modelo más propenso al colapso, bloquear por completo el acceso a las herramientas apenas cambia su puntuación; por lo tanto, las herramientas dejan de ser rentables exactamente donde más se necesitan. Una lista de verificación congelada por pregunta eleva el acuerdo entre jueces de Spearman 0,35 a 0,82.

Los sistemas multiformato LLM, como enrutamiento, votación, cascadas, fusión y mezcla de agentes, se utilizan para superar la precisión de un solo modelo. Demostramos que su ganancia está limitada por una magnitud que el campo rara vez reporta. Para cualquier política cuya salida sea la respuesta de un modelo miembro, la precisión no puede superar uno menos beta, donde beta es la tasa a la que cada modelo se equivoca en la misma consulta. Por el contrario, el diagnóstico habitual, la correlación media de errores por pares rho, no puede identificar a beta: leyes de error con marginales y correlaciones por pares idénticas pueden tener tasas de error conjunto diferentes. Un límite de Clopper-Pearson sobre beta proporciona un certificado de muestra finita sobre la mayor ganancia que cualquier enrutador, voto o cascada podría ofrecer antes de entrenar un enrutador. En 67 modelos de 21 proveedores, un modelo de un solo factor calibrado tetracóricamente sigue subestimando la cola de error conjunto: en matemáticas abiertas, la beta observada es 0,052 frente a 0,023 bajo la cópula gaussiana completa de 67 modelos, aproximadamente 2,5 veces por debajo del precio, con un IC del 90% de 1,7 a 3,4 y k igual a 17. El efecto se repite en código evaluado por ejecución, donde beta es 0,079. Volver a formular las mismas preguntas de GPQA-Diamond en formato de respuesta libre en lugar de opción múltiple reabre la cola, con beta 0,127 y un panel de cinco jueces con kappa 0,73 a 0,92, localizando el cofallo en el formato de respuesta en lugar del tema. Con calidad equiparable, los ensambles heterogéneos de baja rho superan al Self-MoA de alta rho, pero en tareas verificables de nuestro conjunto, combinar modelos rara vez supera al mejor modelo individual sin una señal de enrutamiento fuerte a nivel de consulta. Las ganancias provienen de que los modelos fallen en preguntas diferentes, no de agregar más modelos.

Los modelos de razonamiento científico para biología combinan modelos lingüísticos con modelos base entrenados en datos biológicos multimodales, incluyendo ADN, ARN y proteínas. Estos modelos se construyen mediante posentrenamiento, aunque todavía no se comprende bien cómo cada etapa moldea el razonamiento y la generalización. Estudiamos cuándo el posentrenamiento mejora el rendimiento y cuándo induce una sobrespecialización. En genómica, transcriptómica y proteínas, entrenamos y evaluamos más de 100 modelos de razonamiento biológico con variaciones controladas en el modelo base, el preentrenamiento continuado (CPT), el ajuste fino supervisado (SFT) y el aprendizaje por refuerzo (RL), midiendo el rendimiento tanto intradominio (ID) como extradominio (OOD). Descubrimos que cada etapa de posentrenamiento remodela la generalización de manera distinta, en lugar de contribuir con mejoras uniformes. El CPT mejora el rendimiento posterior al alinear los modelos con el lenguaje biológico. El SFT incrementa consistentemente el rendimiento ID, pero provoca que el rendimiento OOD alcance un pico temprano y luego decline a medida que los modelos se ajustan a la distribución de entrenamiento. El RL, cuando se aplica a puntos de control SFT sólidos con recompensas alineadas, mejora el rendimiento OOD y recupera parcialmente la generalización. Estos resultados muestran que el razonamiento biológico no mejora de manera monótona con supervisión adicional o mayor capacidad computacional. En cambio, el rendimiento depende de cómo se componen las etapas de entrenamiento. Bajo presupuestos fijos de posentrenamiento, el mejor equilibrio ID-OOD se logra con un SFT breve, mayores asignaciones de RL y una capacidad de adaptación asimétrica entre etapas.

La predicción mediante Observación de la Tierra (EO) tiene como objetivo anticipar la dinámica futura de la superficie terrestre a partir de observaciones satelitales bajo condiciones meteorológicas cambiantes. En este artículo, abordamos esta tarea como un problema de modelado del mundo parcialmente observado y condicionado por el clima, donde el clima actúa como una señal de condicionamiento, mientras que la predicción sigue siendo incierta debido a observaciones dispersas y estados no observados de la superficie terrestre. Sin embargo, los métodos existentes no capturan completamente este escenario: los modelos deterministas colapsan la incertidumbre en una única predicción futura, mientras que los métodos basados en difusión suelen tratar las variables meteorológicas como señales de condicionamiento indiferenciadas, y los benchmarks actuales se centran principalmente en la precisión de la reconstrucción, y no en si las predicciones responden correctamente a cambios en el forzamiento meteorológico. Presentamos EO-WM, un transformador de difusión de video para la predicción EO multiespectral. EO-WM incorpora un marco de condicionamiento fundamentado físicamente que representa el forzamiento meteorológico a través de una línea base climatológica, anomalías climáticas y señales acumulativas de estrés físico. Específicamente, separa la línea base y las anomalías mediante vías de condicionamiento distintas, y acumula el forzamiento anómalo a lo largo del tiempo para capturar el estrés sostenido por calor y sequía. Para evaluar el comportamiento de respuesta al clima más allá de las métricas estándar, introducimos dos benchmarks diagnósticos: un Benchmark de Verano Extremo para la predicción consciente de la severidad de la degradación de la vegetación bajo condiciones climáticas extremas, y un Benchmark de Pares Estacionales Emparejados para probar la fidelidad de la respuesta ante cambios en el forzamiento climático. Los experimentos muestran que EO-WM reduce el error en la amplitud de la disminución del Índice de Vegetación de Diferencia Normalizada (NDVI) predicho en un 5,63% relativo y mejora la tasa de acierto direccional en un 7,80% relativo, manteniendo al mismo tiempo un rendimiento competitivo en métricas estándar a nivel de píxel. Los benchmarks y el modelo se publicarán como código abierto en https://github.com/Luo-Z13/EO-WM.