Papers Diarios

Presentamos Orca, una instanciación inicial de un modelo fundacional general del mundo. Orca aprende un espacio latente unificado del mundo a partir de señales multimodales del mundo y lo expone a través de interfaces de lectura multimodal. En lugar de optimizar predicciones aisladas de siguiente token, siguiente fotograma o siguiente acción, nos centramos en el modelado de predicción del siguiente estado (*Next-State-Prediction*), lo que ofrece una ruta unificada de modelado de transición de estados hacia la comprensión, predicción y acción sobre el mundo. Orca aprende mediante dos paradigmas complementarios: el aprendizaje inconsciente captura transiciones de estado densas y naturales a partir de videos continuos, y el aprendizaje consciente modela transiciones de estado dispersas y significativas mediante eventos descritos por lenguaje y supervisión de VQA. Para el preentrenamiento, construimos un inventario de datos de aprendizaje del mundo a gran escala, que incluye 125 mil horas de datos de video y 160 millones de anotaciones de eventos. Después del preentrenamiento, Orca aprende un espacio latente unificado del mundo. Para examinar si el latente aprendido respalda tareas posteriores, lo evaluamos mediante tres lecturas representativas de tareas posteriores: generación de texto, predicción de imágenes y generación de acciones incorporadas. La columna vertebral de Orca se congela y solo los decodificadores ligeros específicos de cada modalidad son entrenables. Los experimentos muestran la escalabilidad del paradigma propuesto y verifican que un latente del mundo más fuerte permite lecturas posteriores más sólidas. Orca supera a las líneas base especializadas de tamaño similar. Estos resultados muestran que Orca, como modelo fundacional general del mundo, presenta un enfoque prometedor para comprender, predecir y actuar sobre el mundo. Finalmente, discutimos las limitaciones actuales, con el objetivo de proporcionar ideas útiles e inspiración para la comunidad.

Los verificadores de programas desempeñan un papel central en el entrenamiento de agentes de codificación, incluyendo la selección de trayectorias para el ajuste fino supervisado (SFT) y la provisión de recompensas para el aprendizaje por refuerzo (RL). La verificación estándar basada en ejecución requiere ejecutar pruebas unitarias en entornos específicos de cada repositorio, como imágenes Docker, lo que conlleva costos sustanciales de configuración del entorno. Proponemos Dockerless, un verificador de parches agente sin entorno que evalúa parches de código generados sin ejecutarlos. En lugar de simplemente hacer coincidir parches candidatos con referencias, Dockerless juzga la corrección del parche utilizando evidencia recopilada mediante exploración agente del repositorio. En un punto de referencia de evaluación de verificadores, Dockerless supera al verificador de código abierto más potente en 14.3 puntos de AUC. El uso de Dockerless como filtro de trayectorias para SFT y como recompensa para RL permite un pipeline de post-entrenamiento completamente libre de entornos. El modelo resultante alcanza tasas de resolución del 62.0 %, 50.0 % y 35.2 % en SWE-bench Verified, Multilingual y Pro, respectivamente. Supera la línea base de Qwen3.5-9B en 2.4, 8.7 y 2.9 puntos, igualando el post-entrenamiento basado en entornos.

La destilación en política (OPD) ofrece una transferencia de capacidad superior al supervisar las trayectorias muestreadas por el estudiante con señales densas a nivel de token. Para proporcionar fuentes de supervisión de alta calidad y así elevar el límite de rendimiento de la destilación, una dirección intuitiva es infundir información privilegiada ya sea al profesor o al propio estudiante. Sin embargo, esta entrada adicional induce un modo de fallo potencial que denominamos ilusión de privilegio: un patrón que confunde la brecha de capacidad transferible que los estudiantes deben cerrar con la brecha de asimetría de información que solo puede imitarse, pero nunca replicarse. Este problema se ve amplificado por la falta de uniformidad inherente de la supervisión a nivel de token, donde solo un pequeño subconjunto de tokens transporta señales clave portadoras de capacidad. Con este fin, proponemos DOPD, un paradigma de destilación dual consciente de la ventaja que enruta dinámicamente la supervisión a nivel de token entre políticas de profesor privilegiado y estudiante privilegiado en función de su brecha de ventaja y probabilidades relativas. Cada token recibe supervisión de diferente intensidad, objetivo y estrategia, ya sea del profesor o del propio estudiante, lo que transfiere capacidad creíble mientras recibe señales auxiliares simultáneamente, para aliviar la ilusión de privilegio. Experimentos exhaustivos tanto en configuraciones de modelos de lenguaje grande (LLM) como de modelos de lenguaje-visión (VLM) demuestran que DOPD supera consistentemente a la OPD estándar y a otras alternativas. Resultados adicionales en estabilidad, robustez, aprendizaje continuo y tareas fuera de distribución validan su superioridad.

La decodificación especulativa acelera la inferencia al emplear un modelo borrador ligero para generar tokens candidatos en paralelo, que luego son verificados por el modelo objetivo, permitiendo una aceleración sin pérdidas. Recientemente, la decodificación especulativa basada en difusión mejora aún más el paralelismo al generar múltiples tokens por paso forward mediante difusión a nivel de bloque, logrando un rendimiento de última generación (SOTA). Sin embargo, los métodos existentes adoptan un tamaño de bloque de inferencia fijo y asumen una estrategia de decodificación óptima uniforme para todas las entradas. En este artículo, demostramos que esta suposición es subóptima, ya que el tamaño de bloque óptimo varía entre muestras y juega un papel crítico en el rendimiento de la decodificación especulativa. Además, estos valores exhiben una clara estructura local, concentrándose alrededor del tamaño de bloque de entrenamiento, lo que reduce el problema a un espacio de decisión de baja dimensión y estructurado. Basándonos en estas observaciones, proponemos BlockPilot, una política adaptable a la muestra que predice el tamaño de bloque óptimo a partir de la representación de prellenado. Específicamente, formulamos la selección del tamaño de bloque como un problema de aprendizaje de políticas ligero y proponemos un mecanismo de decisión adaptable a la instancia que predice el tamaño de bloque óptimo basándose en la representación de la etapa de prellenado. La predicción se realiza solo una vez después del prellenado, permitiendo una integración fluida. Extensos experimentos demuestran que nuestro método es plug-and-play, introduce una sobrecarga mínima y mejora consistentemente la eficiencia, logrando una longitud de aceptación de 5.92 y un aumento de velocidad de 4.20 veces en Qwen3-4B bajo temperatura T=1.

Los modelos de Visión-Lenguaje-Acción (VLA) se obtienen típicamente ajustando modelos potentes de Visión-Lenguaje (VLM) preentrenados con datos robóticos, pero no está claro cuánto conocimiento de sentido común y factual retienen tras la adaptación. Los fallos en tareas que requieren conocimiento son ambiguos, mezclando falta de conocimiento con una pobre generalización del control de bajo nivel. Presentamos Act2Answer, un protocolo ligero que adapta los benchmarks de conocimiento de VLM a la evaluación de VLA al requerir que los agentes respondan a través de la acción. Cada pregunta se convierte en un breve episodio de mesa donde el agente realiza una única acción de colocación de objeto para seleccionar entre respuestas candidatas, obteniendo una tasa de éxito basada en la acción con menores factores de confusión de control. Seleccionamos un conjunto de pruebas de dichos entornos en diversas categorías de sentido común y conocimiento del mundo, e introducimos el sondaje de intención por capas para localizar información relevante para la respuesta a través de la columna vertebral del VLM y el cabezal de acción. En un estudio a gran escala con 7 modelos VLA y 9 líneas base VLM, clasificamos sistemáticamente los modelos por categorías, encontrando que los VLA muestran un rendimiento sólido en conceptos simples, pero presentan mayores brechas en categorías semánticas más ricas en comparación con sus VLM fuente; que el co-entrenamiento VQA se asocia con una mejor retención de conocimiento; y que las señales relevantes para la respuesta alcanzan su punto máximo en las capas medias de VLA, pero se atenúan en las capas superiores. Act2Answer está disponible en https://tttonyalpha.github.io/act2answer/.

Una escena 3D se comprende a través de sus objetos, no de las primitivas que los componen. Sin embargo, los métodos de reconstrucción feed-forward generan conjuntos densos y no estructurados de puntos o Gaussianas, dejando la estructura a nivel de objeto para ser recuperada posteriormente. Proponemos un marco feed-forward que descompone una escena en grupos de tokens 3D estructurados por instancias directamente a partir de imágenes multivista sin pose — unidades compactas centradas en objetos a partir de las cuales se derivan la reconstrucción, segmentación y manipulación. Cada grupo de tokens empareja un token de instancia que captura la identidad a nivel de entidad con tokens de anclaje que codifican la geometría y apariencia local, los cuales se decodifican en un conjunto de Gaussianas 3D. Esta factorización de dos niveles desacopla la identidad del objeto de la apariencia local, haciendo que las instancias de objetos sean una interfaz nativa de la representación, no un producto derivado. Los grupos de tokens se aprenden mediante renderizado diferenciable con supervisión conjunta de reconstrucción y segmentación, sin requerir anotaciones 3D. Nuestro modelo feed-forward supera a las líneas base de optimización por escena en segmentación de instancias independiente de clase, manteniéndose competitivo en síntesis de nuevas vistas. Más allá de estas métricas, los mismos grupos de tokens habilitan directamente la edición a nivel de instancia de la escena — eliminar, trasladar o insertar objetos operando sobre sus grupos — así como una recuperación eficiente de instancias 3D con vocabulario abierto, donde la complejidad de recuperación escala con el número de instancias en lugar de con las primitivas.

Los modelos generativos visuales suelen entrenarse en dos etapas. Primero se entrena un tokenizador para reconstrucción y luego se congela, tras lo cual se entrena un generador sobre sus índices discretos o latentes continuos. Este desacoplamiento deja al tokenizador ajeno a lo que el generador considera fácil de modelar. Presentamos GEAR (Guided End-to-end AutoRegression), que entrena un tokenizador con cuantización vectorial (VQ) y un generador autorregresivo (AR) de forma conjunta y extremo a extremo, guiado por alineación de representaciones. El principal obstáculo es que el índice VQ alimentado al modelo AR no es diferenciable, por lo que los gradientes no pueden llegar al tokenizador y un estimador directo colapsa. GEAR resuelve esto mediante una doble lectura de la asignación del codebook. Una rama one-hot dura entrena al AR con predicción del siguiente token, mientras que una rama suave diferenciable transporta una pérdida de alineación de representaciones que retropropaga para guiar exclusivamente al tokenizador. De este modo, el modelo AR orienta a su tokenizador hacia una distribución de índices que le resulte más fácil de predecir. Esto traslada la carga de alineación del tokenizador al AR: las características propias del tokenizador se vuelven menos similares a DINOv2, mientras que las del AR lo hacen más, lo contrario de las recetas del lado de difusión que hacen que el latente mismo sea semántico. GEAR acelera la convergencia de gFID en ImageNet hasta 10 veces en comparación con la sólida línea base LlamaGen-REPA, aprende características notablemente mejores a nivel de parches y coherentes espacialmente, y se generaliza entre cuantizadores (VQVAE, LFQ, IBQ) y a la generación de texto a imagen.

¿Ayudaría la experiencia en el diseño de kernels de GPU más rápidos a avanzar hacia una conjetura matemática abierta de larga data? Los modelos de lenguaje grandes (LLMs) integrados en la búsqueda evolutiva han producido recientemente soluciones de vanguardia en tareas de optimización, incluyendo conjeturas matemáticas abiertas, diseño de kernels de GPU, descubrimiento de leyes científicas y acertijos combinatorios. Para lograrlo, trabajos anteriores aplicaron andamios de búsqueda a una tarea objetivo a la vez, por lo que cada nuevo problema se aborda desde cero y la experiencia acumulada durante la búsqueda se descarta una vez que el modelo finaliza su intento. Esto deja la capacidad de evolucionar iterativamente una solución (por ejemplo, saber qué parte mutar y cómo, decidir cuándo retroceder) completamente en el andamio y no en el modelo mismo. Si el modelo mismo podría adquirir esta capacidad y reutilizarla en diferentes tareas ha sido en gran medida inexplorado. Para abordar esto, introducimos el Ajuste Fino Evolutivo (EFT, por sus siglas en inglés), un paradigma de entrenamiento intermedio que enseña a los LLMs a evolucionar soluciones a través de tareas convirtiendo trayectorias de búsqueda evolutiva en supervisión. Construimos Finch Collection, un conjunto de datos de 156 mil trayectorias que abarca 10 dominios y 371 tareas de optimización, y ajustamos finamente LLMs de código abierto desde 2B hasta 9B de parámetros. Empíricamente, EFT confiere generalización entre tareas: en 22 tareas reservadas, nuestros modelos superan a sus homólogos base en un 10,22% en promedio. Además, cuando se combina con RL en tiempo de prueba, nuestro modelo iguala el rendimiento de vanguardia en dos tareas de empaquetamiento de círculos y supera a su homólogo de modelo base en el problema de superposición mínima de Erdős. EFT sirve así como una "fase de práctica" para agentes de descubrimiento de propósito general que no resuelven problemas nuevos desde cero.

Modelos de Lenguaje de Difusión por Bloques (BD-LMs) mejoran la generación de texto basada en difusión mediante el almacenamiento en caché de KV y la generación de longitud flexible. Un paso natural es extenderlos desde Difusión de un Solo Bloque (SingleBD) a Difusión de Múltiples Bloques (MultiBD), donde un conjunto activo de bloques consecutivos se decodifica concurrentemente para lograr paralelismo entre bloques. Sin embargo, los BD-LM existentes se entrenan principalmente bajo forzamiento del profesor (teacher forcing), donde el modelo observa solo un bloque ruidoso condicionado a un prefijo limpio. Si bien la reciente estrategia de forzamiento de difusión (diffusion forcing) introduce visibilidad entre múltiples bloques ruidosos, sus estados de entrenamiento aún difieren de la inferencia MultiBD, donde la decodificación opera sobre un conjunto activo acotado con patrones de ruido heterogéneos por posición. Para cerrar esta brecha, proponemos los Modelos de Lenguaje de Difusión por Múltiples Bloques (MBD-LMs), obtenidos mediante el post-entrenamiento de BD-LM con Forzamiento del Profesor Multibloque (MultiTF). MultiTF integra el forzamiento del profesor y el forzamiento de difusión entrenando sobre grupos de ruido acotados condicionados a prefijos limpios, con programadores de ruido aleatorizados que se ajustan mejor a los estados de inferencia MultiBD. Para hacer que MultiBD sea prácticamente ejecutable, introducimos además un algoritmo de decodificación optimizado basado en el mecanismo de Búfer de Bloques que preserva la reutilización de caché de prefijos, mantiene estáticas las formas de entrada y traduce un mayor paralelismo de decodificación en aceleración de tiempo real. Empíricamente, MBD-LLaDA2-Mini aumenta el promedio de Tokens por Paso hacia Adelante (TPF) de 3.47 a 6.19 y mejora la precisión promedio de 79.95% a 81.03%; cuando se combina con DMax, MBD-LLaDA2-Mini-DMax alcanza un TPF promedio de 9.34 con una caída de solo 1.02% en precisión en puntos de referencia de matemáticas y código.

Las habilidades de los agentes dotan a los modelos de lenguaje con procedimientos, guiones y referencias específicas para cada tarea, pero los entornos y tareas que abordan cambian continuamente. Los métodos existentes mejoran estas habilidades en ejecuciones acotadas y conservan solo el artefacto final, descartando el historial de decisiones que los agentes posteriores necesitan para interpretar revisiones previas, evaluaciones y alternativas rechazadas. Presentamos SkillHone, un sistema para la evolución continua de habilidades en agentes, fundamentado en un historial persistente de decisiones. SkillHone empareja las revisiones de habilidades con evidencia del lado de la evaluación que proporciona retroalimentación práctica, registrando historiales estructurados de diagnósticos, revisiones, evidencia y resultados. Subagentes con roles separados ejecutan habilidades candidatas sobre pruebas de práctica con informes censurados y proponen revisiones informadas por decisiones previas, permitiendo refinamientos entre sesiones sin redescubrir el razonamiento pasado. En puntos de referencia de investigación profunda, SkillHone opera sin un sistema de búsqueda preintegrado y supera al agente de investigación profunda respaldado comercialmente en 15.8 puntos en GAIA y 3.2 puntos en WebWalkerQA-EN, al mismo tiempo que supera los métodos previos de evolución de habilidades. Además, implementamos SkillHone en escenarios internos de análisis mediados por herramientas, donde mejora la precisión en un promedio de 18.8 puntos en siete configuraciones.

Los modelos de mundo de video son modelos interactivos de generación de video que predicen estados futuros del mundo a partir de acciones del usuario y fotogramas de video históricos. Un desafío crítico en los modelos de mundo de video es la falta de memoria, lo que genera escenas inconsistentes en periodos prolongados. Métodos previos exploraron la recuperación de fotogramas de contexto basada en reglas como memoria, pero no logran generalizar en escenarios con oclusiones de escena y objetos dinámicos. Proponemos MemLearner, un método de consulta de contexto adaptativo basado en aprendizaje que utiliza tokens de consulta para conectar tokens de contexto y predichos. Al aprovechar el propio modelo de generación de video para la consulta de contexto, MemLearner explota los priores visuales preentrenados sin necesidad de entrenar módulos adicionales desde cero, e incorpora estrategias eficientes para entrenamiento e inferencia. Recopilamos un conjunto de datos de videos largos con oclusiones de escena y objetos dinámicos, emparejados con anotaciones de pose de cámara, y proponemos una estrategia de entrenamiento con múltiples conjuntos de datos que aprovecha tanto videos anotados renderizados como videos reales no anotados. Experimentos exhaustivos demuestran que MemLearner supera significativamente a los modelos de mundo de video anteriores en términos de consistencia de escena y memoria, particularmente en escenarios desafiantes con oclusiones y dinámicas.

La generación de imágenes ricas en texto es uno de los escenarios más desafiantes en la generación de imágenes, ya que los modelos deben producir simultáneamente imágenes visualmente realistas y renderizar texto legible, semánticamente alineado y coherente con el diseño. Los pipelines de datos existentes suelen seguir un paradigma estático de rastreo-filtro-congelación: recolectan muestras candidatas, las filtran una vez y congelan los datos aceptados para el entrenamiento. Sin embargo, las muestras rechazadas suelen descartarse, a pesar de que a menudo contienen señales de fallo útiles, como errores de OCR y desajustes semánticos. Como resultado, rondas posteriores de construcción pueden repetir los mismos modos de fallo. Para abordar estas limitaciones, proponemos DataEvolver, un marco multiagente autoevolutivo para la construcción de datos de imágenes ricas en texto. DataEvolver trata la construcción de datos como una evolución de políticas de construcción impulsada por retroalimentación. Un Recuperador recolecta muestras candidatas, un Verificador asigna puntuaciones de calidad y causas de rechazo, un Crítico resume la retroalimentación a nivel de ronda en retroalimentación semántica, y un Generador completa regiones subcubiertas mediante síntesis dirigida. La memoria de retroalimentación actualizada guía entonces la siguiente ronda de construcción. Experimentos en benchmarks de generación de imágenes ricas en texto muestran que DataEvolver produce datos de entrenamiento más útiles que las líneas base con conjuntos de datos fijos bajo presupuestos de datos equivalentes. A escala de 0,75M en PixArt-alpha, DataEvolver mejora el OCR-F1 en un 85,3% en TextScenesHQ y un 35,3% en LongTextBench en comparación con la línea base más fuerte. Las mejoras son consistentes en ambos benchmarks evaluados y también se transfieren a Show-o2, lo que indica que el beneficio de DataEvolver no está ligado a un único generador descendente. Estos resultados sugieren que las muestras rechazadas pueden proporcionar retroalimentación procesable para mejorar la construcción de datos de imágenes ricas en texto.

La metacognición es un componente crítico de la inteligencia que describe la capacidad de monitorear y regular los propios procesos cognitivos. Sin embargo, los modelos de lenguaje de gran escala (LLM) presentan deficiencias sistémicas en facultades metacognitivas clave: alucinan con alta confianza, no logran reconocer los límites de su conocimiento y representan incorrectamente su incertidumbre interna, lo que socava su fiabilidad y confiabilidad. Dado que monitorear el rendimiento en las tareas y adaptar el comportamiento en consecuencia es central para la metacognición, postulamos que los modelos capaces de juzgar con precisión su propio rendimiento están mejor posicionados para mejorarlo. Operacionalizamos esta idea mediante dos mecanismos novedosos: aprendizaje por refuerzo con retroalimentación metacognitiva (RLMF), un paradigma para refinar la clasificación de completaciones durante la optimización de preferencias basándose en la calidad de los autojuicios de rendimiento del modelo; y selección de datos metacognitiva, que utiliza autojuicios similares para identificar ejemplos de entrenamiento de alto valor, superando al aprendizaje activo ingenuo. Aplicamos estas innovaciones al problema de la calibración fiel (FC), una tarea que en sí misma es fundamentalmente metacognitiva: el objetivo es alinear la incertidumbre expresada con la intrínseca, algo incluso difícil para los LLM de frontera. Adoptamos un enfoque desacoplado en dos etapas: primero, usamos estos métodos para calibrar la fidelidad de las puntuaciones de confianza autoinformadas por los modelos; luego, las mapeamos a una incertidumbre lingüística natural y adaptable al contexto mediante edición dirigida de salidas. Experimentos exhaustivos muestran que RLMF logra una FC generalizable y de vanguardia en diversas tareas, preservando la precisión. Además, RLMF supera al RL estándar en hasta un 63% al tiempo que mejora la capacidad de los modelos para evaluar y expresar sus propios límites de capacidad. Esto posiciona a RLMF como un paradigma prometedor para mejorar la metacognición de los LLM hacia mejores habilidades y alineación, y sugiere que el rendimiento metacognitivo es una señal efectiva de RL para superar las limitaciones de los métodos previos de retroalimentación intrínseca.

La memoria procedural se utiliza cada vez más para mejorar los agentes de LLM en tareas laborales recurrentes, pero su capacidad para producir habilidades reutilizables sigue siendo poco comprendida. Presentamos AFTER, un benchmark de 382 tareas empresariales realistas que abarcan seis roles profesionales y 22 habilidades procedurales, diseñado para evaluar cómo las habilidades se transfieren entre tareas, roles y modelos base. El benchmark incluye entornos de evaluación controlados para mejora local, transferencia entre tareas, transferencia entre roles y generalización entre modelos. Los experimentos muestran que la memoria procedural proporciona ganancias consistentes en flujos de trabajo industriales: una sola ronda de refinamiento mejora el rendimiento agregado en 3.7-6.7 puntos, mientras que las habilidades evolucionadas a partir de rastros de ejecución diversos de múltiples modelos alcanzan un 73.1% de precisión de prueba entre modelos, superando todas las fuentes de rastros de un solo modelo. Además, encontramos que algunas habilidades se generalizan ampliamente entre tareas y modelos, mientras que otras se especializan en flujos de trabajo específicos de roles y pierden efectividad bajo transferencia. Estos resultados proporcionan orientación práctica para construir, evaluar e implementar sistemas de memoria procedural en plataformas de agentes en producción.

La diversidad en el razonamiento matemático de los LLM es fundamental para la exploración, pero las métricas de diversidad comunes capturan principalmente variaciones superficiales en lugar de diferencias en cómo se resuelve un problema. Abordamos esta brecha introduciendo la diversidad a nivel de enfoque: variación en las estrategias entre soluciones correctas para un mismo problema. Utilizando un marco de evaluación de LLM calibrado con humanos, demostramos que las medidas previas de diversidad son proxies poco fiables para la diversidad a nivel de enfoque, y este desajuste se traslada al RLVR consciente de la diversidad, donde se preservan las métricas objetivo mientras la diversidad a nivel de enfoque disminuye. Al investigar cuándo ayuda la diversidad a nivel de enfoque y si puede inducirse directamente, encontramos que los conjuntos de candidatos diversos en enfoque mejoran el escalado en tiempo de prueba. Sin embargo, optimizar una recompensa de diversidad basada en un evaluador LLM durante el entrenamiento provoca que la política explote preferencias específicas del evaluador en lugar de ampliar sus enfoques, dejando la optimización directa de la diversidad a nivel de enfoque como un problema abierto. En conjunto, nuestro trabajo introduce la noción de diversidad a nivel de enfoque y revela una divergencia sistemática entre las señales superficiales y las de nivel de enfoque, marcando un paso hacia LLM que razonan de formas genuinamente diversas y similares a las humanas.

Los fotomosaicos son imágenes grandes cuyas regiones locales se perciben como mosaicos independientes, mientras que su disposición general forma una escena coherente. Generarlos en alta resolución, con cada mosaico convincente por sí mismo, resulta costoso computacionalmente, ya que el lienzo debe contener muchos mosaicos detallados al mismo tiempo. Presentamos PhotoQuilt, un marco sin entrenamiento que genera fotomosaicos en resoluciones arbitrarias. Los modelos de difusión tienen dificultades para satisfacer ambas escalas simultáneamente, pues la generación directa de alta resolución es costosa y tiende a producir una imagen homogénea en lugar de un mosaico, mientras que el mosaico por parches conserva el detalle local pero pierde la estructura global. PhotoQuilt resuelve esto con un procedimiento de eliminación de ruido por mosaicos anidados. Primero generamos una composición global en baja resolución para fijar el diseño, luego la ampliamos en el espacio latente y reinyectamos ruido para restaurar la capacidad generativa. La eliminación de ruido procede dentro de mosaicos fijos, de modo que cada uno forma su propia imagen mientras la estructura global compartida los mantiene en un único diseño. Dado que la generación de mosaicos se maneja por separado, PhotoQuilt escala a lienzos grandes sin el costo de atención cuadrática. Los experimentos muestran que PhotoQuilt supera a las líneas base actuales tanto en estructura global como en realismo local.

Los modelos capaces de procesar voz se implementan cada vez más en aplicaciones del mundo real en múltiples idiomas. Sin embargo, su seguridad y equidad más allá del inglés y en condiciones naturalistas siguen siendo poco estudiadas. Examinamos las prácticas de reporte de seguridad en los lanzamientos de modelos de voz de última generación y encontramos que solo el 8% documenta algún análisis multilingüe. Para abordar esta brecha, presentamos RedVox, un punto de referencia multilingüe de seguridad y equidad para audio y voz basado en voces reales, que cubre solicitudes estereotípicas inseguras e injustas en cinco idiomas (inglés, francés, italiano, español y alemán). Al evaluar ocho modelos de última generación, encontramos que las vulnerabilidades persisten incluso en condiciones no adversariales, empeoran en idiomas distintos al inglés y se ven amplificadas cuando la solicitud proviene de una entrada hablada. Finalmente, mediante una encuesta a los participantes que contribuyeron a RedVox, documentamos los desafíos personales y de privacidad únicos que implica la recolección de datos de voz con participantes humanos, señalando desafíos sociotécnicos más amplios en la investigación naturalista de seguridad en el habla.

A medida que los corpus de video continúan expandiéndose tanto en escala como en complejidad de tareas, existe una demanda creciente de enfoques que recuperen videos relevantes de corpus a gran escala (razonamiento entre videos) y posteriormente realicen tareas detalladas condicionadas por la consulta (razonamiento dentro del video) en el contenido recuperado, como el anclaje temporal. Sin embargo, los enfoques existentes suelen tratar la recuperación como un paso de preprocesamiento y, en consecuencia, cuando la recuperación inicial falla, no existe un mecanismo para refinar la búsqueda, lo que lleva al fracaso del razonamiento detallado posterior dentro del video. Además, si bien los marcos agénticos recientes han avanzado en la comprensión de videos, generalmente asumen que el video relevante a la consulta ya está dado, centrándose exclusivamente en tareas de razonamiento intra-video. Para abordar estas limitaciones, proponemos VideoSearch-R1, un marco agéntico para la recuperación y el razonamiento iterativos de videos mediante interacción de múltiples turnos con un motor de búsqueda de videos. Específicamente, introducimos el refinamiento suave de consultas (Soft Query Refinement, SQR) para refinar los tokens de consulta de búsqueda en un espacio latente continuo, en lugar de reescribir las consultas en el espacio de texto discreto, lo que permite ajustes más eficientes y detallados. SQR y su proceso de razonamiento se entrenan mediante Optimización de Políticas Relativas por Grupos (Group Relative Policy Optimization, GRPO), guiados por señales de recompensa a nivel de tarea derivadas de tareas de recuperación y aguas abajo. Sobre esta base, VideoSearch-R1 logra un rendimiento de última generación en tres conjuntos de datos de Recuperación de Momentos en Corpus de Video (Video Corpus Moment Retrieval, VCMR), recuperando iterativamente videos de corpus a gran escala, refinando las consultas de búsqueda y realizando un anclaje temporal preciso condicionado por la consulta dentro del contenido recuperado. Nuestros análisis muestran que SQR refina eficazmente la consulta original, requiriendo significativamente menos tokens generados que el refinamiento explícito de consultas a nivel de texto. El código y los puntos de control del modelo están disponibles públicamente en mlvlab.github.io/VideoSearch-R1.

Los agentes de interfaz gráfica de usuario (GUI) se basan en modelos de visión y lenguaje para completar tareas de usuario de extremo a extremo en aplicaciones reales mediante acciones de interfaz como tocar, deslizar, ingresar texto y navegar. Sin embargo, los agentes GUI existentes se entrenan y evalúan principalmente en trayectorias fuera de línea, entornos simulados y puntos de referencia estandarizados. Estos difieren sustancialmente de las aplicaciones reales en cuanto al diseño de la interfaz, la lógica de interacción y la distribución de estados anormales, y no pueden caracterizar fielmente la estabilidad de ejecución en el uso real, donde los estados de cuenta, los diálogos de permisos, la autenticación de pagos y el control de riesgos remodelan continuamente la distribución de estados y generan una brecha persistente entre las puntuaciones de referencia y la usabilidad real. Para cerrar esta brecha, proponemos Xiaomi-GUI-0, un agente GUI multimodal nativo para entornos móviles reales, entrenado y evaluado dentro de un bucle cerrado con dispositivos reales. Su núcleo es una infraestructura híbrida dominada por dispositivos reales, donde los dispositivos físicos son el entorno de ejecución principal y los entornos aislados brindan soporte auxiliar, de modo que la recopilación de datos, el entrenamiento, la implementación y la evaluación compartan una distribución de ejecución cercana al despliegue real. Construimos datos de entrenamiento de múltiples fuentes que abarcan tareas principales de alta frecuencia, datos de alta generalización para intenciones de cola larga y datos de mejora de capacidades para reflexión y memoria, e introducimos un volante de datos impulsado por errores que convierte las trayectorias fallidas en acciones corregidas, explicaciones reflexivas y demostraciones de recuperación. El modelo se entrena mediante un pipeline progresivo de tres etapas que incluye ajuste fino supervisado, aprendizaje por refuerzo a nivel de paso y aprendizaje por refuerzo agéntico. Evaluado en puntos de referencia públicos y en nuestro RealMobile interno, Xiaomi-GUI-0 alcanza un 72,0% de éxito en RealMobile y un 78,9% en AndroidWorld, mejorando sustancialmente la estabilidad de ejecución y el reconocimiento de estados anormales en tareas del mundo real.

Los robots con múltiples dedos prometen la velocidad y destreza de las manos humanas, sin embargo, problemas desafiantes como el ensamblaje de precisión han permanecido fuera de alcance. Estas tareas son ricas en contacto, lo que dificulta la recolección de datos para el aprendizaje por imitación, y poseen recompensas dispersas, lo que hace que la exploración directa mediante aprendizaje por refuerzo (RL) sea intratable. En consecuencia, trabajos previos han logrado avances estructurando el problema con garras especializadas, accesorios de herramientas y fijaciones ambientales. En este trabajo, argumentamos que antes de que un robot pueda perfeccionar el ensamblaje de precisión, primero debe aprender a jugar. Además, nos preguntamos: ¿qué factores en el proceso de aprender a jugar son relevantes para el ensamblaje de precisión? Proponemos Play2Perfect, un marco de RL para preentrenamiento independiente de la tarea mediante juego con diversos objetos y metas, que luego se perfecciona en ensamblajes de precisión. El objetivo del juego es adquirir conocimientos previos de manipulación reutilizables, como agarre, reorientación en la mano y alcance de pose. El ajuste fino adapta luego estos conocimientos previos generales al ensamblaje, enfocando la exploración en las interacciones finales de alta precisión y ricas en contacto necesarias para el éxito. Estudiamos sistemáticamente opciones clave de diseño en el preentrenamiento mediante juego, incluyendo la diversidad de objetos, el objetivo de entrenamiento, la diversidad de trayectorias y la precisión de la meta. Demostramos que nuestros conocimientos previos son 33 veces más eficientes en términos de muestras que el entrenamiento de RL desde cero, incluso cuando se proporcionan recompensas densas de múltiples etapas. Logramos transferencia sim-to-real sin ejemplos, alcanzando un 60% de éxito en inserciones ajustadas con solo 0.5 mm de holgura de contacto, y más del 50% de éxito en ensamblajes de múltiples partes y atornillados de largo horizonte.

Aunque los modelos de lenguaje grandes han dominado recientemente el panorama investigativo, los modelos de lenguaje pequeños siguen siendo muy relevantes en diversos ámbitos; sin embargo, reciben mucha menos atención. En este estudio, investigamos el rendimiento de los modelos de lenguaje más pequeños durante la etapa de generación dentro de un sistema de Generación Aumentada por Recuperación (RAG). Para evaluar estos modelos de manera efectiva, utilizamos conjuntos de datos tanto de código abierto como propietarios que abarcan diversas áreas temáticas y tipos de preguntas. Nuestros hallazgos demuestran que un sistema RAG con modelos de lenguaje pequeños puede ejecutarse directamente en el dispositivo sin necesidad de hardware de GPU en un tiempo razonable. El código experimental y los enlaces a los materiales complementarios se pueden acceder a través del repositorio de GitHub: https://github.com/SibNN/SLM-RAG-EVAL.

Los agentes de LLM actúan cada vez más en horizontes temporales extensos, donde una única trayectoria puede contener cientos o miles de acciones. En estos entornos, las recompensas basadas únicamente en el resultado ofrecen una guía demasiado dispersa, sin informar al modelo sobre la bondad de las acciones intermedias. Los métodos de supervisión densa buscan resolver este problema puntuando los pasos intermedios, desde la confianza intrínseca hasta la autodestilación y las similitudes de incrustaciones. Sin embargo, es práctica común evaluarlos midiendo el rendimiento final de un pipeline de entrenamiento que los integra. Esto resulta costoso, confunde la calidad de la supervisión con factores de confusión propios de la ingeniería del entrenamiento, y deja a diferentes familias metodológicas, que requieren configuraciones de entrenamiento distintas, en situación de incomparabilidad. Como consecuencia, los métodos de supervisión densa rara vez se evalúan en un terreno común. Presentamos QVal, un banco de pruebas sin entrenamiento para evaluar directamente las señales de supervisión densa. Dado un par estado-acción, QVal mide qué tan alineada con Q está la puntuación de un método: es decir, si ordena las acciones según los valores Q de una política de referencia fuerte. Esto permite comparar señales antes de cualquier ejecución de entrenamiento y separar la calidad de la señal de otras decisiones de ingeniería. Implementamos QVal como QVal-v1.0, evaluando 21 métodos de supervisión densa en cuatro entornos diversos y siete familias metodológicas, con más de 1.200 experimentos de evaluación en seis backbones de modelos de peso abierto. Encontramos que las líneas base simples basadas en indicaciones superan consistentemente a los métodos recientes de supervisión densa de la literatura, y que el rendimiento se agrupa fuertemente por familia. Estos hallazgos se mantienen a través de tamaños de modelo, entornos y modalidades de observación. QVal está diseñado para ser fácilmente extensible a nuevos entornos y métodos, permitiendo a los investigadores iterar sobre métodos de supervisión densa antes de cualquier ejecución de entrenamiento.

Los Transformers autorregresivos dominan la generación de mallas de alta calidad al producir topologías dignas de artistas, pero su inherente decodificación secuencial induce una sobrecarga computacional sustancial, siendo órdenes de magnitud más lentos que los modelos generativos paralelos. Por otro lado, si bien los métodos de difusión continua y de emparejamiento de flujo admiten una síntesis paralela eficiente en diversos dominios, no pueden aplicarse directamente a las mallas: la conectividad de la malla es inherentemente discreta e incompatible con las operaciones estándar de inyección de ruido y eliminación de ruido continuas. Para resolver esta incompatibilidad fundamental, introducimos un compacto incrustador de topología que proyecta las posiciones discretas de los vértices de la malla y las normales en incrustaciones continuas por vértice, donde la información de adyacencia discreta original puede recuperarse fielmente mediante umbralización de distancia espacio-temporal. Después de preentrenar y congelar este incrustador, cualquier malla en bruto puede convertirse completamente en un espacio de estado continuo por vértice que unifica posición, normal y atributos topológicos implícitos. Construido sobre esta novedosa representación continua de malla, presentamos PolyFlow, un marco de emparejamiento de flujo basado en Transformers que logra una eliminación de ruido completamente paralela del estado de los vértices condicionada a características extraídas de nubes de puntos. Durante la inferencia, nuestro modelo completa la generación rápidamente mediante un solucionador de EDO, y admite un control explícito y preciso sobre la resolución de la malla de salida al especificar directamente el número de vértices objetivo. Evaluaciones exhaustivas en el punto de referencia Toys4K demuestran que PolyFlow supera a las líneas de base autorregresivas de última generación tanto en Distancia de Chamfer como en Distancia de Hausdorff.

La literatura en ciencia de materiales codifica décadas de conocimiento experimental en figuras, pero este registro visual permanece bloqueado e inaccesible para la IA a gran escala. La dificultad central es estructural: la mayoría de las figuras científicas son compuestas, con un único epígrafe que describe simultáneamente múltiples subpaneles, lo que hace que el emparejamiento directo imagen-texto no sea fiable. Presentamos MatMMExtract, un pipeline integral de código abierto que resuelve esto descomponiendo figuras compuestas en subpaneles individuales y generando anotaciones estructuradas y fundamentadas mediante un modelo de lenguaje grande guiado por una taxonomía curada de ciencia de materiales. Aplicado a 14 810 artículos de acceso abierto, MatMMExtract produce MatSciFig: 391 606 pares imagen-texto a nivel de panel provenientes de 180 571 figuras, cada uno anotado con un subepígrafe, una categoría de visualización de dos niveles que abarca 19 clases y más de 100 subtipos, y un resumen científico. Para permitir una localización precisa de paneles, presentamos MaterialScope, un conjunto de datos de detección específico del dominio con 2 811 figuras de ciencia de materiales anotadas manualmente, en el cual un detector YOLO12-m ajustado alcanza un mAP_50 de 0.9227. Entre seis modelos de lenguaje evaluados, Gemini 3.1 Flash Lite ofrece la mejor relación coste-calidad para la generación de anotaciones, con un 82% de salidas calificadas como buenas y una tasa de alucinación del 4.8%. Una línea base de recuperación con codificador dual en MatSciFig logra una mejora de 4.4 veces en R@1 frente a CLIP en modo cero disparo, demostrando la utilidad inmediata del conjunto de datos para el aprendizaje visión-lenguaje. Todos los recursos se publican abiertamente para la comunidad.

El aprendizaje por refuerzo agéntico requiere asignar crédito a acciones orientadas al entorno, como búsquedas, clics, ediciones, comandos de navegación e interacciones con objetos. El GRPO estándar utiliza el resultado final del verificador como una ventaja uniforme sobre todos los tokens de acción. Esta señal de resultado es útil pero estructuralmente incompleta: penaliza la exploración útil en trayectorias fallidas y refuerza acciones redundantes o regresivas en trayectorias exitosas. Proponemos TRIAGE, un marco de asignación de crédito tipado por roles que añade un eje semántico de rol al crédito del resultado. Un juez estructurado clasifica cada segmento como progreso decisivo, exploración útil, infraestructura sin progreso o regresión, y una regla fija condicionada por el rol asigna estas etiquetas a recompensas de proceso acotadas a nivel de segmento. Esto mantiene los resultados del verificador como fuente de dirección de optimización, a la vez que corrige los dos principales puntos ciegos del crédito basado solo en resultados. Además, demostramos que el crédito condicionado por el rol constituye la corrección óptima a nivel de segmento expresable únicamente a partir de etiquetas de rol —una proyección del residual de ventaja por segmento sobre la variable de rol—, de modo que las constantes de rol fijas reducen el error de estimación de la ventaja siempre que el juez sea fiable, y vinculamos esto a gradientes de política de menor varianza. En ALFWorld, Search-QA y WebShop, TRIAGE mejora las tasas de éxito respecto a GRPO para dos modelos de política, y supera tanto una recompensa de proceso derivada de un juez escalar como una línea base de valor de columna vertebral compartida supervisada por resultados. Las ablaciones muestran que la ganancia proviene del tipado por roles y no simplemente de añadir recompensas densas: la detección fiable de regresión dentro de trayectorias exitosas es el contribuyente dominante, mientras que el crédito de exploración proporciona una ganancia secundaria consistente; en trayectorias completadas de ALFWorld y WebShop, TRIAGE también reduce los turnos orientados al entorno en un 10.4% y 14.8% adicionales respecto a GRPO.

Modelar la correspondencia bidireccional entre los estímulos sensoriales externos y la actividad neuronal interna se ha convertido en una frontera crítica en neurociencia. Sin embargo, los enfoques existentes tratan predominantemente la codificación y decodificación cerebral como tareas aisladas, basándose en gran medida en la alineación unimodal y priores externos, mientras pasan por alto la naturaleza intrínseca del cerebro como sistema de integración multimodal. Para abordar estas limitaciones, proponemos BrainJanus, el primer modelo cerebral unificado que integra cerebro, visión y lenguaje dentro de un único marco. Específicamente, introducimos un Tokenizador Cerebral Unificado para cuantizar la dinámica neuronal continua en tokens discretos alineados con representaciones visuales y lingüísticas en un espacio Omni compartido. Sobre esta base, utilizamos una arquitectura autoregresiva Todo-en-Uno que aprovecha la predicción del siguiente token para permitir una generación fluida de cualquier-a-cualquier, que abarca la codificación de imagen-a-cerebro y texto-a-cerebro, y la decodificación de cerebro-a-imagen y cerebro-a-texto. Experimentos exhaustivos demuestran que BrainJanus logra un rendimiento superior en diversos puntos de referencia. Además, nuestro marco exhibe generalización de cero disparos y preserva una topografía biológica interpretable, destacando su potencial como paradigma de modelado cerebral de propósito general. El código está disponible en https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

Los modelos de lenguaje grandes (LLMs) modernos dependen del aprendizaje por refuerzo durante el post-entrenamiento para potenciar capacidades específicas, pero integrar múltiples capacidades en un solo modelo sigue siendo difícil. Métodos existentes, como el Ajuste Fino Fuera de Política (Off-Policy Finetune) y RL-Mixto (Mix-RL), son ineficientes o pierden rendimiento. En este trabajo proponemos Destilación En Política Multi-Maestro (MOPD), un paradigma de post-entrenamiento para combinar las capacidades de múltiples maestros de RL de dominio: primero ejecutamos RL especializado por dominio para obtener un conjunto de maestros de dominio, luego destilamos estos maestros en el estudiante utilizando sus propios despliegues. Esto elimina el sesgo de exposición y proporciona una señal de optimización densa. En Qwen3-30B-A3B, MOPD supera a las líneas base RL-Mixto, RL en Cascada, Ajuste Fino Fuera de Política y Fusión de Parámetros (Param-Merge), heredando casi toda la capacidad de cada maestro. MOPD también permite el desarrollo paralelo e independiente de maestros de dominio, eliminando el acoplamiento entre dominios típico del post-entrenamiento multi-dominio. MOPD se ha implementado en el post-entrenamiento de MiMo-V2-Flash, un modelo frontera a escala industrial, demostrando su valor práctico para la integración de capacidades en LLMs a escala frontera.

La generación de audio-video ha ganado recientemente una atención investigativa sin precedentes, con el objetivo de sintetizar contenido de video de alta calidad sonora que presente una sincronización precisa y una alineación semántica entre los componentes auditivos y visuales. Los métodos anteriores adoptan predominantemente un diseño de doble rama con módulos separados de tokenización y generación por modalidad, descuidando la brecha de representación y exigiendo recursos computacionales intensivos para un entrenamiento adecuado. Inspirándonos en avances recientes en tokenización visual unidimensional, presentamos AVTok, un novedoso tokenizador unificado diseñado para la generación holística de audio-video. AVTok cuenta con una arquitectura basada en transformadores de flujo dual con un codificador-decodificador compartido y consultas aprendibles específicas de cada modalidad para codificar de manera eficiente y efectiva un par audio-video en una representación latente unidimensional compacta con un libro de códigos unificado. Para abordar el desequilibrio de información heterogénea que impide que AVTok aproveche la información audiovisual alineada, diseñamos una estrategia de entrenamiento jerárquico para lograr progresivamente capacidades de reconstrucción para cada modalidad. Experimentos exhaustivos demuestran que AVTok sobresale tanto en la reconstrucción de audio-video como cuando se integra en flujos de trabajo posteriores para generación de audio a video, video a audio y generación conjunta de audio-video condicionada por clase. AVTok allana el camino para el desafío de la tokenización conjunta de audio-video y proporciona una dirección potencial para construir modelos multimodales grandes y unificados para la generación de audio-video.

Los modelos generativos han logrado un progreso notable, sin embargo, aplicarlos a imágenes satelitales sigue siendo un desafío. A diferencia de las imágenes naturales, las escenas satelitales están estructuradas por geometrías espacialmente complejas y semánticamente distintas. Trabajos previos abordan esta complejidad adaptando marcos de imágenes naturales mediante el uso de rásteres densos o indicaciones dispersas, intercambiando costo de anotación y fidelidad mientras se rompe la compatibilidad con primitivas vectoriales comúnmente utilizadas para representar información geográfica. Presentamos TerraDiT-Ω, un marco unificado de control espacial que genera imágenes satelitales directamente desde cualquier primitiva geoespacial nativa. Al aprovechar conjuntamente anotaciones precisas (polígonos, polilíneas) y otras más gruesas (cajas delimitadoras, puntos), el modelo admite diseños controlables en diversos presupuestos de anotación, ampliando la aplicabilidad a tareas de diseño como la planificación urbana, manteniéndose naturalmente compatible con flujos de trabajo GeoAI de extremo a extremo. Para aprovechar eficazmente estas primitivas durante la generación, proponemos la Atención Local Consciente de la Geometría, un mecanismo de condicionamiento que inyecta señales geométricas explícitas en el espacio de atención. En todos los formatos de condicionamiento, nuestro enfoque supera consistentemente tanto las líneas base de control denso como las de control disperso. Además, esta flexibilidad permite aumentar datos sintéticos controlables utilizando un único modelo generativo, mejorando el rendimiento posterior en segmentación de cobertura terrestre, detección de objetos, extracción de grafo de carreteras y clasificación de escenas. El código, los datos y los pesos están disponibles en https://github.com/mvrl/TerraDiT.

Los modelos fundacionales han transformado el procesamiento de visión y lenguaje al proporcionar representaciones ricas y reutilizables que se transfieren a diversas tareas. La partitura musical, como codificación visual del lenguaje musical, carece de un modelo base sólido específico para este dominio. Presentamos MuSViT (Music Score Vision Transformer): el primer modelo fundacional de visión para la representación de partituras musicales: un codificador ViT preentrenado mediante Autoencoders Enmascarados en 9.7 millones de páginas del IMSLP. Para manejar la complejidad de las partituras del mundo real, adoptamos un currículo de dos etapas: un calentamiento sintético con partituras editadas tipográficamente, seguido de un entrenamiento a gran escala en el corpus completo de IMSLP. Evaluamos MuSViT en cuatro tareas posteriores: reconocimiento de partituras a nivel de página y de pentagrama, detección de símbolos musicales y clasificación de dificultad de la partitura, bajo dos escenarios: sonda lineal (codificador congelado) y ajuste fino. Con sonda lineal, MuSViT supera consistentemente a los codificadores de visión modernos, revelando que las representaciones de propósito general, independientemente de su escala, presentan deficiencias sistemáticas frente a las propiedades simbólicas estructuradas de la notación musical. Con ajuste fino, MuSViT generalmente mejora los métodos de vanguardia específicos de cada tarea. Un análisis adicional de consistencia entre incrustaciones y transcripciones revela que MuSViT codifica directamente la estructura musical simbólica en su espacio de representación, a diferencia de otros codificadores cuyas incrustaciones no se correlacionan con el contenido de la notación musical. Estos resultados establecen a MuSViT como un modelo base fundacional para la comprensión de partituras musicales.

Los sistemas operativos actuales exponen interfaces optimizadas para usuarios humanos, pero no para agentes de IA. Los humanos se benefician de píxeles, iconos, ventanas, agrupación visual, movimientos del ratón y atajos de teclado; los agentes de IA, en cambio, necesitan un estado semántico compacto, acciones fundamentadas y retroalimentación fiable. Como resultado, muchos agentes de uso de computadoras se ven forzados a interpretar capturas de pantalla, salidas de OCR y recortes visuales, lo que introduce altos costos de tokens, ambigüedad visual, latencia e incertidumbre de coordenadas. Este artículo presenta LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), una capa de interacción semántica entre agentes de IA y sistemas operativos. LUMOS convierte los metadatos nativos de accesibilidad y las estructuras de interfaz de usuario del navegador en planos semánticos legibles por máquina con identificadores estables, roles, nombres, valores, límites y posibilidades de acción. También permite la fundamentación semántica en vivo del puntero al consultar el elemento de interfaz de usuario debajo o cerca del cursor mediante APIs de automatización del sistema operativo. Un LLM actúa entonces a través de un bucle de observación y acción fundamentado en accesibilidad, utilizando primitivas de interfaz de usuario visibles y restringidas en lugar de scripts específicos de aplicaciones. LUMOS no pretende reemplazar a los agentes visuales; en cambio, reduce la dependencia de capturas de pantalla cuando los sistemas operativos ya proporcionan estructura semántica. Estos resultados sugieren un camino hacia sistemas operativos nativos para IA y capas de interacción legibles por máquina.

Presentamos SWE-Interact, un nuevo banco de pruebas para evaluar agentes de codificación en tareas multiturno, interactivas e impulsadas por el usuario en el ámbito de la ingeniería de software. Los puntos de referencia frontera existentes suelen proporcionar requisitos completos por adelantado y evaluar a los agentes en la implementación autónoma. En contraste, SWE-Interact sitúa a los agentes en un flujo de trabajo de desarrollo realista: un simulador de usuario cuidadosamente diseñado comienza con instrucciones vagas o incompletas, revela progresivamente los requisitos, inspecciona el espacio de trabajo del agente y proporciona retroalimentación dirigida, revisiones y nuevas restricciones hasta que el objetivo completo de la tarea ha sido transferido. Fundamentado en estudios a gran escala de interacciones reales con agentes de codificación, esta configuración evalúa si los agentes pueden descubrir la intención del usuario, adaptarse a requisitos en evolución y construir sobre su propio trabajo previo. En un conjunto de modelos frontera y de peso abierto, encontramos que un buen rendimiento en tareas SWE de un solo turno no se transfiere de manera fiable a flujos de trabajo multiturno e impulsados por el usuario: los modelos con mejor rendimiento resuelven aproximadamente el 50% de las tareas base de un solo turno, pero solo el 25% de las tareas correspondientes de SWE-Interact. Los modelos más potentes de nuestra evaluación, incluidos Opus 4.8 y GPT 5.5, comienzan con fuerza incluso ante instrucciones iniciales vagas, persisten hasta que todos los requisitos son revelados por el usuario, los integran mejor y escriben código limpio. Sin embargo, aún presentan problemas de codificación excesivamente autónoma, olvido de requisitos y errores técnicos. Los modelos más débiles comienzan mal bajo ambigüedad, se rinden temprano, olvidan o ignoran instrucciones y rehacen su código con más frecuencia. En general, SWE-Interact mide un eje de capacidad ortogonal y del mundo real para el desarrollo de modelos frontera: el descubrimiento interactivo de objetivos y el refinamiento iterativo con un usuario en el circuito.

Las bibliotecas y herramientas de código abierto se reutilizan ampliamente, pero el mantenimiento de la compatibilidad es costoso. Cuando los mantenedores se van, los repositorios útiles pueden dejar de funcionar a medida que los entornos de ejecución y las dependencias evolucionan. Estudiamos si los agentes LLM pueden adaptar repositorios antiguos a entornos modernos, una tarea que denominamos rescate de compatibilidad. A diferencia de la reparación de errores, el rescate de compatibilidad parte de un repositorio que funcionaba en su entorno original pero falla tras la deriva del ecosistema. RepoRescue proporciona a los agentes solo el repositorio y su entorno moderno fallido; el agente debe diagnosticar el fallo, localizar el código afectado y producir un rescate de código fuente que restaure el conjunto de pruebas histórico. Construimos RepoRescue a partir de 193 repositorios de Python y 122 de Java, cada uno verificado para funcionar históricamente y fallar tras la modernización. Evaluamos cinco sistemas agentes implementados en Python y tres en Java. Más allá de la tasa de aprobación de parches completos, volvemos a ejecutar los parches tras eliminar las ediciones en archivos de prueba para medir la reparación solo de código fuente, añadimos un régimen de ejecución forzada que bloquea las ediciones de pruebas, y validamos el uso práctico para repositorios cuyos conjuntos de pruebas pasan tras el rescate. Encontramos que los sistemas Claude Code a veces editan pruebas fallidas incluso cuando se les indica que no lo hagan; con bloqueo en tiempo de ejecución, Kimi aún rescata el 41.5% de los repositorios. Los sistemas son complementarios: su unión alcanza el 62.7%, superando al mejor sistema individual en 10.9 puntos. La dificultad se concentra en la coordinación entre archivos: en 14 repositorios que requieren cambios coordinados en todo el código base, GPT-5.2 a través de Codex aprueba los 14, mientras que cada sistema Claude Code aprueba como máximo dos. Finalmente, un conjunto de pruebas que pasa es solo una señal inicial: entre 34 candidatos de Python no mantenidos cuyos conjuntos de pruebas pasan tras el rescate, 22 funcionan en escenarios realistas y 12 pasan la búsqueda de errores con parches que abordan el fallo de compatibilidad. RepoRescue establece un punto de referencia para el rescate de compatibilidad con auditoría solo de código fuente, ejecución forzada, validación práctica y etiquetas de razonamiento.

Los modelos de lenguaje grandes (LLMs) se utilizan cada vez más para tomar acciones en el mundo real y apoyar la toma de decisiones humanas, sin embargo la mayoría de los agentes dependen de conocimiento paramétrico, datos fijos posteriores al entrenamiento, recuperación o búsqueda. Este paradigma se desmorona en dominios novedosos y para consultas sofisticadas que no pueden responderse solo a partir del conocimiento previo. Conocer las leyes de la física, por ejemplo, no permite por sí mismo que los LLMs respondan consultas o completen tareas de largo horizonte en un sistema físico complejo. Para abordar esto, presentamos Agentes Experimentalistas Jerárquicos (HExA), un marco de auto-mejora en contexto para aprender mediante experimentación activa. HExA diseña y refina iterativamente experimentos relevantes a la consulta, aprende una biblioteca reutilizable de habilidades componibles a partir de la experiencia, e integra evidencia experimental para responder consultas o tomar acciones. HExA no requiere entrenamiento, es compatible con cualquier modelo de caja negra, y no necesita supervisión externa, oráculos ni datos fuera de línea. Para evaluar la experimentación activa, presentamos Interphyre, un punto de referencia de invocación de herramientas construido sobre el entorno de física procedimental 2D PHYRE, donde los agentes proponen intervenciones y prueban hipótesis a través de APIs de simulación. Los experimentos muestran que los agentes LLM actuales tienen dificultades en estos entornos, especialmente en los niveles más difíciles de Interphyre. Claude Sonnet 4.6 alcanza solo un 2% de éxito, mientras que HExA mejora el mismo modelo hasta un 77% de éxito. HExA también mejora modelos de pesos abiertos y supera líneas base agentivas como ReAct y Reflexion. Además, utilizando solo habilidades aprendidas de niveles más fáciles y transferidas sin experimentación activa, HExA logra un 44% de éxito, demostrando la reutilización y generalización de sus habilidades aprendidas. En general, HExA muestra que el aprendizaje mediante experimentación activa puede ayudar a los agentes a descubrir conocimiento útil, adquirir habilidades reutilizables y progresar eficientemente en tareas novedosas de largo horizonte.

Presentamos un marco libre de entrenamiento y optimización que opera en modo zero-shot para generar imágenes y videos panorámicos de 360°, mediante la inyección directa de prioridades esféricas en transformadores de difusión preentrenados. Los métodos existentes o bien dependen de un costoso ajuste fino en datos panorámicos escasos que limita la generalización, o aprovechan una optimización de múltiples pasos que conlleva una latencia de inferencia prohibitiva. Observamos que los modelos generativos contemporáneos exhiben de forma nativa ciertas prioridades panorámicas derivadas del entrenamiento a gran escala. Sin embargo, estas capacidades emergentes son insuficientes, ya que los modelos no logran satisfacer las rigurosas restricciones topológicas impuestas por la proyección equirrectangular (ERP). Introducimos un enfoque zero-shot y libre de optimización que resuelve estas restricciones en tiempo de inferencia. Spherical RoPE reemplaza los embeddings posicionales rotatorios estándar: los canales de baja frecuencia se reparametrizan como coordenadas cartesianas 3D para codificar de forma nativa la variedad esférica, mientras que los canales de alta frecuencia se cuantizan armónicamente para imponer una periodicidad exacta. Combinado con la guía libre de clasificador (CFG) de Distorsión Semántica complementaria, que dirige explícitamente la geometría, evitamos el reentrenamiento y heredamos toda la amplitud creativa de los modelos de vanguardia. Nuestro enfoque se generaliza a través de diversas arquitecturas base y modalidades de generación 360°. Lo demostramos en texto a panorama usando las arquitecturas base Flux.1, Flux.2 y LTX-Video, logrando un rendimiento competitivo frente a las líneas base, todo ello sin requerir entrenamiento. Página del proyecto: https://orhir.github.io/SpheRoPE

Los sistemas de inteligencia artificial suelen evaluarse mediante el desempeño en tareas y la imitación conductual, pero dichas evaluaciones no resuelven si un agente artificial puede adquirir, estabilizar y usar nuevos significados léxicos a partir de la experiencia fundamentada. Este artículo presenta Consenso Léxico, un marco experimental para estudiar el aprendizaje de palabras fundamentado sobre un sustrato perceptual estructurado. Mediante incrustaciones visuales congeladas de DINOv2, palabras inventadas al estilo Carroll y aprendices léxicos interpretables junto con líneas base lineales, evaluamos si los agentes pueden adquirir etiquetas artificiales para conceptos visuales, generalizarlas bidireccionalmente y estabilizarlas en entornos controlados. El resultado principal es un gradiente robusto de coherencia perceptiva: las categorías nativas son las más fáciles de aprender, las sobreextensiones coherentes siguen siendo aprendibles, los conceptos disyuntivos de rango medio se degradan y los conceptos disyuntivos lejanos se aproximan al azar. Un experimento de disociación preregistrado con CIFAR-100 confirma que este gradiente está gobernado por la distancia perceptiva y no por la relación semántica: la distancia perceptiva predice la precisión de adquisición (R² parcial = 0,245, p < 1e-7), mientras que la distancia semántica no añade poder explicativo significativo (R² parcial = 0,002, p = 0,660). La evaluación bidireccional muestra que la denominación y la recuperación son distintas: los mecanismos basados en ejemplares superan a los prototipos centroidales en la recuperación de etiqueta a imagen, revelando una dimensión de fidelidad de memoria separada de la precisión en denominación. Los controles de falsación, las evaluaciones con grupos de candidatos homogéneos y los resultados nulos sobre la reestructuración representacional indican que la geometría perceptiva congelada tanto permite la fundamentación léxica como limita lo que puede adquirirse sin adaptación representacional.

Los conjuntos de datos de edición de video basados en instrucciones existentes suelen centrarse en la edición de apariencia de una sola tarea, sin satisfacer las complejas demandas creativas de escenarios del mundo real. Para superar esta limitación, presentamos Goku, un conjunto de datos a gran escala que contiene 2 millones de pares de edición de video de alta calidad y alineados con instrucciones, siendo el primero en extender los límites de las tareas desde la edición básica de apariencia hacia manipulaciones estructurales y multitarea (por ejemplo, control preciso del movimiento del sujeto). Para abordar los desafíos de síntesis de datos inherentes a estas tareas complejas, diseñamos un pipeline eficiente de síntesis de datos que descompone ediciones complejas en subproblemas controlables e introducimos un sistema de filtrado progresivo para garantizar la confiabilidad de los datos durante todo el proceso. Además, exploramos las estructuras de red óptimas en Goku y proponemos Goku-Edit. Para comprender a fondo las instrucciones de edición complejas, Goku-Edit utiliza un MLLM como codificador de texto y adopta un diseño de rama dual desacoplada: una rama de máscara dedicada maneja el control estructural, liberando a la rama principal para la representación de apariencia. También se propone un punto de referencia integral de edición de video, Goku-Bench, con 1,000 casos de prueba verificados por humanos y 7 nuevas métricas específicas de edición. Evaluado en Goku-Bench, Goku-Edit obtiene una mejora de hasta +8% en el seguimiento de instrucciones en comparación con otros modelos de código abierto.

Los Modelos de Lenguaje Hablado (SLM) extienden los LLMs a la entrada y salida de habla. Los SLM existentes representan el habla a frecuencias de trama fijas (por ejemplo, 25 o 12.5 Hz), ignorando la densidad de información del habla que varía con el tiempo y sin ofrecer flexibilidad para compensar calidad por velocidad en tiempo de inferencia. Investigaciones recientes sobre tokenizadores de audio han propuesto la codificación de habla con frecuencia de trama dinámica, que explota esta no uniformidad y habilita dos nuevas capacidades: frecuencias de trama promedio muy bajas y controlabilidad de la frecuencia de trama. Sin embargo, esta técnica aún no se ha aplicado a los SLM. Presentamos Flexible Spoken Language Model (FlexiSLM), el primer SLM que admite frecuencias de trama dinámicas y controlables tanto en la entrada como en la salida de habla. Usando representaciones con frecuencia de trama dinámica, FlexiSLM supera a modelos de 7B con frecuencia de trama fija, incluyendo Qwen2.5-Omni y Kimi-Audio, en sus puntos de operación de alta calidad. Además, verificamos que FlexiSLM puede dirigirse con precisión hasta 4.0 Hz; a 6.25 Hz, aproximadamente reduce a la mitad el tiempo de inferencia en relación con 12.5 Hz, manteniendo una sólida calidad de habla a habla. Hay muestras de audio disponibles en https://flexislm.github.io .