Papers Diarios

Se espera que los agentes de LLM actúen a lo largo de múltiples turnos, utilizando búsquedas, interfaces de navegación y herramientas de terminal para completar los objetivos del usuario. Sin embargo, no todos los objetivos están bien especificados o son alcanzables en el entorno disponible. En tales casos, un agente fiable debería reconocer que una interacción adicional probablemente no ayudará y abstenerse de realizar más llamadas a herramientas. Definimos la abstención agentiva, el problema de decidir cuándo un agente debe dejar de actuar bajo incertidumbre. A diferencia de la abstención estándar en LLM, que generalmente se evalúa como una decisión de responder o abstenerse en un solo turno, la abstención agentiva es un problema de decisión secuencial: un agente puede responder, abstenerse o recopilar más información en cada turno, y la necesidad de abstenerse solo puede ser evidente después de interactuar con el entorno. Estudiamos este problema en entornos de compras web, terminales y respuesta a preguntas, evaluando 13 sistemas de agente como LLM y 2 andamiajes de agente en más de 28,000 tareas. Nuestros resultados muestran que el principal desafío no es solo si los agentes pueden abstenerse, sino también cuándo lo hacen. Algunos agentes nunca se abstienen cuando deberían, mientras que otros lo hacen solo después de muchas interacciones innecesarias. Esta brecha es especialmente grande en tareas donde la instrucción parece factible hasta que el entorno revela lo contrario (por ejemplo, ningún resultado válido coincide con la instrucción). Además, encontramos que la escala del modelo, el razonamiento y el andamiaje del agente afectan la abstención de diferentes maneras, donde modelos más grandes o más capaces a veces tienen un peor desempeño en la abstención oportuna. Finalmente, presentamos CONVOLVE, un método de ingeniería de contexto para mejorar la abstención agentiva que destila trayectorias de interacción completas en reglas de parada reutilizables. En WebShop, CONVOLVE mejora sustancialmente la abstención oportuna sin actualizar los parámetros del modelo, elevando la tasa de recuperación oportuna de Llama-3.3-70B del 26.7 al 57.4. Nuestro conjunto de datos y código están disponibles en https://lhannnn.github.io/agentic-abstention.

La edición de video en streaming ha progresado rápidamente, pero su implementación práctica aún está limitada por dos problemas centrales: mantener fondos estables y regiones no editadas a lo largo del tiempo, y lograr la baja latencia requerida para escenarios interactivos en tiempo real. Mientras tanto, los métodos recientes de generación de video en streaming se desarrollan principalmente para síntesis y no pueden aplicarse directamente a la edición debido al estricto requisito de preservación y al control específico por regiones. En este trabajo, presentamos un novedoso marco de edición de video en streaming que realiza edición causal, fotograma a fotograma, con una fuerte preservación del contenido y capacidad de respuesta en tiempo real. Nuestro diseño clave es un proceso de destilación de tres etapas que transfiere progresivamente la capacidad de edición de un potente modelo base bidireccional a un editor de streaming unidireccional eficiente, permitiendo ediciones estables a largo plazo sin sacrificar la fidelidad visual. Para respaldar aún más el despliegue en tiempo real, introducimos una caché de máscara orientada a RA que reutiliza el cálculo relacionado con regiones entre fotogramas, reduciendo sustancialmente el procesamiento redundante y acelerando la inferencia. Finalmente, establecemos un punto de referencia dedicado para la edición de video en streaming. Evaluaciones exhaustivas demuestran que nuestro método alcanza la mejor calidad visual entre las líneas base de streaming, mientras aumenta drásticamente la velocidad de inferencia a 12.66 FPS, lo que lo hace adecuado para aplicaciones interactivas y de realidad aumentada.

Presentamos Agents-A1, un modelo agéntico de 35B basado en Mezcla de Expertos que alcanza un rendimiento propio de modelos con billones de parámetros mediante la ampliación del horizonte del agente. Investigamos la ampliación del horizonte del agente desde dos perspectivas: la ampliación de trayectorias de largo horizonte y la ampliación de capacidades agénticas heterogéneas. Para apoyar este objetivo, construimos una infraestructura de conocimiento-acción de largo horizonte que conecta conocimiento externo, acciones, observaciones y resultados de verificadores, generando trayectorias agénticas con una longitud promedio de 45K tokens. Con base en esto, entrenamos Agents-A1 con un procedimiento de tres etapas. Primero, realizamos un ajuste fino supervisado de dominio completo para alinear el modelo base con comportamientos agénticos amplios. Segundo, entrenamos modelos profesores a nivel de dominio para capturar experiencia especializada en cada dominio. Tercero, proponemos una destilación dentro de la política con enrutamiento multi-profesor por dominio y alineación de vocabulario saliente para mejorar la eficiencia de la transferencia de conocimiento entre distintos dominios, unificando seis dominios heterogéneos en un único modelo alumno desplegable. Agents-A1 logra un rendimiento sólido y amplio en evaluaciones de agentes de largo horizonte. En comparación con modelos de 1 billón de parámetros como Kimi-K2.6 y DeepSeek-V4-pro, Agents-A1 obtiene resultados líderes en SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) y MolBench-Bind (56,8), y se mantiene altamente competitivo en SciCode (44,3), HLE (47,6) y BrowseComp (75,5). Esperamos que este trabajo proporcione a la comunidad un camino práctico para ampliar el horizonte utilizando un agente de 35B que pueda alcanzar o igualar el rendimiento de modelos de 1B en tareas de largo horizonte.

A medida que los modelos de lenguaje de gran escala y los marcos de integración continúan avanzando, los agentes que operan en terminales son cada vez más capaces de realizar una gama más amplia de tareas generales de uso de computadoras, más allá de la codificación. Sin embargo, las evaluaciones comparativas existentes no evalúan adecuadamente a los agentes de uso de terminales de propósito general (TUAs): las evaluaciones comparativas de uso general se centran principalmente en interfaces gráficas de usuario (GUI), mientras que las evaluaciones basadas en terminales enfatizan en gran medida flujos de trabajo técnicos y centrados en la programación que históricamente son nativos del shell. Presentamos TUA-Bench, una evaluación comparativa de propósito general para agentes de uso de terminales. TUA-Bench incluye 120 tareas del mundo real en cinco familias de tareas, que abarcan actividades digitales rutinarias —incluyendo edición de documentos, gestión de correo electrónico y búsqueda de información en la web en vivo— así como flujos de trabajo científicos y de ingeniería, co-diseñados con expertos en el dominio a nivel de doctorado, que requieren software especializado. Esta amplitud distingue a TUA-Bench de evaluaciones comparativas previas, centradas en el shell o en dominios específicos. Cada tarea está diseñada manualmente, se ejecuta en una terminal real con un script de configuración determinista y se evalúa mediante un protocolo de puntuación basado en la ejecución. Encontramos que el agente fronterizo más fuerte, Claude Code con Claude Opus 4.8 con esfuerzo de razonamiento máximo, alcanza un rendimiento general del 65.8%, con brechas sustanciales en ambas pistas. Al proporcionar una evaluación amplia y realista de las capacidades de uso de terminales, TUA-Bench tiene como objetivo acelerar la transición de asistentes estrechos y específicos de tareas a agentes de propósito general capaces de operar de manera confiable en diversos entornos digitales.

Para reducir el consumo de memoria durante la inferencia de LLM, se han propuesto diversos métodos para la poda de caché KV. Si bien estas técnicas pueden lograr una reducción de memoria sin pérdidas en muchos conjuntos de datos, a menudo dependen de una condición subestimada: es necesario predeterminar un umbral específico para la entrada o el dominio del presupuesto de caché KV con el fin de alcanzar un rendimiento óptimo. Sin embargo, este diseño sensible a la entrada puede verse considerablemente limitado en escenarios del mundo real, ya que las entradas de dominio abierto abarcan diversos dominios, longitudes y niveles de dificultad, sin límites claros para la selección del umbral. Como resultado, la dependencia de dicho umbral sensible a la entrada puede ser una limitación fundamental que provoca una gran degradación en entradas arbitrarias. En este trabajo, proponemos un nuevo objetivo que elimina las restricciones de umbral para una compresión KV robusta, abogando por métodos "sin umbral" que ajusten adaptativamente la asignación del presupuesto mientras preservan el rendimiento completo de la caché. A continuación, proponemos un método novedoso, ReFreeKV, como la primera instanciación de este objetivo. Experimentos exhaustivos en 13 conjuntos de datos con diversas longitudes de contexto, tipos de tareas y tamaños de modelo demuestran su eficacia y eficiencia. Nuestro código se publica públicamente en https://github.com/Patrick-Ni/ReFreeKV.

Los modelos fundacionales para aprendizaje automático predictivo en datos tabulares han ganado recientemente un impulso significativo en el ámbito académico y la industria. Comunidades de investigación de diversas disciplinas evalúan cada vez más modelos fundacionales tabulares en conjuntos de datos y tareas heterogéneas. Sin embargo, estas evaluaciones específicas de tareas y disciplinas siguen siendo en gran medida inaccesibles para los investigadores de modelos, ya que el software de referencia y los protocolos de evaluación están fragmentados. Como resultado, los investigadores de modelos se basan en puntos de referencia estándar, que en su mayoría están definidos para tareas en las que los modelos fundacionales tabulares ya destacan. Los escenarios más desafiantes quedan excluidos, lo que limita el progreso significativo en el campo al centrarse en mejoras marginales en datos i.i.d. en lugar de en desafíos más amplios y exigentes. Para superar esto, presentamos BeyondArena, el primer punto de referencia unificado y holístico para datos tabulares que admite diversos tipos de tareas (i.i.d., temporales, agrupadas), en diferentes escalas de tamaño muestral y dimensionalidad de características, con diversos tipos de características (con texto, con alta cardinalidad) provenientes de un amplio espectro de disciplinas. Para permitir una evaluación comparativa unificada más allá de los puntos de referencia estándar, introducimos Data Foundry, un marco de trabajo en Python y un esquema de metadatos para seleccionar conjuntos de datos tabulares para aprendizaje automático predictivo. Nuestros resultados en 11 modelos y 142 conjuntos de datos seleccionados muestran que los modelos fundacionales tabulares existentes destacan en datos i.i.d. de tamaño pequeño a mediano, mientras que los modelos tradicionales basados en árboles y de aprendizaje profundo aún dominan en conjuntos de datos no i.i.d., grandes y de alta dimensionalidad. BeyondArena guía la investigación de modelos hacia los desafíos más exigentes en datos tabulares, permitiendo el avance hacia modelos tabulares verdaderamente fundacionales.

Las interacciones físicas siguen una distribución de cola larga: un conjunto de interacciones comunes y regulares domina la experiencia humana y los datos visuales, mientras que un amplio espectro de interacciones raras e irregulares sigue estando subrepresentado. Aunque los modelos visuales de mundo recientes, incluidos los modelos de generación de imágenes y videos, logran un realismo impresionante en los puntos de referencia existentes, se centran principalmente en simular interacciones físicas comunes. Esto plantea una pregunta central: ¿Los modelos visuales de mundo actuales interiorizan y generalizan los principios físicos? En este trabajo, introducimos Tailor-Bench, un punto de referencia que desafía a los modelos de mundo a simular interacciones físicas irregulares. Para permitir una evaluación sistemática, diseñamos tres modos de escenario que desafían progresivamente el razonamiento del modelo: los escenarios regulares reflejan pares herramienta-tarea comunes, los escenarios no convencionales reemplazan herramientas convencionales con sustitutos compatibles en atributos para probar la generalización de affordances, y los escenarios imposibles introducen herramientas que violan atributos para sondear la conciencia de restricciones. Además, diseñamos dos configuraciones complementarias bajo un protocolo de evaluación unificado: la generación predictiva requiere inferir resultados sin orientación, mientras que la generación descriptiva especifica el resultado objetivo para una realización fiel. Nuestros resultados experimentales revelan una clara brecha de cola larga en el modelado del mundo físico: el rendimiento se degrada de escenarios regulares a no convencionales e imposibles, lo que indica una generalización limitada más allá de las interacciones comunes. El análisis de fallos muestra además que los modelos dependen de patrones visuales superficiales: los modelos de imagen no logran realizar cambios de estado correctos, mientras que los modelos de video sufren además de inconsistencias temporales.

El reciente interés en los modelos de lenguaje grandes multimodales (MLLMs) plantea una pregunta central: ¿pueden razonar sobre evidencia visual dinámica en lugar de limitarse a reconocer objetos o eventos en fotogramas individuales? Esta capacidad, a la que denominamos razonamiento lógico-temporal en video, requiere que los modelos mantengan, actualicen y compongan evidencia a medida que los estados visuales evolucionan a lo largo de los fotogramas. Los puntos de referencia de video existentes a menudo confunden esta capacidad con la complejidad de la escena, el reconocimiento estático o la variación temporal no controlada. Para aislar esta capacidad, presentamos Video-MME-Logical, un punto de referencia controlado organizado en torno a cinco operaciones lógico-temporales: seguimiento de estados, conteo secuencial, ordenamiento temporal, espacialidad dinámica y composición estructural. El punto de referencia contiene 25 categorías de tareas detalladas generadas con estados de objetos controlados, transiciones, dependencias temporales y composiciones lógicas. Permite una evaluación de la respuesta final con dificultad controlada al variar el horizonte temporal y la complejidad del razonamiento, y admite diagnósticos de estados intermedios al verificar si los modelos recuperan la traza de razonamiento lógico requerida antes de producir la respuesta final. Los experimentos con MLLMs de última generación revelan una brecha sustancial entre humanos y modelos, especialmente a medida que aumenta la complejidad lógico-temporal. El ajuste fino supervisado con hasta 500,000 muestras generadas mejora el rendimiento, pero sigue siendo insuficiente para cerrar la brecha de razonamiento, posicionando a Video-MME-Logical como un banco de pruebas escalable para analizar y mejorar el razonamiento lógico-temporal en MLLMs.

La destilación on-policy (OPD) entrena a un estudiante utilizando sus propias trayectorias simuladas, guiado por la retroalimentación del profesor, y se está volviendo cada vez más importante para el post-entrenamiento de modelos de lenguaje de gran escala (LLM). Sin embargo, al igual que el aprendizaje por refuerzo (RL), la OPD enfrenta un cuello de botella sistémico on-policy, ya que las trayectorias pueden dominar el tiempo de entrenamiento en tareas de razonamiento. Los pipelines de entrenamiento asíncrono pueden aliviar este cuello de botella al desacoplar la generación de trayectorias de las actualizaciones del aprendiz, pero esto introduce datos de política desactualizada. Si bien trabajos previos han estudiado datos desactualizados en RL asíncrono, sus efectos en OPD siguen siendo poco explorados. Presentamos el primer estudio sistemático sobre la desactualización en OPD asíncrona, enfocándonos en un escenario práctico donde la retroalimentación del profesor se implementa mediante pérdidas KL locales y los logits completos del profesor son demasiado costosos de almacenar o transferir, lo que requiere cachés finitos de puntuaciones del profesor. Primero, mostramos que la dirección de la KL modifica el problema de los datos desactualizados: la KL directa ponderada por el profesor es más robusta a trayectorias desactualizadas, mientras que la KL inversa ponderada por el estudiante es vulnerable. Segundo, para este caso vulnerable de KL inversa, estudiamos si los métodos diseñados para estabilizar el RL asíncrono pueden mitigar la desactualización en OPD. En nuestros experimentos, no mejoran respecto a un sustituto más simple específico de OPD: recalcular la señal de KL inversa bajo el estudiante actual en el momento del aprendiz. Tercero, analizamos cómo los cachés finitos de puntuaciones del profesor generan un compromiso entre sesgo y varianza para estimadores de OPD con KL inversa dispersa y muestreada. Esto motiva el uso de Monte Carlo (MC) de múltiples muestras, que preserva la corregibilidad de MC mientras reduce la varianza de una sola muestra. Finalmente, presentamos y publicamos como código abierto AsyncOPD, un pipeline de entrenamiento OPD completamente asíncrono construido a partir de estas elecciones de estimadores. Los experimentos muestran que AsyncOPD mejora el rendimiento de entrenamiento entre 1,6 y 3,8 veces en comparación con el entrenamiento estrictamente síncrono, al tiempo que alcanza una precisión comparable.

La comprensión de video es una capacidad fundamental para la inteligencia multimodal, y los recientes Modelos de Lenguaje Grande Multimodales (MLLMs) han logrado un rendimiento notable en los puntos de referencia de Respuesta a Preguntas sobre Video (VideoQA). Sin embargo, los puntos de referencia existentes evalúan principalmente si los modelos pueden percibir señales visuales superficiales, mientras que rara vez examinan si los MLLMs pueden aprender conocimientos más profundos o habilidades procedimentales a partir de tutoriales en video y generalizarlos a tareas agentivas de largo horizonte posteriores. Para abordar esta brecha, presentamos VG-GUIBench (Video-Guided GUI Benchmark), un nuevo punto de referencia diseñado para evaluar si los agentes de GUI basados en MLLMs pueden seguir tutoriales en video para completar las tareas interactivas de GUI correspondientes. Además, observamos que el rendimiento de los modelos tanto en VideoQA como en tareas agentivas guiadas por video depende críticamente de una extracción efectiva de fotogramas clave. Basándonos en esta observación, proponemos TASKER (Task-driven And Scene-aware Keyframe searchER), un algoritmo de extracción de fotogramas clave que considera conjuntamente la relevancia de la tarea y la dinámica de la escena para identificar fotogramas informativos. Los resultados experimentales demuestran que TASKER logra mejoras significativas en el rendimiento tanto en VideoQA como en los puntos de referencia de tareas agentivas guiadas por video, superando al mejor método base en un 2.0% en el conjunto completo de EgoSchema y en un 1.8% en el conjunto de datos NExT-QA, respectivamente. Estos resultados destacan además el potencial de los métodos generalizados de extracción de fotogramas clave para tareas de comprensión de video. Nuestro código y datos están disponibles en https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

El entrenamiento previo de LLM a gran escala moderna se beneficia del uso de Paralelismo de Tuberías; sin embargo, las implementaciones síncronas dejan las GPU inactivas durante las burbujas de tubería, desperdiciando recursos computacionales. El Paralelismo de Tuberías Asíncrono elimina estas burbujas, maximizando el rendimiento a costa de la desactualización del gradiente. Entre los esquemas asíncronos, PipeDream-2BW resulta particularmente atractivo: a diferencia del esquema original de PipeDream, garantiza un retardo de gradiente constante de un paso, independientemente de la profundidad de la tubería. Sin embargo, su adopción sigue siendo limitada debido a la creencia común de que optimizar bajo desactualización es fundamentalmente inestable. En este trabajo, cuestionamos esta suposición, demostrando que la degradación bajo un retardo de un paso depende fuertemente de la elección del optimizador y no de una limitación intrínseca. Proporcionamos el primer análisis empírico exhaustivo que muestra que, si bien AdamW, el optimizador predominante en el momento en que se introdujo PipeDream-2BW, sufre efectivamente una degradación severa, métodos recientes como Muon exhiben una robustez sólida bajo un retardo de un paso. Introducimos una corrección inspirada en la Retroalimentación de Error, independiente del optimizador, para mitigar aún más los efectos del retardo. Ofrecemos un análisis teórico de respaldo que demuestra la convergencia de Muon con y sin esta corrección. Una evaluación exhaustiva en modelos de hasta 10 mil millones de parámetros confirma que nuestras estrategias cierran la brecha de rendimiento con el entrenamiento síncrono, destacando el potencial práctico del paralelismo de tuberías asíncrono a gran escala.

Diferentes aplicaciones de habla en tiempo real imponen presupuestos de latencia distintos, lo que a menudo requiere modelos de mejora entrenados por separado para cada escenario. En este artículo, proponemos un modelo universal de mejora del habla en tiempo real, válido para todos los casos, que proporciona un control explícito tanto sobre la latencia algorítmica como sobre la computacional. La latencia algorítmica se ajusta de forma flexible mediante marcos de anticipación configurables. Para evitar la ineficiencia en el aprendizaje causada por configuraciones de relleno variables, introducimos capas convolucionales paralelas que corresponden a diferentes ajustes de anticipación. La latencia computacional se controla mediante un mecanismo de salida temprana, que permite la inferencia a distintas profundidades de la red. Para reducir la brecha de rendimiento entre modelos especializados y flexibles, proponemos una estrategia de entrenamiento en dos etapas con una transición de decodificador compartido a múltiple. En conjunto, el marco propuesto permite que un único modelo se despliegue en diversos presupuestos de latencia sin necesidad de reentrenar modelos por separado.

Recientes avances en el difuminado gaussiano 3D han demostrado un éxito sin precedentes en la síntesis de nuevas vistas. Sin embargo, la considerable sobrecarga de inferencia y almacenamiento derivada de los Armónicos Esféricos (SH) de alto orden constituye un cuello de botella principal para plataformas móviles. En este artículo presentamos Flux-GS, un método de difuminado gaussiano en tiempo real diseñado para lograr renderizado de alta fidelidad con una sobrecarga significativamente reducida para plataformas móviles con recursos limitados. Primero proponemos un Agregador de Energía Especular Monte Carlo, que muestrea residuos de radiancia de tercer orden y agrega energía especular en un espacio latente compacto. De esta forma, nuestro método preserva eficazmente las características de iluminación visualmente destacadas en bandas de orden inferior, sin necesidad de costosos procesos de destilación o preentrenamiento. Para mitigar la pérdida de detalles de alta frecuencia durante la compresión, introducimos un módulo de Mejora de SH Condicionada por Atributos. Este módulo predice desplazamientos dependientes del gaussiano basados en atributos gaussianos intrínsecos, que mejoran la representación SH de primer orden antes de la inferencia, sin costes adicionales de inferencia. Además, la densificación original basada en gradientes de una sola vista tiende a producir gaussianos excesivos y a sobreadaptarse a una vista determinada. Abordamos estas limitaciones proponiendo una estrategia de Densificación y Poda Basada en Alfa Multivista. Aprovechando la guía multivista, aseguramos la consistencia estructural entre vistas y la eliminación precisa de primitivas redundantes. Extensos experimentos demuestran que Flux-GS logra una reducción sustancial de parámetros mientras mantiene una calidad visual competitiva, ofreciendo una solución robusta y escalable para renderizado móvil en tiempo real. Código: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

Los modelos multimodales agentivos realizan diversas operaciones sobre una imagen mediante código y razonan sobre la vista devuelta, un paradigma efectivo para la respuesta a preguntas visuales detalladas. Sin embargo, las operaciones de código pueden ser útiles, redundantes o engañosas. Las recompensas basadas únicamente en el resultado no pueden distinguir estos casos con precisión, y las recompensas de proceso existentes o no logran atribuir la corrección final a llamadas de herramienta individuales, o requieren un modelo juez externo. Para abordar esto, introducimos la Optimización de Crédito Aumentada por Herramientas (TACO), una variante de GRPO para agentes de herramientas de código construida sobre dos canales de ventaja acoplados. El primero, la Recompensa Diferencial de Sonda de Respuesta (DAPR), es una ventaja de contribución de herramienta autosupervisada y sin juez que atribuye crédito a cada llamada de herramienta según su propio efecto en responder correctamente. Los tokens de sonda insertados en el razonamiento del modelo provocan sus predicciones con y sin la herramienta, y la diferencia en la recompensa del resultado se toma como el valor de la llamada: positiva para una llamada útil, negativa para una engañosa y cero para una que no cambia nada. Esto reutiliza el verificador de respuestas existente sin un juez auxiliar y, al ser una diferencia en lugar de una puntuación absoluta de sonda, es naturalmente robusto a la manipulación de la sonda. El segundo es la ventaja de resultado de la respuesta final, distribuida por el Enrutamiento de Ventaja Controlado por Resultado (OGAR): una regla sin parámetros que, condicionada al resultado de la llamada, entrega este crédito solo a los segmentos responsables, suprimiendo las llamadas a herramientas desperdiciadas sin ningún término de costo. Entrenamos TACO mediante un pipeline de dos etapas SFT+RL. Amplios experimentos en puntos de referencia de percepción, razonamiento y multimodales generales muestran que produce ganancias de precisión consistentes y aprende a invocar sus herramientas solo cuando ayudan.

Los benchmarks existentes de uso de computadoras no logran capturar el realismo, la complejidad y las demandas de horizonte largo del uso real de computadoras, lo que limita su capacidad para revelar las limitaciones de los agentes de frontera. Presentamos OSWorld 2.0, un benchmark de 108 flujos de trabajo de uso de computadoras de horizonte largo que abarcan tareas cotidianas y profesionales, diseñado para capturar fenómenos complejos y desafiantes del mundo real. Cada tarea representa un flujo de trabajo integral realista que lleva a los usuarios humanos una mediana de aproximadamente 1.6 horas en completar y requiere un promedio de 318 llamadas a herramientas con Claude Opus 4.7 usando pensamiento máximo, en comparación con alrededor de 30 en OSWorld 1.0. OSWorld 2.0 se enfoca en fenómenos desafiantes que son comunes en flujos de trabajo reales pero están subrepresentados en benchmarks anteriores, abarcando desafíos de diseño de interacción como la interacción continua y entornos dinámicos, así como desafíos de patrones de agente como el razonamiento entre fuentes, la inferencia de estado implícito y la precisión visuoespacial. Las tareas están basadas en artefactos de entrada auténticos y referenciadas de forma cruzada con datos de perfil de usuario realistas y con estado, e incluyen informes de seguridad separados que auditan la ejecución sensible a la seguridad. Bajo nuestra métrica principal de finalización binaria a 500 pasos, Claude Opus 4.8 con pensamiento máximo y llamadas a herramientas por lotes obtiene la mejor puntuación, pero aún completa solo el 20.6% de las tareas con una puntuación parcial del 54.8%; GPT-5.5 es mucho más eficiente en tokens, pero se estabiliza cerca del 13%. Estos resultados muestran que los agentes actuales todavía están lejos del uso de computadoras a nivel profesional: en lugar de tropezar con el control básico de la GUI o la codificación, pierden el rastro de las restricciones, pasan por alto información que llega a mitad de la tarea, adivinan en lugar de preguntar al usuario y omiten la verificación, teniendo más dificultades cuando una tarea depende de un estado oculto que deben recuperar.

La mayoría de los benchmarks para agentes de codificación son estáticos: un agente recibe una descripción completa de la tarea de antemano y se evalúa únicamente por su código final. La asistencia real en codificación es interactiva, ya que los usuarios aclaran objetivos, agregan restricciones y corrigen errores a lo largo de múltiples rondas. Presentamos SWE-Together, un benchmark de múltiples rondas reconstruido a partir de sesiones reales de codificación entre usuarios y agentes. Para garantizar la verificabilidad de las interacciones reales, seleccionamos 109 tareas a nivel de repositorio de 11,260 sesiones registradas, escogiendo aquellas con estados de repositorio recuperables, objetivos de usuario claros y resultados observables. Para reproducir estas interacciones en diferentes agentes, construimos un simulador de usuario reactivo basado en LLM que preserva las intenciones originales de los usuarios y proporciona retroalimentación cuando el progreso del agente de codificación lo requiere. Para evaluar a los agentes como colaboradores, medimos tanto la corrección final del repositorio como el número de rondas de retroalimentación correctiva necesarias durante la interacción. Experimentos con agentes de codificación de vanguardia muestran que los agentes más robustos generalmente alcanzan tasas de éxito final más altas y requieren menos intervenciones, lo que sugiere una mejora en la experiencia del usuario.

Los modelos de lenguaje del habla (SLMs) han sido ampliamente estudiados, con el paradigma común que incorpora datos de texto y modelos de lenguaje de texto preentrenados. Un enfoque destacado es el intercalado habla-texto, en el que los modelos se entrenan con secuencias que contienen tanto tokens de habla como de texto, con el objetivo de potenciar incluso las capacidades exclusivas del habla. Sin embargo, la forma en que estas dos modalidades interactúan en el espacio latente del modelo sigue sin estar clara. En este trabajo, analizamos SLMs intercalados habla-texto de diferentes familias y tamaños mediante el alcance de la lente de logits para proporcionar dicha comprensión. Revelamos que estos modelos atraviesan una fase de transcripción implícita en la que el token de texto de la palabra hablada se vuelve decodificable en capas intermedias, a pesar de no haber sido entrenados para reconocimiento del habla. La transcripción de la palabra aparece como una de las principales palabras candidatas hasta en un 77% de los datos. Tras esta etapa, los modelos proceden a predecir la siguiente palabra en el espacio de texto antes de transformarse de vuelta al dominio del habla. Finalmente, analizamos el papel de los datos de intercalado y la inicialización a partir de modelos de lenguaje de texto en la elicitación de este comportamiento, así como cómo esto se correlaciona con las habilidades de conocimiento hablado. Nuestro análisis arroja luz sobre los mecanismos internos que subyacen a la relación entre las modalidades de habla y texto, y podría moldear la optimización de los SLMs.

Los datos, como sustrato fundamental de la inteligencia moderna, han impulsado en gran medida el desarrollo de los modelos fundacionales actuales. Naturalmente, los investigadores buscan extender este paradigma al ámbito de los agentes GUI, con la esperanza de construir agentes GUI robustos mediante un enfoque similar. Sin embargo, los datos para agentes GUI no pueden recolectarse directamente de internet, lo que los hace costosos y difíciles de obtener a gran escala. Como resultado, los agentes GUI actuales presentan una pobre generalización entre dispositivos y una capacidad limitada de anclaje visual para elementos GUI de grano fino. Como intento de abordar el desafío de los datos en agentes GUI, proponemos GUICrafter, un agente GUI débilmente supervisado que aprovecha capturas de pantalla masivas sin anotar para reducir sustancialmente la dependencia de costosas anotaciones humanas. GUICrafter explora un marco de aprendizaje curricular para entrenar agentes GUI en dos etapas progresivas. Primero, el modelo aprende anclaje visual a partir de capturas de pantalla y páginas web a gran escala sin anotar, aprovechando las ricas señales contextuales inherentes a las interacciones GUI sin necesidad de anotaciones humanas. Luego, en la Etapa 2, empleamos una pequeña cantidad de datos de alta calidad para calibrar el modelo mediante aprendizaje por refuerzo. Los experimentos muestran que GUICrafter alcanza un rendimiento competitivo, o incluso superior, al de sistemas avanzados como UI-TARS, utilizando solo el 0.1% de sus datos. Además, bajo la misma cantidad de datos anotados, GUICrafter supera a todos los métodos anteriores, como GUI-R1. El código, los datos y los modelos están disponibles en https://github.com/fansunqi/GUICrafter.

Presentamos DreamForge-World 0.1 Preview, un modelo fundacional de mundo en versión preliminar para la simulación interactiva de mundos en tiempo real. El sistema adapta el stack de video autorregresivo LongLive 1, derivado a su vez de Wan2.1-T2V-1.3B, con una vía de acción residual inspirada en la familia Matrix-Game. DreamForge-World 0.1 Preview se centra en un eje complementario a los simuladores de mundo de escala fronteriza: adaptación con bajo cómputo, ejecución en GPU de consumo y amplia cobertura de capacidades interactivas. Soporta control en vivo mediante teclado y ratón, inicialización multimodal, re-prompting en medio del flujo, operación con vista dual y despliegues interactivos de hasta un minuto de duración en resolución nativa de 480p, alcanzando hasta 14-15 FPS en una única RTX 4090 con un bajo consumo de memoria. Al aprovechar backbones de video abiertos y aplicar ejecuciones de adaptación dirigidas, construimos el sistema preliminar con alta eficiencia de costes. DF-World 0.1 Preview no es aún un simulador de mundo completo en memoria o de calidad fronteriza, pero demuestra una ruta práctica de bajo cómputo hacia vistas previas de modelos de mundo controlables en tiempo real en GPU de consumo.

A pesar de los impresionantes avances en el matting de imágenes, el matting de video sigue siendo un desafío debido a la brecha inherente entre el rastreo de alto nivel, que requiere una comprensión fotograma a fotograma, y el matting de bajo nivel, que se centra en detalles extremadamente finos. Los métodos existentes intentan abordar esto con conjuntos de datos de matting de video costosos y de alcance limitado, lo que puede limitar la generalización fuera del dominio y comprometer la robustez del rastreo. Repensamos el paradigma con SAM2Matting, un marco de rastreador a matting que impulsa los rastreadores VOS hacia el matting de video de alta fidelidad. Específicamente, desacopla la tarea mejorando un rastreador fundamental (por ejemplo, SAM2, SAM3) con un puente de propuesta de regiones y cabezales de matting dedicados, lo que permite que el rastreador sin compromisos maneje la consistencia temporal mientras los componentes de matting resuelven los detalles finos. Notablemente, a pesar de haber sido entrenado solo con imágenes, SAM2Matting establece un nuevo rendimiento de vanguardia en el matting de video, admite diversos tipos de prompts, mantiene una fuerte consistencia temporal y demuestra una generalización robusta tanto en escenarios centrados en humanos como en entornos naturales.

Los Flujos Normalizantes (NFs) son modelos generativos poderosos capaces de realizar estimación de densidad exacta y muestreo. Sin embargo, su estricta invertibilidad a menudo obliga al modelo a agotar su capacidad en detalles de píxeles de bajo nivel, dificultando la captura de estructuras semánticas de alto nivel. Si bien el Modelado de Imágenes Enmascaradas (MIM) ha sobresalido en el aprendizaje de representaciones, su integración en procesos generativos ha permanecido en gran medida modular y desarticulada. En este artículo, proponemos MIMFlow, un marco unificado de extremo a extremo que optimiza conjuntamente la semántica latente, la reconstrucción de píxeles y el flujo generativo. Al emplear un codificador VAE para inferir latentes semánticos a partir de imágenes enmascaradas, MIMFlow logra una separación fundamentada de la tarea generativa: el Flujo Normalizante se enfoca en modelar una variedad semántica simplificada y de baja frecuencia, mientras que un decodificador especializado maneja la síntesis de alta frecuencia. Este diseño resuelve eficazmente el cuello de botella de capacidad inherente de los NFs, permitiendo que el modelo priorice la coherencia estructural global sobre el ruido redundante. Los resultados empíricos en ImageNet 256×256 muestran que MIMFlow-L alcanza una precisión de sondeo lineal del 71.3% y un FID de 2.50. A pesar de utilizar solo 128 tokens (un 50% menos que los modelos estándar), obtiene una mejora del 32.8% en rendimiento con respecto a líneas de base de NF de escala similar. Nuestro código está disponible en https://github.com/MCG-NJU/MIMFlow.

La investigación en predicción de series temporales ha venido avanzando de manera constante hacia arquitecturas más grandes, desde transformadores especializados hasta modelos fundacionales de propósito general, bajo el supuesto de que la capacidad es lo que desbloquea la precisión. Nosotros adoptamos la posición opuesta: la mayor parte de la brecha puede cerrarse a un costo mucho menor ajustando el preprocesamiento en lugar de escalar los modelos. Utilizamos la regresión Ridge como banco de pruebas, ya que tiene una solución de forma cerrada y pesos interpretables, lo que permite leer los hiperparámetros óptimos directamente de la búsqueda. Exploramos la longitud de contexto, la normalización local, la regularización y el aumento en ocho referencias estándar y encontramos tres patrones. (1) La retrospectiva óptima es fuertemente específica de cada serie y a menudo no monótona en el horizonte de pronóstico, con exponentes de ley de potencia ajustados que van desde +0,46 en ETTm2 hasta -0,19 en Exchange y Traffic, lo que desafía la convención de que horizontes más largos requieren historias más largas. (2) Normalizar sobre una fracción final aprendida del contexto, en lugar de sobre su totalidad, es casi universalmente preferido. (3) Las series dentro de un mismo conjunto de datos a menudo difieren en los hiperparámetros; el grado óptimo de compartición entre series varía desde completamente compartido hasta completamente por serie. Los modelos resultantes superan a los pronosticadores lineales previos en la mayoría de las entradas de conjunto de datos y horizonte, y exceden las líneas base de transformadores, MLP y CNN en seis de las ocho referencias. Los hiperparámetros optimizados también sirven como diagnóstico sobre los propios datos, revelando estructuras que los modelos más grandes absorben silenciosamente en sus parámetros aprendidos.

Proponemos Nemotron-Labs-Diffusion-Image, un modelo de difusión discreta enmascarada (MDM) de última generación para síntesis de texto a imagen de alta resolución. En comparación con trabajos previos sobre generación de imágenes enmascaradas, Nemotron-Labs-Diffusion-Image aborda dos desafíos clave. Primero, a diferencia de los modelos de difusión continua que refinan progresivamente las representaciones latentes en toda la imagen, los MDM estándar carecen de capacidad de autocorrección porque los tokens discretos no pueden modificarse una vez que se revelan. Segundo, aunque aumentar el tamaño del vocabulario de los tokenizadores de imágenes discretas mejora la fidelidad de reconstrucción, introduce dificultades de optimización para el modelado generativo, ya que la señal de entrenamiento por token se vuelve cada vez más dispersa. Para abordar el primer desafío, Nemotron-Labs-Diffusion-Image incorpora un mecanismo de edición de tokens que permite al modelo revisar dinámicamente los tokens ya revelados durante la inferencia, de manera similar a cómo un escultor refina iterativamente su obra. Para enfrentar el segundo desafío, proponemos un objetivo de Entropía Cruzada Agrupada (GCE) que asigna señales de aprendizaje positivas a los tokens vecinos al valor real en el espacio de embeddings, mitigando así la dispersión de la señal. Para mejorar aún más la eficiencia del entrenamiento, implementamos un operador fusionado personalizado para GCE que reduce significativamente el uso de VRAM en configuraciones con vocabularios grandes. Los resultados experimentales demuestran que estas innovaciones mejoran sustancialmente tanto la eficiencia del entrenamiento como la fidelidad de las imágenes generadas por modelos de imágenes discretas enmascarados, alcanzando una puntuación de 0.90 en GenEval, 86.9 en DPG y 10.76 en HPSv3.

El conocimiento matemático se organiza en torno a enunciados y sus dependencias, pero esta estructura se expone de manera desigual: los artículos informales citan principalmente a nivel de documento, mientras que las bibliotecas formales registran dependencias detalladas sobre un cuerpo de matemáticas mucho más reducido. Introducimos TheoremGraph, un grafo de dependencias unificado a nivel de enunciado que abarca tanto las matemáticas informales como las formales. En el lado informal, analizamos 11,7 millones de entornos similares a teoremas del arXiv de matemáticas y recuperamos 18,3 millones de dependencias dirigidas candidatas, cada una etiquetada por el extractor que la propuso, para que los usuarios posteriores puedan intercambiar cobertura por precisión. En el lado formal, publicamos LeanGraph, un extractor a nivel de elaborador de Lean 4 que produce 388.105 nodos de declaración y 11,3 millones de aristas tipadas en 25 proyectos de Lean. Unimos ambos grafos incrustando eslóganes generados en lenguaje natural en un espacio semántico compartido, vinculando enunciados relacionados entre artículos y a través de la división informal/formal; un juez LLM afirma 47.952 coincidencias de este tipo por encima de un umbral de coseno de 0,8, con una tasa de aceptación del juez que aumenta del 48% en todo el umbral al 87% en el nivel >=0,9. En la recuperación de conceptos formales, nuestra representación de nombre y firma con expansión de grafo se sitúa a menos de 0,5 puntos porcentuales del Recall@10 reordenado de LeanSearch v2 (0,775 frente a 0,780) sin un reordenador de modelo de lenguaje. Publicamos el conjunto de datos, los extractores, la API HTTP y la interfaz MCP como infraestructura para búsqueda matemática, atribución y razonamiento aumentado por recuperación, disponibles en theoremsearch.com y huggingface.co/datasets/uw-math-ai/theorem-matching.

Los agentes de LLM gestionan solicitudes de usuarios en nombre de organizaciones mediante llamadas a herramientas y deben seguir las políticas corporativas establecidas en sus indicaciones del sistema. Trabajos previos abordan esto como un problema de salvaguardia —verificaciones externas que bloquean acciones del agente que no cumplen con las normativas. Sostenemos que la adherencia a las políticas es un problema más amplio: los flujos de trabajo reales se desarrollan a lo largo de múltiples turnos, requieren confirmación explícita del usuario y lecturas previas necesarias, y dependen del contenido del diálogo más que de cualquier valor de argumento individual. Cumplir con este estándar requiere (i) el contexto completo de la conversación, (ii) autorrazonamiento sobre la política y el diálogo actual, y (iii) remediación específica de la conversación que guíe el siguiente turno del agente —tres capacidades que los trabajos previos sobre salvaguardias a menudo han subestimado. Presentamos POLICYGUARD, un verificador subagente que comparte la visión del agente sobre el diálogo, razona sobre la política en contexto y ofrece retroalimentación procesable para el siguiente turno del agente. En el banco de pruebas tau^2-BENCH airline con tres proveedores (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) y cuatro ensayos por configuración, POLICYGUARD mejora PASS4 en +12,0 / +6,0 / +12,0 puntos porcentuales. Los análisis por llamada muestran que POLICYGUARD logra un mayor recuerdo de violaciones de políticas, mientras bloquea aproximadamente la mitad de las veces que las guardias a nivel de argumento.

Los sistemas interactivos de generación de video para la exploración de mundos controlados por cámara producen secuencias crecientes de fotogramas de video latentes, entrelazando la transición de estado con la síntesis de observaciones de alta frecuencia. Proponemos *Caminando en lo Implícito*, un paradigma centrado en la escena que cambia la variable de despliegue de los latentes de fotogramas a un estado implícito representable de longitud fija, denominado Escena Implícita Neuronal (NIS). Esto descompone la generación interactiva en una transición estocástica de un estado de escena compacto y un renderizado determinista condicionado por la pose, dado el estado muestreado. Concretamos este paradigma como NeuWorld: un VAE transformador aprende NIS anclada localmente a partir de fotogramas con pose dispersa, y un transformador de difusión evoluciona la NIS condicionada por trayectorias futuras de cámara e historial recuperado con conciencia geométrica. Al reutilizar el codificador VAE como acondicionador unificado, NeuWorld mapea la cámara, las imágenes de referencia y las señales de historial en la misma modalidad NIS, evitando codificadores externos heterogéneos. Entrenado desde cero con datos públicos de vistas con pose, sin bases de video preentrenadas ni reconstructores 3D auxiliares, NeuWorld logra una fuerte consistencia a largo plazo con una eficiencia de inferencia favorable.

RocketSmith es un sistema agéntico que automatiza de manera inteligente el proceso de DFAM para el desarrollo de cohetes de alta potencia aptos para lanzamiento. El sistema utiliza un modelo de lenguaje grande para orquestar la ejecución de herramientas de software que validan características de diseño, como la estabilidad de vuelo, y genera los componentes paramétricos de diseño para el ensamblaje del cohete. Un conjunto de subagentes y habilidades permite optimizar los parámetros de vuelo mediante iteraciones en flujos de trabajo tanto en modo zero-shot como con intervención humana (human-in-the-loop). Con este sistema, se desarrollaron cuatro cohetes de alta potencia distintos, con diversas configuraciones de motor y ensamblaje, aprovechando las capacidades únicas de diseño de la fabricación aditiva. Estos componentes de ensamblaje se fabricaron utilizando varias impresoras FDM, se evaluaron manualmente para determinar su preparación para el vuelo y se probaron en vuelo durante un evento de lanzamiento. A partir de estas pruebas, todos los cohetes lograron un lanzamiento estable y dos de los cuatro cohetes fueron recuperados exitosamente en condiciones de reutilización. Los datos del altímetro validaron que los cohetes alcanzaron una altitud equivalente al 80 % del apogeo esperado según las predicciones del sistema agéntico, estableciendo consistencia entre la simulación y la experimentación.

Predecir la dificultad humana de los ítems es fundamental en la evaluación educativa, donde estimaciones confiables respaldan la equidad y la construcción efectiva de pruebas. Los métodos existentes a menudo dependen de costosas calibraciones humanas o representaciones textuales a nivel de ítem, proporcionando evidencia limitada sobre los procesos cognitivos que hacen que los ítems sean difíciles. Argumentamos que la dificultad debe considerarse no solo como una propiedad del texto del ítem, sino también como una consecuencia observable de la carga de resolución de problemas que un ítem induce. Los Modelos de Razonamiento a Gran Escala (LRMs) ofrecen evidencia procesal escalable a través de trazas de razonamiento, pero dicha evidencia debe estructurarse para respaldar un modelado interpretable. Con este fin, presentamos Epi2Diff (Episodio a Dificultad), un marco que mapea las trazas de razonamiento de los LRM en secuencias de episodios cognitivamente fundamentadas. Estos episodios agrupan segmentos de trazas en estados funcionales de resolución de problemas, permitiendo modelar la dificultad a través de la escala de razonamiento, la asignación de esfuerzo y las transiciones de estado. Epi2Diff extrae características compactas de la dinámica de episodios y las combina con representaciones semánticas de los ítems para la predicción de la dificultad humana. Los experimentos en cuatro conjuntos de datos reales de dificultad humana muestran que Epi2Diff supera consistentemente a los modelos base sólidos, incluidos modelos de lenguaje pequeños ajustados, aprendizaje en contexto con LLM y adaptación supervisada de LLM. En evaluaciones comparativas de clasificación basadas en SAT, Epi2Diff logra una ganancia relativa promedio del 8,1 % sobre los modelos base de ajuste fino supervisado con LLM. Análisis adicionales muestran que los ítems más difíciles inducen dinámicas de episodio más esforzadas, iterativas y centradas en la implementación, en lugar de simplemente respuestas más largas. Estos resultados demuestran que los episodios cognitivos en las trazas de razonamiento de los LRM proporcionan una representación procesal predictiva e interpretable de la dificultad humana de los ítems, ofreciendo una nueva perspectiva para la medición educativa con modelos de razonamiento.

Los métodos de anclaje de GUI basados en MLLM suelen formular la localización del objetivo como generación autorregresiva de coordenadas, lo que permite a los modelos aprovechar la sólida capacidad de seguimiento de instrucciones y comprensión semántica de los MLLM. Sin embargo, esta formulación requiere que el modelo retenga evidencia del objetivo a nivel de región mientras decodifica tokens de coordenadas con la precisión espacial que exige el clic en la GUI. Nuestro análisis diagnóstico revela que la conciencia de la región objetivo surge en las capas intermedias del decodificador, pero no se retiene ni se traslada a la predicción final de coordenadas. Los métodos existentes del estilo ZoomIn abordan este problema mediante un paso externo de recorte y re-ejecución, lo que mejora la localización pero aumenta la latencia de extremo a extremo y el costo computacional. Para retener los beneficios de precisión del zoom de dos pasos sin este costo adicional, proponemos InnerZoom, un marco de un solo pase hacia adelante para el puente de evidencia entre capas. InnerZoom transforma las señales relacionadas con el objetivo del pase hacia adelante original en un estado de evidencia compacto entre capas, luego preserva, refina y reinyecta este estado a lo largo de las capas de decodificación posteriores para guiar la predicción de coordenadas. Resultados experimentales extensos sugieren que InnerZoom-4B alcanza un rendimiento de vanguardia en los seis puntos de referencia de anclaje de GUI, obteniendo 64.7 en OSWorld-G, 40.2 en UI-Vision, 73.1 en OSWorld-GR y 87.6 en MMBench-GUI, superando los mejores resultados anteriores por 4.1, 3.2, 2.9 y 2.3 puntos, respectivamente. Bajo un entorno controlado de 4B, InnerZoom mejora la misma línea base de SFT+RL en 5.3 puntos en promedio y supera a ZoomIn de dos pasos en 1.3 puntos en promedio, al tiempo que reduce la latencia de extremo a extremo hasta en un 31.8% y los TFLOPs en aproximadamente un 29%. El código y los modelos estarán disponibles públicamente.

Adaptar un codificador de visión-lenguaje fundamental a una tarea especializada de recuperación crea un equilibrio fundamental: las ganancias en la distribución objetivo se logran a costa de la amplia generalización del modelo base, y la recuperación de moda constituye un ejemplo exigente de este problema. Presentamos ZooClaw-FashionSigLIP2, un modelo especializado en moda basado en SigLIP2-base que resuelve este equilibrio con una receta simple — ajuste fino completo con destilación de conocimiento sobre datos curados del dominio, seguido de interpolación de pesos mediante \wiseft~wortsman2022wiseft con el modelo base — y supera a LoRA, backbones más grandes (de hasta 1B de parámetros) y datos de entrenamiento externos. Bajo una evaluación justa, ZooClaw-FashionSigLIP2 supera a todas las líneas base en cada referencia de nuestro conjunto. Además, publicamos ZooClaw-Fashion, una nueva referencia de alta calidad para recuperación de moda, y un análisis sistemático de la calidad de referencias ampliamente utilizadas que expone y mitiga sesgos estructurales en sus datos de verificación real públicos. Publicamos los pesos del modelo y todos los artefactos de evaluación en código abierto para facilitar futuras investigaciones.

El diseño molecular generativo se configura mediante puntos de referencia proxy simples para propiedades similares a fármacos y modelos entrenados previamente en grandes conjuntos de datos farmacéuticos. Esta combinación produce métricas de referencia sólidas, pero limita la transferibilidad a dominios estructuralmente distintos del descubrimiento de fármacos. Para superar esta limitación e impulsar el descubrimiento hacia objetivos reales y científicamente fundamentados, presentamos el Punto de Referencia de Optimización Molecular en Nanotecnología (NMO), que conecta el aprendizaje automático (ML) con la ciencia de materiales cuánticos. NMO actúa simultáneamente como un banco de pruebas riguroso para la comunidad de ML y como un motor de descubrimiento para la investigación en nanotecnología. El conjunto reemplaza los oráculos proxy con simulaciones cuánticas e introduce protocolos estrictos que priorizan la utilidad científica sobre el sobreajuste orientado al ranking. Las tareas de NMO basadas en física imponen restricciones estructurales estrictas y paisajes de aptitud accidentados, lo que plantea requisitos fundamentalmente nuevos para los modelos generativos. En particular, los métodos avanzados de optimización molecular obtienen un rendimiento inferior al de enfoques mucho más simples en las tareas de NMO. Desarrollamos un nuevo método de referencia que identifica los componentes críticos para resolver las tareas de NMO, incluyendo una representación novedosa para modelar restricciones estructurales y una estrategia de preentrenamiento independiente del dominio para eliminar el sesgo de los conjuntos de datos farmacéuticos. Nuestros resultados superan las propiedades físicas de última generación y revelan motivos estructurales previamente desconocidos, ofreciendo nuevas perspectivas para la comunidad de nanotecnología y demostrando que el ML puede impulsar un descubrimiento científico genuino.

En aplicaciones del mundo real, a menudo se espera que los guardrails identifiquen interacciones inseguras entre usuario y modelo de acuerdo con políticas de seguridad específicas de la aplicación, en lugar de depender de taxonomías de riesgo predefinidas. En este trabajo, estudiamos este escenario bajo el paradigma del guardrail de políticas en contexto, donde los guardrails predicen violaciones de seguridad basándose en especificaciones de políticas proporcionadas en contexto. Para evaluar sistemáticamente esta capacidad, presentamos SafePyramid, un benchmark de seguridad que comprende 1,000 conversaciones de múltiples turnos en 10 dominios y 3,000 políticas específicas de aplicación correspondientes, que juntas contienen 61,699 reglas distintas en lenguaje natural. SafePyramid organiza la evaluación en tres niveles de dificultad: L0 evalúa la comprensión de reglas individuales, L1 evalúa el razonamiento sobre dependencias entre reglas, y L2 evalúa la adaptación a marcos de políticas completamente nuevos definidos en contexto. Para garantizar la calidad del benchmark, empleamos un riguroso proceso de múltiples etapas para construirlo y validarlo. Usando SafePyramid, evaluamos 10 LLMs de frontera y 5 guardrails configurables por políticas, y encontramos que el guardrail de políticas en contexto sigue siendo altamente desafiante: incluso el modelo con mejor rendimiento, GPT-5.5, identifica exactamente el conjunto completo de reglas violadas en solo el 54.0%, 35.3% y 12.9% de los casos en L0, L1 y L2, respectivamente. Estos resultados resaltan las limitaciones de los guardrails actuales y exigen guardrails de políticas en contexto más robustos que puedan ejecutar políticas de manera fiable, resolver dependencias entre reglas y adaptarse a marcos de políticas novedosos.

La aparición de los Grandes Modelos de Razonamiento ha introducido trazas de Cadenas de Pensamiento excepcionalmente largas, lo que genera una carga de transparencia en la que la lógica crítica a menudo queda sepultada bajo un texto procedimental masivo. Para abordar esto, presentamos ReasoningLens, un marco de código abierto diseñado para la visualización jerárquica y la auditoría diagnóstica de cadenas de razonamiento complejas. ReasoningLens aborda la necropsia de información mediante: (1) la estructuración de las trazas en jerarquías interactivas que separan la estrategia de alto nivel de la ejecución de bajo nivel; (2) el aprovechamiento de un auditor agente para la detección automatizada de errores y la verificación aumentada por herramientas; y (3) la síntesis de perfiles sistémicos de razonamiento para revelar puntos ciegos específicos del modelo. Al transformar muros de texto no estructurado en información procesable, ReasoningLens proporciona una base modular para interpretar, depurar y optimizar la próxima generación de IA centrada en el razonamiento.

Las arquitecturas de Mezcla de Expertos (MoE) han surgido como un paradigma poderoso para escalar modelos de difusión en la generación visual. Avances recientes se han centrado en asignar adaptativamente recursos computacionales entre diversos tokens para mejorar la eficiencia y el rendimiento. Sin embargo, identificamos un problema de asignación de enrutamiento en los marcos MoE de difusión existentes: el enrutador no logra asignar con precisión más recursos computacionales a los tokens salientes. Nuestro análisis atribuye este fracaso a la dependencia del enrutador de características latentes contaminadas por ruido durante todo el proceso de eliminación de ruido. Dicho ruido estocástico oscurece la información estructural y textural crítica, impidiendo así que el enrutador distinga eficazmente los tokens salientes. Para abordar esto, proponemos SharpMoE, un marco de post-entrenamiento con un mecanismo de enrutamiento preciso que aprovecha la prominencia, el cual utiliza características latentes limpias como una señal de guía libre de ruido para el enrutamiento. Al evitar las entradas distorsionadas por el ruido, SharpMoE proporciona al enrutador una guía de prominencia clara, permitiendo la identificación de tokens salientes incluso en etapas de alto ruido. Además, introducimos una pérdida de enrutamiento de trayectoria para restringir la asignación computacional a lo largo de la trayectoria de eliminación de ruido de múltiples pasos, asegurando una asignación precisa de recursos durante el desarrollo de la generación. Experimentos exhaustivos demuestran que SharpMoE sirve como una solución versátil y plug-and-play que mejora aún más los modelos MoE preentrenados y convergentes, logrando un rendimiento de vanguardia en la generación visual.

La reconstrucción del movimiento 4D de las manos a partir de video egocéntrico se ve limitada por claras limitaciones de los métodos existentes: los pipelines basados en imágenes dependen de un detector que falla bajo ocultación severa, mientras que los métodos basados en video se apoyan en módulos temporales aprendidos únicamente a partir de escasas anotaciones de pose de mano, una señal limitada insuficiente para modelar la dinámica del movimiento, el razonamiento de ocultación y la interacción mano-objeto. Sin embargo, estas capacidades son precisamente las que los modelos generativos de video deben adquirir implícitamente al ser entrenados para sintetizar video coherente a escala de internet. Motivados por esto, presentamos ViDiHand, que aprovecha las representaciones de un modelo de difusión de video preentrenado para reconstruir la pose 4D de dos manos. Lo adaptamos mediante un objetivo de renderizado de superposición de manos que especializa sus características para las manos, preservando al mismo tiempo sus prioridades del mundo. Un decodificador recupera entonces la pose a escala métrica a partir de las características adaptadas. Todo el pipeline opera directamente sobre fotogramas completos (sin detector, sin completador ni optimización en tiempo de prueba). En ARCTIC, HOT3D y HOI4D, ViDiHand supera sustancialmente a los métodos anteriores, estableciendo los modelos de difusión de video como una nueva base poderosa para la reconstrucción del movimiento de las manos y una vía prometedora para la recopilación de datos escalable en entornos reales para la IA corporal. Página del proyecto: https://vidihand.github.io.

Los modelos de Visión-Lenguaje-Acción (VLA) permiten la manipulación robótica guiada por instrucciones, pero heredan modelos de lenguaje de gran tamaño de los VLM preentrenados, cuya capacidad supera ampliamente lo necesario para instrucciones robóticas breves. Esto plantea una pregunta fundamental: ¿qué parte de un modelo VLA es realmente necesaria para el control en bucle cerrado? En este trabajo, estudiamos la redundancia arquitectónica en modelos VLA mediante la eliminación de bloques transformadores como intervención controlada. Introducimos Eliminar- luego-Recuperar (DTR, por sus siglas en inglés), un protocolo de análisis que elimina bloques seleccionados de un modelo VLA preentrenado y luego ajusta finamente el modelo resultante para medir si la capacidad eliminada era necesaria para el control descendente. Para hacer esta intervención confiable, proponemos GateProbe, una métrica de sensibilidad virtual de puerta única que clasifica los bloques según su contribución a la pérdida de acción descendente. A través de múltiples arquitecturas VLA, puntos de referencia de manipulación e incluso escenarios industriales con robots reales, encontramos una fuerte asimetría en la capacidad de recuperación posterior a la eliminación: \textit{los modelos de lenguaje de gran tamaño son altamente redundantes para tareas estándar de manipulación robótica, mientras que las vías visuales y de acción son sustancialmente menos tolerantes a la eliminación}. En LIBERO, eliminar la mitad de los bloques de LLM incluso mejora OpenVLA-OFT del 95.0% al 98.3% bajo el mismo presupuesto de ajuste fino descendente, y retener solo dos bloques de lenguaje aún recupera el rendimiento de referencia. Estos resultados sugieren que los puntos de referencia actuales de VLA pueden ejercer una presión limitada sobre el anclaje lingüístico profundo y la comprensión de instrucciones composicionales, y que las futuras arquitecturas VLA deberían asignar capacidad de manera más deliberada entre los componentes de lenguaje, visión y acción. El código está disponible en https://github.com/s1ghhh/VLADrop.

Los sistemas multiagente basados en modelos de lenguaje de gran escala (LLM) a menudo dependen de agentes verificadores y críticos para suprimir alucinaciones, pero la verificación se retrasa. Durante este retraso, afirmaciones falsas pueden propagarse a través de la red de agentes. Modelamos este proceso como un consenso retardado en un grafo con nodos correctores fundamentados. La descomposición espectral mediante el Laplaciano fundamentado proporciona un umbral de estabilidad en forma cerrada para la dosis de verificación: una corrección demasiado fuerte o demasiado retardada puede convertir el consenso en oscilación. El régimen más inestable ocurre cuando los retardos de comunicación y verificación coinciden; para un retardo de dos, el umbral es la inversa de la proporción áurea. El mismo marco proporciona un objetivo de colocación supermodular y una regla de aproximación greedy (1-1/e) para asignar un presupuesto limitado de correctores a nodos influyentes. Experimentos con cinco modelos abiertos confirman las oscilaciones de dosis-retardo predichas. Por el contrario, la respuesta factual fundamentada convierte la verdad en un límite absorbente y elimina el efecto, lo que sugiere que la inestabilidad es específica de tareas de creencia con signo, mientras que la verificación fundamentada sigue siendo estabilizadora.

Trabajos recientes han demostrado el potencial de los grandes modelos de lenguaje (LLM) para la optimización de programas, un desafío clave en lenguajes de programación. Proponemos un método de adaptación de caja negra denominado Búsqueda Aumentada por Recuperación (RAS, por sus siglas en inglés) que realiza una búsqueda en haz sobre optimizaciones candidatas; en cada paso, recupera ejemplos en contexto de un conjunto de datos de entrenamiento de pares de programas lentos-rápidos para guiar al LLM. De manera crucial, descubrimos que realizar una recuperación contextual basada en una descripción en lenguaje natural generada por el LLM supera significativamente a la recuperación basada en el código fuente. También proponemos AEGIS, un método para mejorar la interpretabilidad mediante la descomposición de ejemplos de entrenamiento en "ediciones atómicas" que son sustancialmente más incrementales en su naturaleza. Demostramos que RAS se desempeña hasta 2,06 veces mejor que las estrategias previas de adaptación de caja negra de última generación en la optimización de programas en C++, y que AEGIS logra hasta 1,37 veces mejor rendimiento al realizar ediciones significativamente más pequeñas. Asimismo, mostramos que el uso de RAS mejora el percentil de tiempo de ejecución medio de programas en Python en 10,27 en comparación con las líneas base.

El avance de los modelos de IA generativa capaces de producir texto e imágenes supone un paso crítico en el ámbito de la inteligencia multimodal, especialmente para tareas que implican el entrelazado de ambas modalidades. Para llevar esta inteligencia a la siguiente etapa, es fundamental que los modelos generen autónomamente secuencias entrelazadas de texto e imagen en formato libre. En este artículo presentamos ILLUME-X, un paradigma multimodal unificado avanzado que permite la generación de alta calidad de secuencias entrelazadas de texto e imagen en formato libre, mejorando la eficiencia de los datos multimodales y estabilizando el proceso de entrenamiento multimodal. ILLUME-X se compone de tres elementos clave: (i) un pipeline de datos de entrenamiento ampliado y optimizado para la generación entrelazada de texto e imagen, (ii) una estrategia de entrenamiento progresivo con objetivos autoadaptativos para secuencias de tokens multimodales de longitud libre, y (iii) un método de evaluación objetivo y completo, ILScore, para secuencias entrelazadas de texto e imagen. Notablemente, nuestro ILLUME-X supera a modelos unificados previos en múltiples tareas de generación entrelazada de texto e imagen, como la transferencia de estilo, la descomposición de imágenes y la narración de historias.

La auto-colisión sigue siendo un desafío persistente en la estimación de poses humanas y la generación de movimientos basada en SMPL. Bajo articulaciones extremas o síntesis de movimiento estocástico, las mallas generadas frecuentemente presentan autopenetraciones, lo que conduce a resultados físicamente implausibles. Proponemos PoseShield, una restricción de colisión neuronal definida directamente en el espacio de poses de SMPL. Formulamos la corrección de colisiones como un problema de optimización restringida y conectamos la restricción aprendida con la ecuación de Eikonal. Imponer la regularización de Eikonal garantiza gradientes no nulos cerca del límite de colisión, mejorando la estabilidad numérica y la robustez del proceso de optimización. A diferencia de métodos anteriores que operan en el espacio de mallas o se basan en penalizaciones heurísticas, nuestro enfoque opera directamente en el espacio de baja dimensionalidad de las poses humanas y tiene fundamentos teóricos. La misma restricción aprendida se extiende a secuencias de movimiento humano, proporcionando un corrector de colisiones a posteriori independiente del generador, sin necesidad de reentrenar el modelo de movimiento subyacente. Los experimentos en un nuevo punto de referencia de poses SMPL construido muestran que nuestro método alcanza una tasa de éxito del 95.8% y supera a las líneas base de última generación.

Los modelos actuales de fiabilidad representacional en poblaciones neuronales se centran en la estabilidad temporal: si los centroides poblacionales se conservan entre sesiones y días. Este marco deja sin respuesta una pregunta fundamental: ¿con qué fiabilidad se reproduce la estructura de distancias pareadas entre estímulos a través de observaciones independientes dentro de una sesión? Sostenemos que esta propiedad, la estabilidad geométrica, constituye un eje independiente del análisis representacional que los marcos existentes no capturan. Formalizamos la estabilidad geométrica como la correlación de rangos de Spearman entre matrices de disimilitud representacional divididas en dos mitades (Shesha) y mostramos que es empíricamente disociable tanto de la estabilidad temporal como de la precisión de decodificación. A través de 229 observaciones área-sesión que abarcan 68 regiones cerebrales en una tarea de discriminación visual (Steinmetz et al., 2019), la estabilidad geométrica predice el acoplamiento neural-conductual ensayo por ensayo (ρ = 0.18, p = 0.005) mientras que la deriva del centroide no lo hace (ρ = 0.002, p = 0.976). La jerarquía regional, con el estriado como más estable (S = 0.44) y el hipocampo como menos (S = 0.19), es aproximadamente opuesta a la jerarquía de estabilidad temporal. Datos olfativos consistentes en dirección (Bolding y Franks, 2018) motivan un modelo de red atractora en el que el acoplamiento excitatorio recurrente amplifica la consistencia de la MDR entre mitades al completar patrones de estímulo a partir de una entrada feedforward escasa (ρ = +0.64, p = 0.010), proporcionando una explicación a nivel de circuito de cómo emerge la estabilidad geométrica. Estos resultados establecen la estabilidad geométrica como una propiedad funcionalmente relevante y dependiente del circuito de los códigos de población neuronal, ortogonal a las medidas de deriva temporal y complementaria a relatos recientes sobre cómo la conectividad recurrente equilibra la estabilidad representacional con la dinámica secuencial en circuitos hipocampales.

Estudiamos el modelado del mundo condicionado por acciones como una forma escalable de aprender prioridades dinámicas transferibles para el aprendizaje robótico. Al preentrenar un modelo para predecir cómo las acciones impulsan la evolución de la escena visual, el modelo del mundo resultante captura dinámicas de interacción reutilizables más allá de la generación de video a nivel de apariencia. Concretamente, preentrenamos un modelo mundial de difusión base interactivo multivista, A2World, con datos de manipulación robótica a gran escala que incluyen anotaciones reales de acciones. Validamos las prioridades dinámicas aprendidas desde dos perspectivas complementarias. Primero, adaptamos A2World en un simulador del mundo real especializado en tareas o escenas, A2World-sim, cuyos despliegues a largo plazo respaldan la evaluación de políticas basada en simulador y el análisis escalable de escenarios hipotéticos al reemplazar los despliegues robóticos reales con despliegues del modelo mundial. Segundo, partiendo de los mismos pesos preentrenados, adaptamos A2World en un modelo de predicción conjunta de video y acción, A2World-policy, que predice acciones bajo condicionamiento visual y de instrucciones. Experimentos con bancos de pruebas de simulación y entornos robóticos reales demuestran que el preentrenamiento del modelo del mundo condicionado por acciones produce prioridades dinámicas transferibles que benefician tanto al aprendizaje robótico centrado en el simulador como al centrado en la política.

Aunque la edición de imágenes guiada por texto ha logrado avances notables, sigue siendo limitada en el retoque estructural de retratos. Las descripciones textuales tienen dificultades para transmitir cambios detallados en las características faciales y las proporciones corporales. Para abordar esta brecha, introducimos el Retoque de Fotos de Retratos Basado en Ejemplos, donde se proporciona al modelo un par de ejemplo y se le encarga inferir y aplicar las mismas operaciones de retoque a una nueva imagen de consulta. Los métodos de edición basados en ejemplos existentes se centran principalmente en tareas con transformaciones visuales pronunciadas. En contraste, el retoque estructural de retratos implica modificaciones extremadamente sutiles y localizadas, lo que dificulta la extracción y transferencia precisas de estas ediciones. Para abordar esto, proponemos MirrorPPR, un marco novedoso diseñado para capturar y transferir operaciones de retoque estructural sutil. Nuestro método utiliza un Extractor de Operaciones de Retoque para capturar las diferencias sutiles del par de ejemplo. Las representaciones extraídas se inyectan luego en un Transformer de Difusión (DiT) preentrenado a través de un conector y módulos de Adaptación de Bajo Rango (LoRA). Además, la construcción de pares de entrenamiento perfectamente alineados entre identidades se ve gravemente obstaculizada por la desalineación de las operaciones. Para superar esto, proponemos un paradigma avanzado de autoaumento de datos que garantiza operaciones de retoque estrictamente alineadas. Para aliviar la escasez de datos y respaldar esta nueva tarea, presentamos MirrorPPR47M, un conjunto de datos a gran escala con más de 47 millones de pares retocados. Al estructurar el conjunto de datos en subconjuntos simulados y profesionales, habilitamos un aprendizaje curricular progresivo para optimizar la red de manera fluida. Experimentos exhaustivos demuestran que MirrorPPR supera significativamente a las líneas de base existentes tanto en calidad de retoque como en preservación de identidad. La página del proyecto está disponible en https://sjtu-deng-lab.github.io/MirrorPPR.

Una representación fiel del mundo 3D debe considerar la geometría en capas, donde un mismo rayo de cámara puede contener múltiples superficies visibles y geométricamente válidas. Sin embargo, la estimación de profundidad monocular reduce esta estructura a una profundidad escalar por píxel. Las escenas transparentes hacen que esta ambigüedad sea medible: el mismo rayo puede atravesar un vidrio en primer plano y observar el fondo, convirtiendo el objetivo supervisado en una convención de anotación, datos y entrenamiento, en lugar de una verdad intrínseca de la escena. Un predictor aprendido revela esta convención como su preferencia de capa de profundidad. Presentamos MultiDepth-3k (MD-3k), un banco de pruebas ordinal disperso de dos capas para medir la preferencia de capa de profundidad y la precisión de la relación espacial multicapa (ML-SRA). En MD-3k, los modelos fundamentales de profundidad líderes muestran diversas preferencias de capa bajo entrada RGB estándar, lo que indica que la misma geometría en capas puede resolverse de manera diferente entre modelos. Además, descubrimos que el Prompting Visual Laplaciano (PVL), una transformación espectral de entrada sin entrenamiento, puede cambiar sustancialmente la capa reportada para ciertos modelos congelados. El par RGB/PVL más fuerte, DAv2-L, alcanza un 75.5% de ML-SRA. Estos resultados sugieren que los modelos fundamentales de profundidad pueden expresar hipótesis geométricas complementarias que la inferencia RGB estándar deja sin expresar. Invitamos a la comunidad a repensar la supervisión y evaluación de profundidad a través de una lente consciente de la ambigüedad, donde las múltiples interpretaciones 3D válidas se traten como estructura geométrica que debe ser medida, preservada y expresada.

El ajuste fino con datos inofensivos puede deshacer parcialmente comportamientos adquiridos en fases previas del entrenamiento. La seguridad puede erosionarse bajo actualizaciones benignas posteriores a la alineación, las capacidades desaprendidas pueden reaparecer, los rasgos latentes pueden transferirse a través de supervisión aparentemente no relacionada, y una fragilidad similar posterior a la alineación se observa en otros contextos generativos. Sostenemos que estos fenómenos se entienden mejor desde una perspectiva común basada en la historia del entrenamiento. Nuestra hipótesis es geométrica: las fases tempranas extensas de entrenamiento crean variedades de comportamiento dominantes, mientras que las fases posteriores de alineación o especialización representan desplazamientos más superficiales desde ellas. Por lo tanto, el ajuste fino posterior puede heredar un componente persistente de reversión que apunta de vuelta hacia un testigo de la variedad dominante. A esto lo denominamos la interpretación gravitacional de la reversión por ajuste fino. En todos nuestros escenarios principales, la deriva representacional adquiere rápidamente un componente a lo largo de una dirección de reversión definida por la historia (v_rev). En nuestra pista principal, la alineación con v_rev aumenta de un cos = 0,429 ± 0,052 tras la primera actualización a 0,647 ± 0,021 en el paso 20. En 24 pares corrida-paso, toda alineación observada supera el p99 de una nula isotrópica en el espacio de activación. Demostramos que bloquear selectivamente el movimiento a lo largo de v_rev cambia la alineación final en T=100 de 0,648 ± 0,009 a -0,211 ± 0,021 y reduce la nocividad de 19,0 % ± 4,0 % a 8,5 % ± 1,5 %, con un costo mínimo en la tarea. Estos resultados respaldan a v_rev como un mediador causalmente relevante de la reversión temprana posterior a la alineación en nuestro entorno. Es importante destacar que no afirmamos que v_rev sea la dirección única de seguridad, ni que la variedad dominante se observe directamente; más bien, identificamos una dirección robusta, definida por la historia, que explica y controla parcialmente la dinámica temprana de reversión.

La inspección de túneles hidroeléctricos es fundamental para la integridad de la infraestructura, pero sigue siendo ineficiente y peligrosa con métodos manuales. Proponemos FLISP (Planificador de Trayectorias Sincronizadas Rápido con LiDAR-IMU), un marco de planificación sin mapas para la inspección cooperativa UGV-UAV. A diferencia de los paradigmas tradicionales basados en mapas, FLISP presenta tres contribuciones principales: (1) una arquitectura unificada donde un único conjunto LiDAR-IMU montado en el UGV impulsa la generación sincronizada de trayectorias para ambas plataformas; (2) solucionadores específicos para cada plataforma que emplean un Algoritmo de Luciérnaga mejorado para la evasión de obstáculos del UGV y un optimizador iterativo dinámico para el vuelo del UAV; y (3) una estrategia de refinamiento jerárquico que garantiza la factibilidad cinemática sin deriva en la estimación de estado. Las evaluaciones en un túnel operativo de 1.2 km demuestran que FLISP evita los cuellos de botella estructurales de los métodos basados en mapas, eliminando la sobrecarga de rasterización de mapas (Fast-LIO2 + A*) y la inestabilidad del muestreo (LIO-SAM + RRT*). FLISP alcanza una tasa de éxito del 100 % con una latencia de 7 ms, lo que representa una aceleración de 7 veces en comparación con los métodos basados en cuadrículas y una mejora de tres órdenes de magnitud frente a los basados en muestreo. Validado en túneles hidroeléctricos operativos, este enfoque ofrece una solución escalable para la inspección robótica en infraestructuras lineales con características degradadas. Un video de demostración está disponible en https://youtu.be/Y_ezs1PfLJ4, y el código en https://github.com/ArchibaldGuo/FLISP.git.

Los Modelos de Visión Foundation (VFMs) preentrenados se han convertido en el núcleo de la visión artificial moderna debido a sus potentes representaciones semánticas y su sólida capacidad de generalización. Sin embargo, sus salidas parcheadas o agrupadas son inherentemente de baja resolución, lo que limita su eficacia en tareas que requieren un razonamiento detallado a nivel de píxel. Los enfoques existentes de muestreo ascendente de características degradan la fidelidad semántica o dependen de un reentrenamiento específico del VFM y de arquitecturas pesadas, lo que dificulta la eficiencia y la escalabilidad. Para abordar estos desafíos, proponemos RaysUp, un marco de muestreo ascendente de características ultra-ligero, independiente de la tarea y del VFM, que reconstruye mapas de características de alta resolución a resoluciones arbitrarias. A diferencia de los esquemas convencionales de interpolación 2D o basados en atención, RaysUp eleva la reconstrucción de características a un dominio de rayos con conocimiento geométrico. Específicamente, introducimos un Codificador de Guía Espacialmente Desacoplado para la codificación de guía consciente de la dirección, un mecanismo de Atención Cruzada de Cualquier Resolución para la reconstrucción flexible de resoluciones, y una novedosa Codificación Posicional de Rayos (RayPE) que inyecta priors geométricos 3D implícitos mediante coordenadas de rayos de Plücker en 6D. Finalmente, un módulo de Atención de Vecindad con Conocimiento Geométrico asegura una agregación bilateral adaptativa al contenido mientras preserva la consistencia geométrica. Experimentos exhaustivos en diversas tareas de predicción densa demuestran que RaysUp alcanza un rendimiento de última generación utilizando solo el 16% de los parámetros de AnyUp y proporcionando una inferencia aproximadamente 7 veces más rápida. Estos resultados resaltan una relación precisión-eficiencia sustancialmente mejorada y establecen a RaysUp como una solución práctica y escalable para el muestreo ascendente universal de características. El código está disponible en https://github.com/MAP-RaysUp/RaysUp.

La alineación de representaciones ha surgido como un enfoque eficaz para mejorar los Modelos de Lenguaje Grandes Multimodales (MLLMs) al regularizar sus representaciones internas hacia las de un codificador visual externo. Sin embargo, los métodos existentes suelen alinear una capa fija del tronco del lenguaje, pasando por alto la estructura detallada de los modelos Transformer. En este trabajo, proponemos la Alineación de Representaciones por Cabezal (HeRA), un método que impone la alineación multimodal a nivel de cabezales de atención individuales. Nuestro enfoque se fundamenta en la Hipótesis de la Representación Platónica, centrándose en preservar la estructura topológica de las representaciones (es decir, sus relaciones de vecindad local) entre modalidades. Siguiendo la métrica de alineación de Vecinos Más Cercanos Mutuos (MKNN), introducimos un objetivo contrastivo que actúa como un proxy diferenciable para emparejar estructuras locales. HeRA aplica este objetivo durante el entrenamiento multimodal a cabezales de atención específicos en el LLM, seleccionados por su puntuación de alineación según la métrica MKNN. De manera contraintuitiva, encontramos que alinear los cabezales menos alineados produce las mayores ganancias. Evaluaciones exhaustivas en múltiples MLLMs y 18 puntos de referencia demuestran que HeRA mejora consistentemente el rendimiento en tareas desafiantes centradas en la visión y actúa como un regularizador eficaz contra las alucinaciones visuales, al reducir naturalmente la dependencia excesiva de los conocimientos previos lingüísticos. Nuestro código está disponible públicamente.