Artículos de investigación en IA seleccionados diariamente con traducciones
La memoria para agentes de modelos de lenguaje de gran escala (LLM) ha evolucionado rápidamente desde simples mecanismos aumentados por recuperación hasta convertirse en un sistema de gestión de datos que admite almacenamiento persistente de información, recuperación, actualización, consolidación y gobernanza dinámica del ciclo de vida durante la ejecución del agente. A pesar de esta evolución, las evaluaciones existentes aún evalúan la memoria de los agentes principalmente mediante métricas de éxito de tareas de extremo a extremo (por ejemplo, F1, BLEU), mientras tratan el sistema subyacente como una caja negra monolítica. Como resultado, preocupaciones críticas a nivel de sistema, incluidos costos operativos, compensaciones arquitectónicas entre módulos de memoria y robustez ante actualizaciones dinámicas de conocimiento, siguen siendo insuficientemente exploradas. En este artículo, presentamos un estudio experimental sistemático de la memoria de agentes desde una perspectiva de gestión de datos. Proponemos un marco analítico que descompone la memoria del agente en cuatro módulos centrales: representación y almacenamiento de memoria, extracción, recuperación y enrutamiento, y mantenimiento. Bajo este marco, evaluamos 12 sistemas de memoria representativos y dos líneas base de referencia en cinco cargas de trabajo de referencia que abarcan 11 conjuntos de datos. Nuestra evaluación exhaustiva de extremo a extremo muestra que ninguna arquitectura domina en todos los escenarios; en cambio, la eficacia depende en gran medida de qué tan bien se alinea la estructura de la memoria con el cuello de botella de la carga de trabajo. Además, mediante estudios de ablación detallados, cuantificamos sus efectos individuales en la fidelidad de la representación, la precisión de la recuperación, la corrección de las actualizaciones y la estabilidad a largo plazo. Finalmente, revelamos compensaciones entre costo y rendimiento en cargas de trabajo realistas, mostrando que el mantenimiento localizado es más rentable que la reorganización global. Basándonos en estos hallazgos, identificamos direcciones prometedoras para construir sistemas de memoria verdaderamente nativos de agentes. El código está disponible públicamente en https://github.com/OpenDataBox/MemoryData.
La generación de texto a video (S2V) impulsada por sujeto en dominio abierto ha generado un interés significativo en el ámbito académico e industrial. El S2V en dominio abierto implica principalmente dos escenarios: dentro del dominio, que requiere conservar en la mayor medida posible las características del sujeto de referencia, y entre dominios, que preserva las características intrínsecas del sujeto mientras permite que las propiedades no relevantes para el sujeto varíen flexiblemente según la indicación textual. Los métodos existentes se centran principalmente en maximizar la fidelidad del sujeto en escenarios dentro del dominio, lo que limita su capacidad de edición y adaptabilidad en escenarios entre dominios, como nuevos estilos, combinaciones semánticas o atributos de dominio. En este estudio, proponemos que un método S2V ideal debería desplazarse flexiblemente entre diferentes dominios, logrando un rendimiento sólido tanto en escenarios dentro del dominio como entre dominios. Con este fin, presentamos DomainShuttle, que logra alta fidelidad y flexibilidad generativa para la personalización de video en dominio abierto. Específicamente, introducimos Domain-MoT, que desacopla los videos y las características de referencia, e incorpora AdaLN consciente del dominio para el modelado específico del dominio de las imágenes de referencia. Luego, presentamos el esquema Video-Reference DualRoPE, que coloca los tokens de la imagen de referencia y los tokens del video en espacios RoPE separados para permitir un modelado espacial preciso a nivel de sujeto, y la Pérdida de Consistencia entre Pares Cruzados, cuyo objetivo es extraer características intrínsecas del sujeto que no se vean afectadas por características irrelevantes. Experimentos exhaustivos demuestran que DomainShuttle logra mejoras significativas en el rendimiento en comparación con los métodos existentes, mostrando alta fidelidad del sujeto y flexibilidad generativa en diversos escenarios de aplicación de dominio abierto.
Presentamos Wan-Streamer, un modelo fundacional interactivo de extremo a extremo, nativo en streaming, diseñado desde cero para la interacción audiovisual dúplex completa, en tiempo real y con baja latencia. Wan-Streamer modela de manera fluida lenguaje, audio y video tanto como entrada como salida dentro de un único Transformer, donde la secuencia se representa como tokens de entrada visuales, de audio y de texto intercalados, junto con tokens de salida visuales, de audio y de texto, coordinados mediante atención bloque-causal para un streaming incremental. A diferencia de los sistemas interactivos en cascada que dependen de módulos separados de VAD, ASR, lenguaje, TTS, animación basada en audio o generación de video, Wan-Streamer no requiere módulos externos de lenguaje, habla, avatar o generación de video: la percepción, el razonamiento, la generación, la temporización de respuestas, la gestión de turnos y la sincronización entre modalidades se aprenden conjuntamente dentro de un único modelo unificado, lo que reduce la latencia del pipeline y la acumulación de errores. Para respaldar la capacidad de respuesta audiovisual natural, rediseñamos toda la pila en torno a la capacidad de streaming, incluidos codificadores causales, decodificadores causales, atención bloque-causal y una programación de tokens multimodales de baja latencia, lo que permite unidades de streaming de hasta 160 ms a 25 fps. Wan-Streamer logra una latencia de respuesta del modelo de aproximadamente 200 ms y una latencia total de interacción de aproximadamente 550 ms cuando se combina con una latencia de red bidireccional de 350 ms, lo que posibilita una comunicación audiovisual dúplex por debajo del segundo. Estos resultados posicionan a Wan-Streamer como un modelo fundacional interactivo multimodal, unificado y de extremo a extremo para la interacción en streaming de baja latencia.
La fotografía en el mundo real requiere orientación en el momento de la captura tanto para el encuadre de la cámara como para la pose del sujeto. Sin embargo, los benchmarks existentes de recorte estético evalúan principalmente la predicción de recorte posterior y pasan por alto las recomendaciones del lado del sujeto, dejando sin explorar las capacidades de orientación en el momento de la captura de los modelos de lenguaje multimodal de gran escala (MLLM). Para abordar esta brecha, presentamos CaptureGuide-Bench, un benchmark con dos tareas complementarias: decisión y refinamiento de composición del lado del fotógrafo, y recomendación de pose condicionada por la escena del lado del sujeto. Nuestra evaluación revela limitaciones: los MLLM de propósito general pueden tomar decisiones de composición pero carecen de una localización precisa del refinamiento, mientras que los modelos especializados de recorte estético localizan los recortes de manera efectiva pero se limitan al refinamiento; ninguno proporciona orientación práctica sobre la pose. Para apoyar el desarrollo de modelos, además construimos CaptureGuide-Dataset, que comprende 130K muestras con justificaciones textuales y anotaciones visuales estructuradas, y desarrollamos ShutterMuse, un MLLM unificado entrenado con ajuste fino supervisado y por refuerzo. Los experimentos en CaptureGuide-Bench muestran que ShutterMuse logra el mejor rendimiento general del lado del fotógrafo entre las líneas base evaluadas y una recomendación de pose del lado del sujeto competitiva con un costo de inferencia sustancialmente menor, demostrando el potencial de los MLLM como asistentes interactivos para la fotografía durante la captura de imágenes.
Los modelos modernos de lenguaje a gran escala se entrenan predominantemente con factorización autorregresiva y atención causal. Presentamos iLLaDA, un modelo de lenguaje de difusión enmascarada de 8 mil millones de parámetros entrenado desde cero con atención completamente bidireccional. iLLaDA mantiene el objetivo de difusión enmascarada durante todo el preentrenamiento y el ajuste fino supervisado (AFS), escalando el preentrenamiento a 12 billones de tokens y el ajuste fino en un corpus de instrucciones de 25 mil millones de tokens durante 12 épocas. Además, utilizamos generación de longitud variable para eficiencia e introducimos una puntuación basada en confianza para la evaluación de opción múltiple. En comparación con LLaDA, iLLaDA mejora ampliamente en puntos de referencia generales, matemáticos y de código; por ejemplo, iLLaDA-Base mejora en 21.6 puntos en BBH y 14.9 puntos en ARC-Challenge, mientras que iLLaDA-Instruct mejora en 14.5 puntos en MATH y 16.5 puntos en HumanEval. A pesar de su entrenamiento no autorregresivo, iLLaDA también se mantiene competitivo con Qwen2.5 7B en varios puntos de referencia. Estos resultados muestran que el entrenamiento de difusión completamente bidireccional desde cero es un camino competitivo hacia modelos de lenguaje robustos. Pesos y códigos del modelo: https://github.com/ML-GSAI/LLaDA.
Mientras que los Modelos de Lenguaje de Gran Escala (LLMs) han avanzado sustancialmente la síntesis de texto a código, muchas tareas de programación reales especifican la intención a través de artefactos visuales como capturas de pantalla, gráficos, dibujos vectoriales, videos y estados interactivos. Estas tareas requieren que los modelos conecten la percepción visual con programas ejecutables, porque la corrección depende no solo de la sintaxis, sino también del diseño, la semántica de los datos, el comportamiento interactivo y las restricciones específicas del dominio que se aplican tras la ejecución. Esta encuesta examina la Inteligencia de Código Multimodal, abarcando sistemas que generan, editan, refinan o razonan con código bajo entradas y salidas visualmente fundamentadas. Primero formulamos el campo según el rol que el código desempeña en cada tarea, distinguiendo el código como artefacto renderizado, estructura simbólica editable, representación científica, traza de razonamiento intermedio, o política ejecutable/interfaz de herramienta. Luego organizamos puntos de referencia y métodos en cuatro dominios: Interfaz Gráfica de Usuario, Visualización Científica, Gráficos Estructurados, y Tareas y Marcos de Frontera. Esta taxonomía conecta problemas maduros de generación de artefactos con entornos agentivos y unificados emergentes, y nos permite comparar cómo distintas tareas tratan la evidencia de corrección. De cara al futuro, argumentamos que la investigación futura podría beneficiarse de cuatro direcciones centradas en la verificación. La validación multiseñal puede combinar evidencias complementarias de corrección; la verificación multiestado puede probar el comportamiento a lo largo de trayectorias de ejecución; las pruebas de transferencia entre tareas pueden sondear habilidades reutilizables de código visual; y las trazas de agente verificables pueden revelar si las acciones del agente están fundamentadas en evidencia visual. En conjunto, estas direcciones pueden mover este campo desde la imitación de salida única hacia sistemas ejecutables basados en evidencia. Un proyecto en curso y recursos están disponibles en https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.
La síntesis de un video desde una nueva perspectiva a partir de un video de referencia monocular, siguiendo una trayectoria de cámara objetivo, requiere tanto consistencia geométrica como fidelidad de movimiento con respecto al video de referencia. Los métodos existentes basados en representaciones 3D explícitas están limitados por la precisión de los módulos de reconstrucción disponibles, que a menudo producen geometría inexacta para objetos dinámicos en videos monoculares. En contraste, los métodos basados únicamente en el condicionamiento de la cámara pueden lograr una alta calidad visual, pero suelen tener dificultades para preservar la consistencia geométrica y de movimiento. En este trabajo, presentamos MVTrack4Gen (Multi-View point Tracking for Novel-View Generation), un marco de entrenamiento consciente del movimiento que aprovecha el seguimiento de puntos multivista como una señal de supervisión geométrica y de movimiento adicional para modelos de difusión de video de nueva vista basados únicamente en el condicionamiento de la cámara. Nuestro hallazgo clave es que ciertas capas de atención codifican fuertes señales de correspondencia, donde las características de consulta atienden a características clave en ubicaciones geométricamente correspondientes a través de vistas y a lo largo del tiempo, y la desalineación de estas correspondencias causa inconsistencia en el movimiento. Basándonos en esta observación, enrutamos estas características a un cabezal auxiliar de seguimiento multivista y entrenamos conjuntamente el modelo de difusión con un objetivo de seguimiento de puntos. Al fortalecer explícitamente estas correspondencias conscientes del movimiento, MVTrack4Gen mejora los modelos existentes para que sigan mejor el movimiento en la vista de referencia y mantengan la consistencia geométrica entre vistas. En diversos puntos de referencia, nuestro método logra una consistencia geométrica de última generación y una precisión de cámara competitiva.
El razonamiento visual detallado requiere que los modelos de lenguaje grande multimodales (MLLMs) identifiquen evidencia visual relevante para la tarea y fundamenten su razonamiento en regiones locales de la imagen. Los métodos agénticos existentes suelen depender del aprendizaje por refuerzo con recompensas verificables o del ajuste fino supervisado en grandes conjuntos de datos con trazas de razonamiento anotadas, lo que conlleva una exploración costosa, reglas de verificación diseñadas manualmente o una fuerte dependencia de la supervisión textual. Una forma natural de evitar dichas etiquetas de respuesta externas es aprender a partir de trayectorias muestreadas por el propio estudiante, lo que apunta a la Destilación en Política (On-Policy Distillation, OPD). Para comprender qué puede y qué no puede aportar la OPD al razonamiento visual, la retomamos como una alineación con gradiente detenido libre de negativos. Esta perspectiva muestra que, aunque la OPD proporciona una corrección efectiva a nivel de token, su techo está limitado por la ausencia de discriminación a nivel de trayectoria. Motivados por estas observaciones, proponemos V-Zero, un marco libre de etiquetas de respuesta para el razonamiento visual con compuerta de evidencia contrastiva. V-Zero no utiliza etiquetas de respuesta textual anotadas; en su lugar, durante el entrenamiento empareja un recorte regional relevante para la pregunta con una vista visual negativa para evaluar las trayectorias muestreadas por el estudiante y regular la destilación densa a nivel de token. Los experimentos en múltiples bancos de prueba de razonamiento visual muestran que V-Zero mejora consistentemente el razonamiento visual detallado, al tiempo que preserva una fuerte generalización. Notablemente, V-Zero es más de 5 veces más rápido que los métodos anteriores de ajuste fino supervisado y más de 10 veces más rápido que las líneas base de aprendizaje por refuerzo. El código y los conjuntos de datos se publicarán en https://github.com/eVI-group-SCU/V-Zero.
Generar un video coherente de múltiples tomas requiere una memoria estructurada entre tomas. La apariencia del sujeto, el contexto de la escena y la identidad del hablante deben persistir a través de los cortes. Los enfoques existentes o entrenan extremo a extremo sobre secuencias de longitud fija sin capacidad de escalado, generan toma por toma con bancos de memoria que crecen linealmente, o coordinan generadores preentrenados bajo un planificador LLM sin un esqueleto consciente de múltiples tomas. Presentamos UnityShots, un sistema de generación de audio-video multi-toma impulsado por memoria, basado en LTX-2.3 y entrenado sobre tomas cinematográficas y de videoclips musicales anotadas. El flujo de video mantiene dos ranuras de tamaño fijo: una ranura de memoria a largo plazo (MLP) anclada a la toma inicial y una ranura de memoria a corto plazo (MCP) que retiene la cola inmediatamente anterior, ambas actualizadas en cada corte mediante una compuerta condicionada por límites que fusiona la probabilidad de corte visual y las señales de seguimiento de ritmo. El flujo de audio inyecta un token de referencia del hablante en cada toma para preservar el timbre vocal sin un banco de audio deslizante. Un prior discreto de tipo de corte, aprendido mediante AdaLN, se convierte en un control ajustable en tiempo de inferencia sobre la fuerza de transición. Publicamos un punto de referencia de 200 secuencias multi-toma multiculturales que abarcan seis regiones étnicas y diez o más idiomas, con identidades de referencia por toma, audio de referencia y etiquetas de transición por límite. Evaluado en modos de condicionamiento I2V, T2V y R2V, UnityShots supera a las líneas base de código abierto en cada métrica de coherencia entre tomas y equipara al sistema de código cerrado más potente en los ejes multi-toma.
La difusión de video autorregresiva con transformadores de difusión causal ha emergido como un paradigma principal para la generación de video en streaming en tiempo real y modelos de mundo interactivos condicionados por acciones. En este trabajo, extendemos rCM, un marco avanzado de destilación de difusión, a la difusión de video autorregresiva. La filosofía central de rCM radica en la complementariedad entre las divergencias directa e inversa, representadas respectivamente por los modelos de consistencia (CMs) y la destilación por emparejamiento de distribuciones (DMD), en la destilación de difusión. Esta filosofía se traslada de forma natural al entorno autorregresivo, donde el teacher-forcing (TF) proporciona un paradigma de entrenamiento causal offline de divergencia directa, mientras que el self-forcing (SF) corresponde a un refinamiento on-policy de divergencia inversa. Nuestras contribuciones son: (1) mediante extensos experimentos, demostramos que el teacher-forcing CM es actualmente el mejor complemento al self-forcing DMD como estrategia de inicialización; (2) presentamos la primera implementación de CMs de tiempo continuo basados en teacher-forcing (p. ej., sCM/MeanFlow) para difusión de video autorregresiva, habilitada por nuestro kernel JVP FlashAttention-2 con máscara personalizada, logrando una convergencia 10 veces más rápida en comparación con los CMs de tiempo discreto (dCMs); (3) introducimos Causal-rCM, una receta abierta líder, unificada y escalable de algoritmo-infraestructura para destilación de difusión y entrenamiento causal; (4) alcanzamos un rendimiento de generación de video en streaming de última generación tanto en configuraciones cuadro por cuadro como por fragmentos, utilizando únicamente datos sintéticos para el entrenamiento. Notablemente, nuestro modelo causal Wan2.1-1.3B destilado en 2 pasos alcanza una puntuación VBench-T2V de 84.63 con solo 1 o 2 pasos de muestreo. Además, aplicamos Causal-rCM a Cosmos 3, un modelo fundacional de mundo omnimodal avanzado para IA física con capacidad de generación condicionada por acciones, lo que permite un modelo de mundo interactivo.
Los modelos de lenguaje grandes multimodales unificados (MLLMs) han logrado una alta calidad en la generación de texto a imagen, pero aún enfrentan dificultades en el seguimiento de instrucciones con conciencia estructural, donde deben preservarse el conteo de objetos, las relaciones espaciales, las vinculaciones de atributos y los diseños aproximados. Atribuimos esta limitación en parte al enredo de la planificación estructural y la representación de apariencia dentro de un flujo de condicionamiento único. Para abordar este problema, proponemos la Cadena de Pensamiento Visual Implícita (IV-CoT), un marco de razonamiento visual latente para la generación de imágenes condicionadas por consultas. IV-CoT descompone las consultas de condicionamiento visual en una cascada de lo estructural a lo semántico, donde las consultas estructurales primero forman un plan visual latente y luego las consultas semánticas representan la apariencia condicionada por este plan. Para guiar las consultas estructurales, introducimos una supervisión de bocetos solo en entrenamiento, que las alienta a capturar la estructura a partir de bocetos sin requerir extracción de bocetos ni decodificación intermedia en el momento de la inferencia. IV-CoT realiza un razonamiento CoT implícito en una sola pasada hacia adelante y obtiene resultados superiores en GenEval y T2I-CompBench. Las visualizaciones y análisis demuestran que las consultas estructurales y semánticas aprendidas desempeñan roles complementarios en la generación con conciencia estructural.
Presentamos EBench, un banco de pruebas de simulación que diagnostica políticas generalistas de manipulación móvil más allá de una única métrica escalar de tasa de éxito. EBench comprende 26 tareas de manipulación diversas y desafiantes anotadas a lo largo de 5 dimensiones de capacidad y 4 dimensiones de generalización. Evaluamos modelos punteros de manipulación generalista, incluidos π_0, π_{0.5}, XVLA e InternVLA-A1, y revelamos que modelos con tasas de éxito similares presentan perfiles de capacidad notablemente diferentes: π_{0.5} alcanza la mayor tasa de éxito en prueba y la mejor retención entrenamiento-prueba, mientras que InternVLA-A1 domina en manipulación móvil pero fracasa en tareas de destreza, y XVLA muestra fortalezas en un conjunto disjunto de habilidades atómicas en comparación con las otras políticas. Más allá del perfilado de capacidades, EBench analiza la capacidad de generalización desde 4 perspectivas representativas, identificando el impacto de distintos factores de cambio de distribución. Los resultados revelan fortalezas y debilidades de los modelos ocultas tras una puntuación general. Esperamos que este banco de pruebas ofrezca un amplio conjunto de señales diagnósticas para guiar la iteración en modelos de manipulación generalista.
La Guía del Autoestopista para la IA Agentiva es una referencia práctica integral para construir sistemas autónomos de inteligencia artificial. El libro abarca toda la pila, desde primeros principios hasta el despliegue en producción, organizado en torno a una tesis central: construir sistemas agentivos excelentes requiere comprender cada capa del pipeline, no solo una. El libro comienza con el sustrato de LLM —arquitectura transformer, sistemas de GPU, entrenamiento y ajuste fino (SFT, LoRA, MoE), compresión de modelos y optimización de inferencia— tratados como fundamentos esenciales, no como el foco principal. Luego desarrolla la capa de alineación y razonamiento: aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), PPO, DPO y sus variantes, GRPO, modelado de recompensas y RL para modelos de razonamiento a gran escala, incluyendo cadena de pensamiento y escalado en tiempo de prueba. La segunda mitad está dedicada propiamente a la IA agentiva. Los temas incluyen entrenamiento agentivo y RL basado en trayectorias, generación aumentada por recuperación (RAG y RAG Agentivo), sistemas de memoria (en contexto, externa, episódica y semántica), diseño de arneses de agente y gestión de contexto, y una taxonomía de patrones de diseño de agentes. La coordinación entre agentes se cubre en profundidad: el Protocolo de Contexto de Modelo (MCP), habilidades de agente y uso de herramientas, el protocolo de comunicación Agente a Agente (A2A) y arquitecturas multiagente que abarcan topologías centralizadas, descentralizadas y jerárquicas. El libro concluye con marcos de desarrollo de agentes, diseño de interfaz de usuario agentiva, metodología de evaluación para tareas agentivas y despliegue en producción. Cada capítulo combina fundamentos teóricos rigurosos con guías de implementación, ejemplos de código y referencias a la literatura primaria.
El razonamiento de Cadena de Pensamiento (CoT, por sus siglas en inglés) se ha convertido en un método estándar para mejorar las capacidades de razonamiento en modelos de lenguaje grandes (LLMs) al elicitar un pensamiento paso a paso, pero su efectividad en tareas multimodales sigue sin estar clara. En este artículo, nos proponemos investigar sistemáticamente la pregunta clave: ¿Qué puede hacer el razonamiento multimodal de Cadena de Pensamiento, y dónde y por qué se queda corto? Para ello, evaluamos 12 tareas multimodales en las categorías de percepción y razonamiento utilizando tanto 14 modelos no razonadores como 8 modelos razonadores. Nuestro análisis revela varios hallazgos importantes: (1) El CoT no es un almuerzo gratis y debe usarse selectivamente según los requisitos específicos de cada tarea. Para tareas de percepción, el CoT puede provocar efectos secundarios no deseados, como un rendimiento reducido en el anclaje visual y el conteo de objetos. Por el contrario, resulta efectivo para tareas de razonamiento que involucran razonamiento matemático, científico y multiimagen; (2) En comparación con los modelos originales, los modelos de razonamiento multimodal de código abierto existentes a menudo producen solo mejoras generales marginales, posiblemente debido a un énfasis excesivo en el razonamiento matemático a expensas de capacidades más amplias; (3) El razonamiento visual sigue siendo un cuello de botella clave para el CoT multimodal actual, ya que los modelos exhiben un patrón de "Look Light, Think Heavy" (Mirar Ligero, Pensar Pesado) donde la reflexión verbal aumenta y disminuye durante el razonamiento, mientras que la reflexión visual disminuye constantemente. Estos hallazgos sugieren que, si bien el CoT multimodal maneja relativamente bien la reflexión verbal, carece de la capacidad de mantener una introspección visual profunda a lo largo del proceso de razonamiento.
Presentamos Autodata, un método general que permite a los agentes de IA actuar como científicos de datos que construyen datos de entrenamiento y evaluación de alta calidad. Mostramos cómo entrenar (metaoptimizar) a dicho agente científico de datos, de modo que aprenda a crear datos aún más sólidos. Describimos la formulación general y una implementación práctica específica, Agentic Self-Instruct. Realizamos experimentos en tareas de investigación en ciencias de la computación, tareas de razonamiento legal y razonamiento con objetos matemáticos, donde obtenemos resultados mejorados en comparación con los métodos clásicos de creación de conjuntos de datos sintéticos. Además, la metaoptimización del propio agente científico de datos proporciona una mejora del rendimiento aún mayor. La creación de datos agéntica ofrece una manera de convertir un mayor cómputo de inferencia en un entrenamiento de modelos de mayor calidad. En general, creemos que esta dirección tiene el potencial de cambiar la forma en que construimos datos de IA.
Si bien el Video Virtual Try-on (VVT) ha logrado un progreso notable en la síntesis de superposiciones realistas de prendas sobre sujetos dinámicos, los paradigmas existentes siguen fundamentalmente limitados por una dependencia pasiva de las trayectorias de cámara de origen, sin poder proporcionar la libertad interactiva necesaria para la exploración omnidireccional de puntos de vista. Para abordar esta limitación, definimos una frontera de investigación pionera: el Video Virtual Try-on Controlable por Cámara (CaM-VVT). A diferencia del VVT convencional, el CaM-VVT no solo requiere una alucinación de textura independiente del punto de vista, sino también una estricta sincronización estructural entre la dinámica humana no rígida y los contextos de fondo bajo movimientos de cámara arbitrarios y sin restricciones. Para afrontar estos desafíos, presentamos TryOnCrafter, el primer marco unificado basado en DiT específicamente diseñado para la tarea CaM-VVT. Alejándonos de la manipulación implícita en el espacio de píxeles, introducimos un Proxy de Prueba 4D Renderizable que desacopla explícitamente al sujeto humano del entorno. Esto se logra destilando prioridades de prueba 2D de alta fidelidad en un avatar vestido basado en 3DGS, que posteriormente se anima mediante secuencias SMPL-X y se alinea métricamente en una nube de puntos de fondo reconstruida. Este proxy establece una base estructural sólida con una densidad de textura superior e integridad de movimiento. Nuestro Video DiT Anclado al Proxy aprovecha esta base estructural robusta como ancla geométrica principal, asegurando que los videos fotorrealistas sintetizados estén estrictamente restringidos por las trayectorias prescritas y las deformaciones físicamente plausibles. Beneficiándose de la editabilidad inherente del proxy 4D, TryOnCrafter facilita diversas aplicaciones posteriores, que incluyen la reubicación humana, los efectos de "tiempo bala" y la visualización orbital de 360 grados.
Las características de WordArt (texto artístico), como fuentes, texturas y diseños altamente personalizados, hacen que el Reconocimiento de Texto en Escenas con WordArt (WATER) sea considerablemente más desafiante que el Reconocimiento General de Texto en Escenas (STR). Los conjuntos de datos y métodos STR existentes, típicamente diseñados en torno a texto de escena regular y entradas de plantilla fija, tienen dificultades para escalar a WATER. Por ello, nuestro objetivo es avanzar en esta tarea desde las perspectivas de los datos y el modelo. En cuanto a los datos, construimos un conjunto sintético de 2M, WATER-S, cuya escala se ha mejorado cientos de veces en comparación con los datos de texto artístico existentes. WATER-S consta de dos subconjuntos complementarios. Uno se genera mediante un pipeline de renderizado mejorado (SynthWordArt), que proporciona datos WordArt sintéticos altamente precisos y controlables. El otro se genera combinando Qwen3-VL para la minería de indicaciones y Z-Image para la síntesis de imágenes, lo que mejora la cobertura de datos realistas y diversos. En cuanto al modelo, proponemos WATERec. Este adopta un codificador visual que admite entradas de formas arbitrarias y un decodificador autorregresivo para modelar diseños complejos, rompiendo estructuralmente el cuello de botella del STR de plantilla fija en WordArt. Los experimentos muestran que esta arquitectura supera a los métodos STR anteriores, logrando un rendimiento de vanguardia en textos irregulares como WordArt. Junto con WATER-R, cuidadosamente reorganizado a partir de datos STR reales existentes, nuestra línea base sólida con los nuevos datos sintéticos y el diseño del modelo alcanza un 90.40% de precisión en WordArt-Bench, superando por un amplio margen tanto a los modelos de visión-lenguaje de propósito general como a los especializados en OCR. El código y los datos están disponibles en https://github.com/YesianRohn/WATER.
La destilación on-policy (OPD) mejora el razonamiento de los LLMs al entrenar un modelo estudiante con sus propias salidas generadas, pero la OPD estándar trata todas las salidas generadas por el estudiante (SGOs) por igual, independientemente de su informatividad. Observamos una asimetría consistente en experimentos de filtrado controlado: tanto en OPD como en la autodestilación on-policy (OPSD), entrenar solo con SGOs incorrectas supera a entrenar solo con SGOs correctas. Nuestro análisis adicional sugiere que los modelos entrenados únicamente con SGOs correctas tienden a generar trazas de razonamiento más cortas y muestran un comportamiento de reflexión más débil, mientras que las SGOs incorrectas preservan mejor el razonamiento exploratorio cerca del límite de capacidad del modelo. Para aprovechar esta señal sin requerir rollouts completos que contengan la respuesta, introducimos ReNIO, que Re-pondera la Importancia de Trayectorias Negativas para la destilación on-policy de LLMs. Utilizando la relación de probabilidades estudiante a maestro, ReNIO identifica los tokens pivotes que conducen a trazas de razonamiento erróneas y agrega su información en un peso de muestra normalizado, asignando inherentemente pesos mayores a trayectorias probablemente negativas sin observar la corrección de la respuesta final. Dado que ReNIO solo utiliza probabilidades de tokens condicionadas al prefijo, preserva la ventaja de entrenamiento con prefijo de la OPD sobre el aprendizaje por refuerzo con rollouts completos. Tanto en tareas de razonamiento matemático como de generación de código, ReNIO mejora tanto la OPD como la OPSD, con ganancias relativas representativas de hasta un 8.90% para Qwen3-1.7B y un 10.00% para R1-Distill-Qwen-7B en benchmarks de razonamiento matemático. Repositorio de código: https://github.com/BDML-lab/ReNIO.
Recuperar conocimiento externo es esencial para resolver tareas del mundo real, pero sigue siendo un desafío cuando la relación entre una consulta y su conocimiento relevante implica un razonamiento implícito y complejo más allá de la coincidencia semántica o léxica superficial (por ejemplo, problemas matemáticos que dependen del mismo teorema o codificación que requiere razonamiento profundo). Los enfoques existentes se basan principalmente en el razonamiento del lado de la consulta (por ejemplo, reescritura de consultas), lo que introduce una latencia significativa en línea y no aprovecha la oportunidad de realizar razonamiento sobre el propio corpus de conocimiento (es decir, razonamiento del lado del índice). En este artículo, proponemos RL-Index, un marco de indexación agente que formula el razonamiento del índice de recuperación como un problema de aprendizaje por refuerzo. En lugar de realizar razonamiento en el momento de la consulta, RL-Index traslada el razonamiento a la etapa de indexación aumentando los documentos con justificaciones generadas por LLM que codifican explícitamente la relación latente entre consulta y conocimiento. Para optimizar la calidad de estas justificaciones, empleamos Optimización de Políticas Relativas de Grupo (GRPO) y utilizamos la similitud de recuperación como una señal de recompensa verificable, lo que permite la optimización directa de las decisiones de indexación para la efectividad de la recuperación. Experimentos exhaustivos en el punto de referencia BRIGHT demuestran que RL-Index mejora consistentemente tanto el rendimiento de recuperación como el de respuesta a preguntas posteriores, al tiempo que reduce significativamente la latencia de inferencia en línea. Además, el aumento de justificaciones aprendidas se generaliza a través de diversos recuperadores y generadores, destacando su robustez como una estrategia de indexación plug-and-play en diferentes sistemas de recuperación.
"Hable breve. Quite gramática. Ahorre token." Este estilo cavernícola se promueve ampliamente como una forma de reducir el costo de inferencia, pero si realmente ahorra algo depende de qué canal (el prompt del usuario o la respuesta del modelo) se esté comprimiendo. Presentamos Cavewoman, un protocolo de evaluación de dos canales que puntúa cada generación en precisión de la tarea, costo realizado por ítem y concordancia con el texto de referencia no restringido del modelo. Evaluamos ocho modelos en cinco conjuntos de datos con cinco niveles de reducción, midiendo ambos canales en los mismos ítems. La compresión de salida reduce el costo realizado en la mayoría de los modelos API (1,4-2,4 veces por modelo, hasta 3 veces en el mejor caso) y en los cuatro modelos de peso abierto bajo tarifas de nivel público. La compresión de entrada tiene el efecto opuesto, una estricta pérdida-pérdida: aumenta el costo neto en lugar de reducirlo (~1,15 veces en la media de los cinco benchmarks, hasta 1,8 veces en el peor conjunto de datos y 2,7 veces bajo compresión más fuerte), porque los modelos compensan con respuestas más largas incluso mientras la precisión colapsa. Bajo la misma configuración, el texto superficial diverge de la referencia no restringida: en los modelos no razonadores, aproximadamente la mitad de todas las generaciones son correctas, pero su texto superficial ya no implica la generación basal no restringida del propio modelo. La divergencia persiste tras la repuntuación controlada por longitud, la corrección por comparaciones múltiples y la replicación bajo medidas semánticas complementarias. El código y los datos están disponibles en https://github.com/danielle34/cavewoman.
Los cuantificadores existentes de caché KV de bajo bit a menudo tratan cada clave almacenada como un vector plano. Sin embargo, bajo RoPE, la contribución de una clave a un logit de atención futuro se descompone en una suma dependiente de la posición sobre bloques de frecuencia bidimensionales. Esto convierte la cuantificación de la caché de claves en un problema de asignación de bits por bloques: los bloques RoPE de alta energía son más sensibles al error de cuantificación y deberían recibir más bits. Presentamos Block-GTQ, un asignador de bits consciente de RoPE para la cuantificación de la caché de claves, construido sobre TurboQuant-MSE (TQ-MSE). Para cada capa y cabeza KV, Block-GTQ calcula una puntuación de energía sin etiquetas para cada bloque RoPE y asigna de forma greedy anchos de bits enteros mediante ganancia marginal. Bajo presupuestos de bits K/V igualados, Block-GTQ preserva mejor los logits de consulta-clave RoPE en un panel de diagnóstico de diez modelos, reduciendo el MAE por capa en un 32-80% en cuantificación solo de K a 2 y 3 b/dim, y ganando todas las 367/367 comparaciones de capas frente a TQ-MSE uniforme. Estas ganancias de fidelidad se traducen en un mejor rendimiento en tareas de recuperación, comprensión y razonamiento de contexto largo. En K2V2 con Llama-3.1-8B-Instruct, Block-GTQ eleva el promedio de seis tareas NIAH de 70.6 a 97.4, y el promedio de LongBench-EN de 36.87 a 53.31. En AIME 2024/2025 con DeepSeek-R1-Distill-Qwen-7B, sin un buffer de claves recientes fp16, Block-GTQ en K3V2 obtiene 51.7/37.5, cercano a los 54.2/37.9 de fp16, mientras que TQ-MSE uniforme colapsa a 0.0/0.0. Además, implementamos una ruta de servicio de caché empaquetada. En una sola GPU H800 con Qwen2.5-3B-Instruct, K3V3 empaquetado logra una compresión de caché KV de 3.24x con calidad comparable a fp16, se ejecuta 1.34x más rápido que FlashAttention2 en fp16 con contexto de 128K, reduce la memoria máxima de 56.31 GB a 19.85 GB, y sigue siendo factible en 256K y 512K donde fp16 se queda sin memoria (OOM). El código está disponible en https://github.com/JIA-Lab-research/blockgtq.
A medida que los agentes LLM seleccionan herramientas de forma cada vez más autónoma, sus elecciones entre herramientas con diferentes privilegios adquieren relevancia para la seguridad. Sin embargo, los estudios previos sobre selección de herramientas se centran en preferencias de metadatos ajenas a la seguridad, dejando las decisiones sensibles a los privilegios sin explorar. Para abordar esta brecha, estudiamos la selección de herramientas sobreprivilegiadas, en la que un agente selecciona o escala hacia una herramienta de mayor privilegio a pesar de existir una alternativa suficiente de menor privilegio. Introducimos ToolPrivBench para evaluar si los agentes eligen herramientas de mayor privilegio a pesar de contar con alternativas suficientes de menor privilegio, midiendo tanto la selección inicial como la escalada tras fallos transitorios en las herramientas. En ocho dominios y cinco patrones recurrentes de riesgo, encontramos que la selección de herramientas sobreprivilegiadas es común entre los agentes LLM convencionales y se ve amplificada por fallos transitorios. Además, observamos que la alineación general de seguridad no se transfiere de manera confiable a la elección de herramientas de mínimo privilegio, mientras que los controles a nivel de indicaciones ofrecen solo una mitigación limitada ante fallos transitorios. Por lo tanto, introducimos una defensa posterior al entrenamiento consciente de privilegios que enseña a los agentes a preferir herramientas suficientes de menor privilegio y escalar solo cuando sea necesario. Nuestros experimentos de mitigación muestran que esta defensa reduce sustancialmente el uso innecesario de herramientas de alto privilegio, preservando al mismo tiempo las capacidades generales.
Los agentes de IA que actúan en nombre de los usuarios toman decisiones constantemente, y para que estos confíen en sus agentes, dichas decisiones deben alinearse con lo que realmente desean. La privacidad constituye un problema de alineación crucial para los agentes: cada mensaje, publicación o llamada a herramienta que realiza un agente implica un juicio contextual sobre qué es apropiado compartir, con quién y bajo qué condiciones. Dado que tales juicios dependen de expectativas y normas sociales, el juicio humano no solo etiqueta las violaciones de privacidad, sino que también contribuye a definirlas. Mientras que los trabajos existentes se apoyan en indicadores indirectos poco fiables tanto para el entrenamiento como para la evaluación, nosotros situamos el juicio humano en el centro de la alineación de privacidad de los agentes. Presentamos PrivacyAlign, un conjunto de datos de 1,350 muestras con 3,516 anotaciones detalladas de 599 anotadores únicos en diversos escenarios en los que los LLM actuales realmente filtran información, y lo utilizamos para fundamentar tanto el entrenamiento de alineación como la evaluación automatizada en las normas humanas de privacidad. A partir de estas anotaciones, primero demostramos que condicionar a los jueces LLM en anotaciones y explicaciones humanas para respuestas de referencia a la misma indicación hace que sus juicios sean más fiables. Luego introducimos el modelado de recompensa condicionado por anotaciones, que utiliza estas anotaciones para puntuar nuevas respuestas durante el RL, y mostramos que los agentes pequeños de pesos abiertos entrenados con esta recompensa se alinean mejor con las normas humanas de privacidad, con fuertes mejoras en PrivacyAlign y en los puntos de referencia de privacidad existentes para agentes.
Los avances recientes en el emparejamiento estéreo han logrado una precisión notable, pero a menudo dependen de modelos grandes, un alto costo computacional o conocimientos previos de modelos fundamentales adicionales, lo que dificulta su implementación en plataformas con recursos limitados. En contraste, los modelos estéreo eficientes ofrecen una inferencia más rápida, pero generalmente se considera que tienen una capacidad menor para la generalización zero-shot robusta. En este artículo, cuestionamos esta suposición al presentar Lite Any Stereo V2 (LAS2), una serie de modelos ultrarrápidos diseñados para el emparejamiento estéreo zero-shot eficiente. LAS2 se desarrolla desde perspectivas tanto arquitectónicas como de entrenamiento. En cuanto a la arquitectura, revisitamos el diseño estéreo eficiente bajo configuraciones de implementación prácticas y proponemos un marco de agregación de costos basado únicamente en 2D, optimizado para la latencia real de inferencia en lugar de solo los MACs teóricos. Para el entrenamiento, desarrollamos una estrategia de tres etapas que combina supervisión sintética, autodestilación y destilación de conocimiento del mundo real. Para mejorar la fiabilidad de la supervisión pseudo del mundo real, introducimos además un filtrado de etiquetas pseudo y una operación de bloqueo de errores, lo que permite una transferencia más suave de lo sintético a lo real. Implementamos LAS2 como una familia de modelos, que incluye variantes feed-forward para diferentes presupuestos de eficiencia y una variante iterativa para mayor precisión. Experimentos exhaustivos muestran que LAS2 alcanza una precisión de vanguardia entre los métodos estéreo eficientes, manteniendo al mismo tiempo una latencia significativamente menor. Específicamente, LAS2-H logra un rendimiento zero-shot general superior al del método iterativo Fast-FoundationStereo, con una inferencia 1.8x y 2.7x más rápida en H200 y Orin, respectivamente. La página del proyecto, las demostraciones y el código están disponibles en https://tomtomtommi.github.io/LiteAnyStereoV2/.
Los ataques de desbloqueo (jailbreak) revelan una debilidad persistente en los Modelos de Lenguaje de Gran Escala alineados: indicaciones cuidadosamente diseñadas pueden provocar respuestas que violan las políticas a pesar del entrenamiento en seguridad. Si bien la mayoría de las defensas operan a nivel de la indicación o de la salida, aún no está claro cómo se codifica la intención dañina dentro de las representaciones internas del modelo. Investigamos esta cuestión analizando las trayectorias de entropía predictiva a nivel de token a través de las capas de un LLM congelado utilizando la lente de logits. Encontramos que las estadísticas agregadas estáticas de la entropía a nivel de indicación (por ejemplo, media, varianza) portan poca señal discriminativa, mientras que las características que capturan cómo evoluciona la entropía a través de las posiciones de los tokens, como las puntuaciones de tendencia basadas en rangos monótonos, son sustancialmente más informativas. Es importante destacar que esta señal no es uniforme a través de la profundidad del modelo: se concentra en las capas intermedias y se degrada en la capa final, lo que indica que la estructura relevante para el jailbreak es más pronunciada en las representaciones de la mitad de la red que en la cabeza de salida. A través de múltiples modelos (Llama, Qwen, Gemma) y puntos de referencia adversariales, estas dinámicas de entropía proporcionan una separación consistente con la arquitectura sin necesidad de entrenamiento adicional. En conjunto, nuestros hallazgos muestran que el comportamiento de jailbreak se refleja en dinámicas estructuradas de incertidumbre intermedias, aclarando tanto qué características derivadas de la entropía codifican la intención dañina como dónde en la red esa señal es más pronunciada.
Los modelos de razonamiento actuales utilizan tokens de pensamiento para alcanzar un rendimiento superior en benchmarks en comparación con sus versiones ajustadas por instrucciones. También se cree generalmente que este modo más "deliberativo" debería mejorar la alineación y la seguridad, al proporcionar al modelo un espacio seguro para considerar si su respuesta planificada a una solicitud viola sus principios de seguridad. Presentamos evidencia de que esta intuición no siempre es correcta. A través de modelos de razonamiento fronterizos de peso abierto que abarcan las familias GPT-OSS, Qwen, Olmo y Phi, encontramos que el resultado final de rechazo/cumplimiento ya es fuertemente predecible mediante un clasificador entrenado sobre la representación oculta del primer token (0.84-0.95 AUROC y ~88% de precisión balanceada para predecir rechazo/cumplimiento) antes de cualquier pensamiento visible. El proceso de pensamiento resulta ser más similar a la completación de prefijo que a una revisión deliberativa, y el resultado final rara vez cambia después del primer ~20% del pensamiento, a pesar de aparentar deliberación a nivel textual (~74% de las deliberaciones a nivel textual ocurren cuando la distribución de respuesta ya está fijada hacia un lado de rechazo/cumplimiento). También encontramos que las intervenciones de seguridad existentes en tiempo de inferencia y basadas en entrenamiento, aunque motivadas por el objetivo de inducir deliberación, desplazan en gran medida el comportamiento del modelo hacia el sobrerrechazo, mientras suprimen las señales de deliberación, ya de por sí escasas. Nuestros resultados sugieren que el comportamiento de seguridad en los modelos de razonamiento actuales es mucho menos deliberativo de lo que se asume comúnmente, y destacan la necesidad de métodos que induzcan una verdadera deliberación de seguridad.
Los modelos de generación de video son cada vez más capaces de producir videos realistas, pero aún tienen dificultades para generar videos que sigan las leyes físicas básicas. A esto se suma la falta de métodos de evaluación granular confiables para localizar y especificar violaciones de las leyes físicas en los videos. Abordamos este problema introduciendo el Grafo de Escenas de Preguntas Físicas (PQSG, por sus siglas en inglés), un pipeline de evaluación jerárquico basado en preguntas. PQSG evalúa videos generados verificando su fidelidad a una indicación en términos de objetos, acciones y cumplimiento de leyes físicas, utilizando una jerarquía basada en grafos de preguntas generadas por un modelo de lenguaje y visión (VLM), guiado por ejemplos de contexto de alta calidad. Al representar las preguntas como un grafo, PQSG introduce dependencias lógicas entre las preguntas, asegurando que cada consulta sea contextualmente válida. Además, PQSG proporciona evaluaciones granulares sobre qué cualidades del video violan las restricciones de plausibilidad física. Validamos PQSG creando FinePhyEval, un conjunto de datos con indicaciones basadas en física y videos generados correspondientes de diversos modelos de generación de video de última generación (Sora 2, Veo 3 y Wan 2.1), donde cada video está anotado en múltiples categorías por humanos. Usando FinePhyEval, medimos la correlación entre las puntuaciones detalladas de PQSG y los juicios humanos, mostrando correlaciones generales más altas que trabajos anteriores. También encontramos que PQSG clasifica los modelos de código cerrado por encima de Wan 2.1 en realismo físico. Por último, mostramos que las anotaciones proporcionadas en FinePhyEval también pueden utilizarse para la evaluación de subtareas: evaluamos dos VLMs potentes en la generación y respuesta de preguntas, encontrando que, si bien los modelos pueden crear preguntas similares a las humanas, aún están por debajo del rendimiento humano al responderlas.
Los agentes de horizonte largo dependen de la gestión de contexto: los sistemas comprimen, resumen y eliminan tokens antiguos para que las tareas puedan continuar más allá de ventanas finitas. Esto solo es seguro cuando la información descartada ya no es necesaria o ha sido internalizada. Los planes representan el caso crítico: se redactan al inicio, se utilizan durante muchos pasos y son los primeros en ser eliminados. Introducimos el emparejamiento de repetición, un diagnóstico que ejecuta la misma trayectoria con y sin el plan en el historial y mide la distancia coseno del estado oculto. En Llama-3.1-70B, la señal del plan alcanza un pico de 0,453 un paso después del plan y luego cae 4,1 veces en un solo paso de acción-observación; en HotpotQA cae 12,4 veces. Esto evidencia que los agentes LLM estándar no trasladan los planes como estado persistente, sino que dependen de que el plan permanezca en el contexto. Una sonda de capa L32 detecta esta decadencia como diagnóstico, no como prueba de que lea el contenido del plan en sí. Los modelos de razonamiento añaden un factor de confusión en la medición: sus trazas de `<think>` re-derivan el contenido del plan, por lo que la eliminación estándar deja evidencia del plan en la condición sin plan. Denominamos a esto el factor de confusión de trazas de razonamiento y lo corregimos con una eliminación estricta, que solo elimina los bloques `<think>` previos en la ejecución sin plan. Esto recupera un +163% de la señal del paso+1 dentro de la muestra y un +153% fuera de la muestra, mientras que no altera significativamente a Llama, que no es de razonamiento (+4,8%). En DeepSeek-R1-Distill-Llama-70B, una sonda entrenada en Llama se transfiere con un AUROC de 0,748 (p=6e-4), mientras que las sondas específicas para R1 alcanzan 1,000, lo que sugiere que R1 codifica la señal del plan en una dirección diferente del estado oculto. Finalmente, una prueba de estrés de compresión muestra el costo práctico: la eliminación ingenua del plan reduce el éxito en ALFWorld en 34,7 puntos porcentuales, mientras que la reaparición controlada por sonda no lo recupera. La contribución es un marco de medición y prueba de estrés que demuestra que la información crítica para el agente puede residir en el contexto en lugar de ser persistente. La gestión de contexto es fundamental, pero la protección del plan por sí sola no es suficiente.
La Adaptación Continua en Tiempo de Prueba (CTTA) busca mantener el rendimiento del modelo bajo dominios objetivo en evolución mediante la adaptación en línea sin datos etiquetados. Sin embargo, en implementaciones prácticas, a menudo no es posible conservar el conjunto de datos fuente debido a restricciones de privacidad o licencias, y los métodos CTTA puramente sin fuente tienden a volverse inestables bajo cambios de distribución a largo plazo, sufriendo errores compuestos de autoentrenamiento y olvido catastrófico. Presentamos DO-ALL (Destilar una Vez, Adaptar Toda la Vida), un marco plug-and-play que recupera información de la fuente en una forma compacta y respetuosa con la privacidad mediante Destilación de Conjuntos de Datos (DD). Antes del despliegue, DO-ALL realiza DD para producir un pequeño conjunto de anclas destiladas sintéticas que resumen la distribución fuente. Durante la adaptación, cada muestra objetivo se empareja con su ancla semánticamente más alineada, la cual proporciona una referencia estable para varias técnicas de CTTA mediante repetición de la fuente, alineación de representaciones y regularización de suavizado de variedades. DO-ALL puede integrarse sin problemas en algoritmos CTTA existentes, mejorando de manera consistente la robustez a largo plazo en CIFAR100-C, ImageNet-C y el benchmark CCC. Esto demuestra el potencial de aprovechar la DD para permitir una adaptación estable y continua sin retener los datos fuente originales. El código está disponible en https://github.com/blue-531/DOALL.
Llamada a herramientas y salida estructurada son dos capacidades fundamentales de los sistemas de agentes modernos, pero su interacción en condiciones de despliegue conjunto aún no se comprende suficientemente. Este artículo reporta un fenómeno reproducible observado en un sistema de agente en producción: cuando la Llamada a herramientas y las restricciones de JSON Schema se habilitan simultáneamente, múltiples modelos de peso abierto dejan de invocar herramientas, a pesar de mantener un alto cumplimiento del esquema. Nos referimos a este comportamiento como Supresión de herramientas. Mediante experimentos controlados en múltiples familias de modelos y configuraciones de despliegue, reproducimos consistentemente la Supresión de herramientas bajo restricciones conjuntas, mientras que la ejecución de herramientas y el cumplimiento del esquema permanecen funcionales cuando se evalúan de forma independiente. Un análisis adicional revela que las restricciones de JSON Schema se compilan en máscaras de tokens basadas en gramática, lo que provoca que los tokens de llamada a herramienta se vuelvan inalcanzables durante la decodificación. Esto proporciona una explicación a nivel de implementación para el comportamiento observado. Para interpretar el fenómeno, formulamos la hipótesis de Inversión de Prioridad de Restricciones (CPI, por sus siglas en inglés), que sugiere que la satisfacción del esquema puede dominar el comportamiento de selección de acciones bajo múltiples restricciones simultáneas. Presentamos CPI como una hipótesis conductual coherente con la evidencia observada, y no como un mecanismo interno verificado. Para mitigar el problema, proponemos la Ejecución Transparente en Dos Pasos, una estrategia en tiempo de inferencia que desacopla la ejecución de herramientas de la generación de respuestas restringidas por esquema. Los resultados experimentales muestran que este enfoque restaura la invocación de herramientas mientras preserva las garantías de salida estructurada, sin requerir reentrenamiento del modelo. Estos hallazgos sugieren que evaluar el uso de herramientas y la salida estructurada por separado puede pasar por alto problemas importantes de fiabilidad en sistemas de agentes en producción. El código, los datos y la documentación se publicarán en https://github.com/Fzsama/Constrain-Tax-26-06.git.
La confianza en un sistema de IA suele estar fundamentada en explicaciones sobre su funcionamiento, las cuales se utilizan para predecir su comportamiento ante nuevas entradas. En el caso de los modelos de razonamiento a gran escala (LRMs, por sus siglas en inglés), esta ruta convencional es especialmente difícil de seguir: los métodos de explicación para generaciones de tokens individuales no se generalizan de forma natural a trayectorias largas, y dichas trayectorias, cuando se interpretan como lenguaje natural, a menudo carecen de fidelidad. Proponemos una alternativa que evita el paso de la explicación: tratar la predicción del comportamiento como una tarea aprendible y entrenar Predictores de Comportamiento que operan sobre una única trayectoria de razonamiento para realizar las mismas predicciones que típicamente se buscarían en una explicación. Los datos de entrenamiento del predictor se obtienen consultando al LRM sin anotación humana, y su inferencia se realiza en una sola pasada hacia adelante. Implementamos este enfoque en dos tareas: la probabilidad de que el LRM repita su respuesta en ejecuciones repetidas y cómo la eliminación de partes de la entrada modifica su respuesta. Evaluamos este enfoque en ambas tareas a través de tres conjuntos de datos de razonamiento diversos y encontramos que los Predictores de Comportamiento entrenados son más precisos que GPT-5.4 y Claude Opus-4.6 al leer las mismas trayectorias como lectores ingenuos, con una fracción de su costo de inferencia. Observamos que ajustar finamente la red troncal de extremo a extremo e inicializarla desde el LRM objetivo son ambos necesarios para un rendimiento sólido. Estos resultados muestran que la trayectoria de razonamiento contiene información sobre el comportamiento futuro del LRM que va más allá de lo que transmite una lectura ingenua.
A medida que los sistemas expresivos de texto a voz (TTS) y conversión de voz (VC) generan cada vez más vocalizaciones no verbales (NVV) para mejorar la naturalidad, la verificación fiable del hablante (SV) se vuelve esencial para evaluar objetivamente la consistencia de la identidad tanto en segmentos verbales como no verbales. Sin embargo, los sistemas SV actuales generalizan mal ante las NVV, y el ajuste fino con datos de NVV provoca un olvido catastrófico del rendimiento en habla. Presentamos el primer estudio sistemático en 10 tipos de NVV y proponemos un marco que combina características autosupervisadas de Data2Vec congeladas con ECAPA-TDNN, mejorado mediante un módulo de Mezcla de Expertos (MoE) con enrutamiento consciente del dominio aprendido. Una pérdida de destilación condicional sobre entradas de habla a través de un profesor preentrenado preserva la precisión habla-a-habla, mientras que una pérdida contrastiva reduce la brecha entre los dominios de habla y NVV. Nuestro método reduce la EER habla-NVV del 38.93% al 22.66% en comparación con una línea base preentrenada, y mejora la EER del habla del 13.17% al 9.24% mediante destilación.