Artículos de investigación en IA seleccionados diariamente con traducciones
Los métodos de campos de radiancia han revolucionado recientemente la síntesis de nuevas vistas de escenas capturadas con múltiples fotos o videos. Sin embargo, lograr una alta calidad visual aún requiere redes neuronales que son costosas de entrenar y renderizar, mientras que los métodos más recientes y rápidos inevitablemente sacrifican calidad por velocidad. Para escenas completas y sin límites (en lugar de objetos aislados) y renderización en resolución 1080p, ningún método actual puede alcanzar tasas de visualización en tiempo real. Introducimos tres elementos clave que nos permiten lograr una calidad visual de vanguardia mientras mantenemos tiempos de entrenamiento competitivos y, lo que es más importante, permiten la síntesis de nuevas vistas en tiempo real (>= 30 fps) y en alta calidad a resolución 1080p. Primero, partiendo de puntos dispersos generados durante la calibración de la cámara, representamos la escena con gaussianos 3D que preservan las propiedades deseables de los campos de radiancia volumétricos continuos para la optimización de la escena, evitando cálculos innecesarios en espacios vacíos; segundo, realizamos una optimización/densidad intercalada de los gaussianos 3D, optimizando notablemente la covarianza anisotrópica para lograr una representación precisa de la escena; tercero, desarrollamos un algoritmo de renderizado rápido consciente de la visibilidad que soporta splatting anisotrópico y acelera tanto el entrenamiento como permite el renderizado en tiempo real. Demostramos una calidad visual de vanguardia y renderizado en tiempo real en varios conjuntos de datos establecidos.
La adulación es un comportamiento indeseable en el que los modelos ajustan sus respuestas para seguir la opinión de un usuario humano, incluso cuando esa opinión no es objetivamente correcta (por ejemplo, adoptar posturas liberales una vez que el usuario revela que es liberal). En este artículo, estudiamos la prevalencia de la adulación en los modelos de lenguaje y proponemos una intervención simple basada en datos sintéticos para reducir este comportamiento. Primero, en un conjunto de tres tareas de adulación (Perez et al., 2022) en las que se solicita a los modelos una opinión sobre afirmaciones sin respuestas correctas (por ejemplo, política), observamos que tanto el escalamiento del modelo como el ajuste por instrucción aumentan significativamente la adulación en los modelos PaLM de hasta 540 mil millones de parámetros. Segundo, extendemos las evaluaciones de adulación a afirmaciones de suma simples que son objetivamente incorrectas, encontrando que, a pesar de saber que estas afirmaciones están mal, los modelos de lenguaje aún estarán de acuerdo con ellas si el usuario también lo está. Para reducir la adulación, presentamos una intervención sencilla basada en datos sintéticos que toma tareas públicas de PLN y fomenta que los modelos sean robustos frente a las opiniones de los usuarios sobre estas tareas. La adición de estos datos en un paso de ajuste fino ligero puede reducir significativamente el comportamiento adulador en indicaciones de prueba. El código para generar datos sintéticos para la intervención se puede encontrar en https://github.com/google/sycophancy-intervention.
Advertencia: este artículo contiene contenido que puede ser inapropiado u ofensivo. A medida que los modelos generativos están disponibles para uso público en diversas aplicaciones, la prueba y el análisis de las vulnerabilidades de estos modelos se ha convertido en una prioridad. Aquí proponemos un marco de red teaming automático que evalúa un modelo dado y expone sus vulnerabilidades frente a la generación de contenido inseguro e inapropiado. Nuestro marco utiliza el aprendizaje en contexto en un bucle de retroalimentación para realizar red teaming en los modelos y provocar la generación de contenido inseguro. Proponemos diferentes estrategias de ataque en contexto para aprender automáticamente indicaciones adversarias efectivas y diversas para modelos de texto a imagen. Nuestros experimentos demuestran que, en comparación con enfoques de referencia, nuestra estrategia propuesta es significativamente más efectiva para exponer vulnerabilidades en el modelo Stable Diffusion (SD), incluso cuando este último está mejorado con funciones de seguridad. Además, demostramos que el marco propuesto es efectivo para realizar red teaming en modelos de texto a texto, lo que resulta en una tasa de generación de respuestas tóxicas significativamente mayor en comparación con cifras reportadas previamente.
Los modelos de visión-lenguaje de preentrenamiento a gran escala, como CLIP, han demostrado un rendimiento excepcional en clasificación zero-shot, logrando, por ejemplo, un 76.3% de precisión top-1 en ImageNet sin haber visto ningún ejemplo, lo que sugiere beneficios potenciales para muchas tareas que carecen de datos etiquetados. Sin embargo, al aplicar CLIP a un dominio objetivo específico, la presencia de brechas de dominio visual y textual, junto con la desalineación entre modalidades, puede afectar significativamente el rendimiento del modelo. Para abordar estos desafíos, proponemos ReCLIP, el primer método de adaptación de dominio sin datos de origen para modelos de visión-lenguaje, que no requiere datos de origen ni datos etiquetados del objetivo. ReCLIP primero aprende un espacio de proyección para mitigar la desalineación de los embeddings visual-textuales y genera pseudoetiquetas, y luego implementa un autoentrenamiento cruzado entre modalidades con estas pseudoetiquetas, actualizando los codificadores visuales y textuales, refinando las etiquetas y reduciendo las brechas de dominio y desalineaciones de manera iterativa. A través de experimentos exhaustivos, demostramos que ReCLIP reduce la tasa de error promedio de CLIP del 30.17% al 25.06% en 22 benchmarks de clasificación de imágenes.
La legalidad de entrenar modelos de lenguaje (LMs) con datos protegidos por derechos de autor o de otro modo restringidos es objeto de un intenso debate. Sin embargo, como demostramos, el rendimiento del modelo se degrada significativamente si se entrena únicamente con texto de bajo riesgo (por ejemplo, libros fuera de derechos de autor o documentos gubernamentales), debido a su tamaño limitado y cobertura de dominio. Presentamos SILO, un nuevo modelo de lenguaje que gestiona este equilibrio entre riesgo y rendimiento durante la inferencia. SILO se construye mediante (1) el entrenamiento de un LM paramétrico en el Open License Corpus (OLC), un nuevo corpus que hemos curado con 228B tokens de texto de dominio público y con licencias permisivas, y (2) su ampliación con un almacén de datos no paramétrico más general y fácilmente modificable (por ejemplo, que contiene libros o noticias protegidos por derechos de autor) que solo se consulta durante la inferencia. El almacén de datos permite el uso de datos de alto riesgo sin entrenar con ellos, facilita la atribución de datos a nivel de oración y permite a los productores de datos excluirse del modelo eliminando contenido del almacén. Estas capacidades pueden fomentar el cumplimiento de regulaciones sobre el uso de datos, como la doctrina del uso justo en Estados Unidos y el GDPR en la Unión Europea. Nuestros experimentos muestran que el LM paramétrico tiene dificultades en dominios no cubiertos por el OLC. Sin embargo, el acceso al almacén de datos mejora considerablemente el rendimiento fuera de dominio, cerrando el 90% de la brecha de rendimiento con un LM entrenado en The Pile, un corpus más diverso con texto mayormente de alto riesgo. También analizamos qué enfoque no paramétrico funciona mejor, dónde se encuentran los errores restantes y cómo escala el rendimiento con el tamaño del almacén de datos. Nuestros resultados sugieren que es posible construir modelos de lenguaje de alta calidad mientras se mitiga su riesgo legal.