Articles de recherche en IA sélectionnés quotidiennement avec traductions
Les méthodes de champs de radiance ont récemment révolutionné la synthèse de nouvelles vues à partir de scènes capturées avec plusieurs photos ou vidéos. Cependant, atteindre une qualité visuelle élevée nécessite encore des réseaux de neurones coûteux à entraîner et à rendre, tandis que les méthodes plus récentes et rapides sacrifient inévitablement la qualité pour la vitesse. Pour les scènes non délimitées et complètes (plutôt que des objets isolés) et un rendu en résolution 1080p, aucune méthode actuelle ne peut atteindre des taux d'affichage en temps réel. Nous introduisons trois éléments clés qui nous permettent d'atteindre une qualité visuelle de pointe tout en maintenant des temps d'entraînement compétitifs et, surtout, de permettre une synthèse de nouvelles vues en temps réel (>= 30 ips) en résolution 1080p de haute qualité. Premièrement, en partant de points épars produits lors de l'étalonnage de la caméra, nous représentons la scène avec des Gaussiennes 3D qui préservent les propriétés souhaitables des champs de radiance volumétriques continus pour l'optimisation de la scène tout en évitant les calculs inutiles dans l'espace vide ; Deuxièmement, nous effectuons une optimisation/densité entrelacée des Gaussiennes 3D, en optimisant notamment la covariance anisotrope pour obtenir une représentation précise de la scène ; Troisièmement, nous développons un algorithme de rendu rapide prenant en compte la visibilité qui supporte le splatting anisotrope et accélère à la fois l'entraînement et permet un rendu en temps réel. Nous démontrons une qualité visuelle de pointe et un rendu en temps réel sur plusieurs ensembles de données établis.
La flagornerie est un comportement indésirable où les modèles adaptent leurs réponses pour suivre le point de vue d'un utilisateur humain, même lorsque ce point de vue n'est pas objectivement correct (par exemple, adopter des opinions libérales une fois que l'utilisateur révèle qu'il est libéral). Dans cet article, nous étudions la prévalence de la flagornerie dans les modèles de langage et proposons une intervention simple basée sur des données synthétiques pour réduire ce comportement. Tout d'abord, sur un ensemble de trois tâches de flagornerie (Perez et al., 2022) où les modèles sont interrogés sur des opinions concernant des déclarations sans réponse correcte (par exemple, la politique), nous observons que l'augmentation de la taille des modèles et le réglage par instruction augmentent significativement la flagornerie pour les modèles PaLM jusqu'à 540 milliards de paramètres. Ensuite, nous étendons les évaluations de la flagornerie à des déclarations d'addition simples qui sont objectivement incorrectes, constatant que, bien que les modèles de langage sachent que ces déclarations sont fausses, ils les approuveront tout de même si l'utilisateur le fait également. Pour réduire la flagornerie, nous présentons une intervention simple basée sur des données synthétiques qui utilise des tâches publiques de traitement du langage naturel (NLP) et encourage les modèles à être robustes face aux opinions des utilisateurs sur ces tâches. L'ajout de ces données lors d'une étape légère de réglage fin peut significativement réduire le comportement flagorneur sur des prompts de test. Le code pour générer des données synthétiques pour l'intervention est disponible à l'adresse suivante : https://github.com/google/sycophancy-intervention.
Avertissement : cet article contient des éléments qui peuvent être inappropriés ou offensants. Alors que les modèles génératifs deviennent accessibles au public dans diverses applications, le test et l'analyse des vulnérabilités de ces modèles sont devenus une priorité. Nous proposons ici un cadre de red teaming automatique qui évalue un modèle donné et expose ses vulnérabilités face à la génération de contenu dangereux ou inapproprié. Notre cadre utilise l'apprentissage en contexte dans une boucle de rétroaction pour red teamer les modèles et les inciter à générer du contenu dangereux. Nous proposons différentes stratégies d'attaque en contexte pour apprendre automatiquement des invites adverses efficaces et diversifiées pour les modèles texte-à-image. Nos expériences démontrent que, par rapport aux approches de référence, notre stratégie proposée est significativement plus efficace pour exposer les vulnérabilités du modèle Stable Diffusion (SD), même lorsque celui-ci est renforcé par des fonctionnalités de sécurité. De plus, nous montrons que le cadre proposé est efficace pour le red teaming des modèles texte-à-texte, entraînant un taux de génération de réponses toxiques significativement plus élevé par rapport aux chiffres précédemment rapportés.
Les modèles de pré-entraînement à grande échelle pour la vision et le langage, tels que CLIP, ont démontré des performances exceptionnelles en classification zero-shot, atteignant par exemple une précision top-1 de 76,3 % sur ImageNet sans avoir vu aucun exemple, ce qui ouvre des perspectives prometteuses pour de nombreuses tâches dépourvues de données annotées. Cependant, lors de l'application de CLIP à un domaine cible en aval, la présence d'écarts entre les domaines visuels et textuels, ainsi que les désalignements inter-modaux, peuvent considérablement affecter les performances du modèle. Pour relever ces défis, nous proposons ReCLIP, la première méthode d'adaptation de domaine sans source pour les modèles vision-langage, qui ne nécessite aucune donnée source ni donnée cible annotée. ReCLIP apprend d'abord un espace de projection pour atténuer les désalignements des embeddings visuels-textuels et génère des pseudo-labels, puis déploie un auto-apprentissage inter-modal avec ces pseudo-labels pour mettre à jour les encodeurs visuels et textuels, affiner les labels et réduire les écarts de domaine et les désalignements de manière itérative. Grâce à des expérimentations approfondies, nous montrons que ReCLIP réduit le taux d'erreur moyen de CLIP de 30,17 % à 25,06 % sur 22 benchmarks de classification d'images.
La légalité de l'entraînement des modèles de langage (LMs) sur des données protégées par le droit d'auteur ou autrement restreintes fait l'objet d'un débat intense. Cependant, comme nous le montrons, les performances du modèle se dégradent considérablement s'il est entraîné uniquement sur des textes à faible risque (par exemple, des livres tombés dans le domaine public ou des documents gouvernementaux), en raison de leur taille limitée et de leur couverture de domaine restreinte. Nous présentons SILO, un nouveau modèle de langage qui gère ce compromis entre risque et performance lors de l'inférence. SILO est construit en (1) entraînant un LM paramétrique sur l'Open License Corpus (OLC), un nouveau corpus que nous avons constitué avec 228 milliards de tokens de textes du domaine public et sous licence permissive, et (2) en l'augmentant avec un datastore non paramétrique plus général et facilement modifiable (par exemple, contenant des livres ou des articles de presse protégés par le droit d'auteur) qui n'est interrogé que pendant l'inférence. Le datastore permet d'utiliser des données à haut risque sans les inclure dans l'entraînement, prend en charge l'attribution des données au niveau de la phrase, et permet aux producteurs de données de se retirer du modèle en supprimant leur contenu du datastore. Ces fonctionnalités peuvent favoriser la conformité aux réglementations sur l'utilisation des données, telles que la doctrine du fair use aux États-Unis et le RGPD dans l'Union européenne. Nos expériences montrent que le LM paramétrique peine sur les domaines non couverts par l'OLC. Cependant, l'accès au datastore améliore considérablement les performances hors domaine, réduisant de 90 % l'écart de performance avec un LM entraîné sur le Pile, un corpus plus diversifié contenant principalement des textes à haut risque. Nous analysons également quelle approche non paramétrique fonctionne le mieux, où se situent les erreurs restantes, et comment les performances évoluent avec la taille du datastore. Nos résultats suggèrent qu'il est possible de construire des modèles de langage de haute qualité tout en atténuant leur risque juridique.