Articles de recherche en IA sélectionnés quotidiennement avec traductions
L'augmentation de la taille des grands modèles de langage a posé des défis pour leur déploiement et suscité des inquiétudes concernant leur impact environnemental en raison de leur forte consommation énergétique. Dans ce travail, nous présentons BitNet, une architecture Transformer scalable et stable à 1 bit, conçue pour les grands modèles de langage. Plus précisément, nous introduisons BitLinear comme remplacement direct de la couche nn.Linear afin d'entraîner des poids à 1 bit à partir de zéro. Les résultats expérimentaux en modélisation du langage montrent que BitNet atteint des performances compétitives tout en réduisant considérablement l'empreinte mémoire et la consommation d'énergie, par rapport aux méthodes de quantification à 8 bits de pointe et aux modèles de référence Transformer en FP16. De plus, BitNet présente une loi d'échelle similaire à celle des Transformers en pleine précision, suggérant son potentiel pour un passage à l'échelle efficace vers des modèles de langage encore plus grands, tout en conservant les avantages en termes d'efficacité et de performance.
Cet article vise la synthèse d'images en temps réel et haute fidélité de scènes 3D dynamiques en résolution 4K. Récemment, certaines méthodes de synthèse de vues dynamiques ont démontré une qualité de rendu impressionnante. Cependant, leur vitesse reste limitée lors du rendu d'images haute résolution. Pour résoudre ce problème, nous proposons 4K4D, une représentation de nuage de points 4D qui prend en charge la rastérisation matérielle et permet une vitesse de rendu sans précédent. Notre représentation est construite sur une grille de caractéristiques 4D, ce qui permet une régularisation naturelle des points et une optimisation robuste. De plus, nous concevons un nouveau modèle d'apparence hybride qui améliore significativement la qualité du rendu tout en préservant l'efficacité. Par ailleurs, nous développons un algorithme de pelage de profondeur différentiable pour apprendre efficacement le modèle proposé à partir de vidéos RGB. Les expériences montrent que notre représentation peut être rendue à plus de 400 FPS sur le jeu de données DNA-Rendering en résolution 1080p et à 80 FPS sur le jeu de données ENeRF-Outdoor en résolution 4K en utilisant une GPU RTX 4090, ce qui est 30 fois plus rapide que les méthodes précédentes et atteint la qualité de rendu de pointe. Nous publierons le code pour assurer la reproductibilité.
L'adaptation à faible rang (LoRA) est une méthode populaire qui réduit le nombre de paramètres entraînables lors du réglage fin de grands modèles de langage, mais elle reste confrontée à des défis de stockage importants lors de la mise à l'échelle vers des modèles encore plus grands ou lors du déploiement de nombreux modèles adaptés par utilisateur ou par tâche. Dans ce travail, nous présentons l'Adaptation de Matrice Aléatoire basée sur des Vecteurs (VeRA), qui réduit le nombre de paramètres entraînables par un facteur 10 par rapport à LoRA, tout en maintenant les mêmes performances. Cela est réalisé en utilisant une seule paire de matrices à faible rang partagées entre toutes les couches et en apprenant de petits vecteurs de mise à l'échelle à la place. Nous démontrons son efficacité sur les benchmarks GLUE et E2E, et montrons son application dans le suivi d'instructions avec seulement 1,4 million de paramètres en utilisant le modèle Llama2 7B.
Nous présentons Set-of-Mark (SoM), une nouvelle méthode d'invite visuelle visant à libérer les capacités d'ancrage visuel des grands modèles multimodaux (LMMs), tels que GPT-4V. Comme illustré dans la Fig. 1 (à droite), nous utilisons des modèles de segmentation interactive prêts à l'emploi, comme SAM, pour partitionner une image en régions à différents niveaux de granularité, et superposer ces régions avec un ensemble de marques, par exemple des alphanumériques, des masques ou des boîtes. En utilisant l'image marquée comme entrée, GPT-4V peut répondre aux questions nécessitant un ancrage visuel. Nous menons une étude empirique approfondie pour valider l'efficacité de SoM sur une large gamme de tâches visuelles fines et multimodales. Par exemple, nos expériences montrent que GPT-4V avec SoM surpasse le modèle de segmentation référentielle entièrement affiné de pointe sur RefCOCOg dans un cadre zero-shot.
Les modèles génératifs de vision et de langage ont connu une croissance exponentielle ces dernières années. Pour la génération de vidéos, divers modèles open-source et services publics ont été mis à disposition pour produire des vidéos de haute qualité visuelle. Cependant, ces méthodes utilisent souvent quelques métriques académiques, telles que le FVD ou l'IS, pour évaluer les performances. Nous soutenons qu'il est difficile de juger les grands modèles génératifs conditionnels à partir de métriques simples, car ces modèles sont souvent entraînés sur des ensembles de données très volumineux avec des capacités multidimensionnelles. Ainsi, nous proposons un nouveau cadre et une nouvelle pipeline pour évaluer de manière exhaustive les performances des vidéos générées. Pour ce faire, nous commençons par établir une nouvelle liste de prompts pour la génération de texte-à-vidéo en analysant une liste de prompts du monde réel avec l'aide d'un grand modèle de langage. Ensuite, nous évaluons les modèles génératifs de vidéo les plus avancés sur nos benchmarks soigneusement conçus, en termes de qualités visuelles, de qualités de contenu, de qualités de mouvement et d'alignement texte-légende avec environ 18 métriques objectives. Pour obtenir le classement final des modèles, nous ajustons également une série de coefficients pour aligner les métriques objectives avec les opinions des utilisateurs. Sur la base de la méthode d'alignement des opinions proposée, notre score final montre une corrélation plus élevée que la simple moyenne des métriques, démontrant ainsi l'efficacité de la méthode d'évaluation proposée.
Les grands modèles de langage comme ChatGPT démontrent une capacité remarquable à apprendre de nouveaux concepts lors de l'inférence sans aucun ajustement fin. Cependant, les modèles visuels entraînés à détecter de nouveaux objets pendant l'inférence n'ont pas pu reproduire cette capacité, et soit performent mal, soit nécessitent un méta-apprentissage et/ou un ajustement fin sur des objets similaires. Dans ce travail, nous proposons un algorithme de méta-apprentissage qui imite les grands modèles de langage en apprenant de nouveaux concepts visuels pendant l'inférence sans ajustement fin. Notre approche exploite un extracteur de caractéristiques pré-entraîné et figé, et, de manière analogue à l'apprentissage en contexte, reformule le méta-apprentissage comme une modélisation de séquence sur des points de données avec des étiquettes connues et un point de test avec une étiquette inconnue. Sur 8 des 11 benchmarks de méta-apprentissage, notre approche — sans méta-apprentissage ni ajustement fin — dépasse ou égale l'algorithme de pointe, P>M>F, qui est méta-entraîné sur ces benchmarks.
Comment réduire les besoins en calcul et en mémoire des réseaux de neurones (NNs) sans sacrifier les performances ? De nombreux travaux récents utilisent des mélanges clairsemés d'experts (MoEs) pour construire des modèles de langage (LMs) de grande taille et efficaces en ressources. Nous introduisons ici plusieurs perspectives novatrices sur les MoEs, en présentant un cadre général qui unifie diverses méthodes pour approximer les NNs à deux couches (par exemple, les blocs feedforward des Transformers), y compris les mémoires à clés de produit (PKMs). En tirant parti des insights de ce cadre, nous proposons des méthodes pour améliorer à la fois les MoEs et les PKMs. Contrairement aux travaux antérieurs qui comparent les MoEs avec des bases denses dans des conditions de calcul égal, notre condition d'évaluation est celle de paramètres égaux, ce qui est crucial pour évaluer correctement les LMs. Nous montrons que nos MoEs sont compétitifs avec le Transformer-XL dense sur les ensembles de données WikiText-103 et enwiki8 à deux échelles différentes, tout en étant beaucoup plus efficaces en ressources. Cela démontre que les MoEs sont pertinents non seulement pour les LMs extrêmement grands, mais aussi pour les LMs efficaces en ressources à toute échelle. Notre code est public.
Alors que les grands modèles de langage (LLMs) deviennent de plus en plus répandus, il existe un besoin croissant de nouvelles méthodes de quantification améliorées capables de répondre aux exigences computationnelles de ces architectures modernes tout en maintenant leur précision. Dans cet article, nous présentons TEQ, une transformation équivalente entraînable qui préserve la précision FP32 des sorties du modèle tout en tirant parti de la quantification en basse précision, notamment la quantification des poids sur 3 et 4 bits. Le processus d'entraînement est léger, nécessitant seulement 1 000 étapes et moins de 0,1 % des paramètres entraînables du modèle d'origine. De plus, la transformation n'ajoute aucune surcharge computationnelle lors de l'inférence. Nos résultats sont comparables aux méthodes de pointe (SOTA) sur les LLMs typiques. Notre approche peut être combinée avec d'autres méthodes pour obtenir des performances encore meilleures. Le code est disponible à l'adresse suivante : https://github.com/intel/neural-compressor.
Avec les progrès impressionnants dans la génération d'images à partir de texte basée sur la diffusion, l'extension de cette puissante capacité générative au domaine texte-vidéo suscite un intérêt considérable. Les méthodes existantes nécessitent soit des paires texte-vidéo à grande échelle et des ressources d'entraînement importantes, soit l'apprentissage de mouvements parfaitement alignés avec des vidéos modèles. Il est difficile de trouver un équilibre entre le degré de liberté de génération et les coûts en ressources pour la génération vidéo. Dans notre étude, nous présentons un cadre d'ajustement basé sur peu d'exemples, LAMP, qui permet à un modèle de diffusion texte-image d'apprendre un motif de mouvement spécifique avec 8 à 16 vidéos sur un seul GPU. Plus précisément, nous concevons un pipeline conditionné par la première image, utilisant un modèle texte-image prêt à l'emploi pour la génération de contenu, afin que notre modèle de diffusion vidéo ajusté se concentre principalement sur l'apprentissage du mouvement. Les techniques bien développées de génération texte-image peuvent fournir un contenu visuellement attrayant et diversifié comme conditions de génération, ce qui améliore considérablement la qualité vidéo et la liberté de génération. Pour capturer les caractéristiques de la dimension temporelle, nous étendons les couches de convolution 2D pré-entraînées du modèle T2I à nos nouvelles couches d'apprentissage spatio-temporel et modifions les blocs d'attention au niveau temporel. De plus, nous développons une astuce d'inférence efficace, l'échantillonnage de bruit partagé, qui peut améliorer la stabilité des vidéos avec des coûts de calcul réduits. Notre méthode peut également être appliquée de manière flexible à d'autres tâches, comme l'animation d'images du monde réel et l'édition vidéo. Des expériences approfondies démontrent que LAMP peut apprendre efficacement le motif de mouvement sur des données limitées et générer des vidéos de haute qualité. Le code et les modèles sont disponibles à l'adresse https://rq-wu.github.io/projects/LAMP.
Les modèles de complétion de code ont réalisé des progrès significatifs ces dernières années, mais les ensembles de données d'évaluation populaires actuels, tels que HumanEval et MBPP, se concentrent principalement sur des tâches de complétion de code au sein d'un seul fichier. Ce cadre excessivement simplifié ne représente pas adéquatement le scénario réel du développement logiciel, où les dépôts s'étendent sur plusieurs fichiers avec de nombreuses dépendances inter-fichiers, et où l'accès et la compréhension du contexte inter-fichiers sont souvent nécessaires pour compléter le code correctement. Pour combler cette lacune, nous proposons CrossCodeEval, un benchmark de complétion de code diversifié et multilingue qui nécessite une compréhension approfondie du contexte inter-fichiers pour compléter le code avec précision. CrossCodeEval est construit sur un ensemble varié de dépôts open-source réels et sous licence permissive dans quatre langages de programmation populaires : Python, Java, TypeScript et C#. Pour créer des exemples qui exigent strictement un contexte inter-fichiers pour une complétion précise, nous proposons une approche simple mais efficace basée sur l'analyse statique pour identifier l'utilisation du contexte inter-fichiers dans le fichier courant. Des expériences approfondies sur des modèles de langage de code de pointe comme CodeGen et StarCoder démontrent que CrossCodeEval est extrêmement difficile lorsque le contexte inter-fichiers pertinent est absent, et nous observons des améliorations claires lorsque ce contexte est ajouté à l'invite. Cependant, malgré ces améliorations, le sommet des performances reste notablement inatteint même avec le modèle le plus performant, indiquant que CrossCodeEval est également capable d'évaluer la capacité du modèle à exploiter un contexte étendu pour améliorer la complétion de code. Enfin, nous avons évalué diverses méthodes de récupération du contexte inter-fichiers et montrons que CrossCodeEval peut également être utilisé pour mesurer la capacité des systèmes de récupération de code.