papers.title

Dans cet article, nous présentons les résultats de notre projet ALPINE, qui signifie « Apprentissage Autoregressif pour la Planification dans les Réseaux ». Le projet ALPINE initie une investigation théorique sur le développement des capacités de planification dans les modèles de langage basés sur les Transformateurs, à travers leurs mécanismes d'apprentissage autoregressif, dans le but d'identifier d'éventuelles limitations dans leurs aptitudes à planifier. Nous modélisons la planification comme une tâche de recherche de chemin dans un réseau, où l'objectif est de générer un chemin valide d'un nœud source spécifié à un nœud cible désigné. En termes d'expressivité, nous montrons que le Transformer est capable d'exécuter la recherche de chemin en intégrant les matrices d'adjacence et d'accessibilité dans ses poids. Notre analyse théorique de la dynamique d'apprentissage basée sur les gradients du Transformer révèle que celui-ci est capable d'apprendre à la fois la matrice d'adjacence et une forme limitée de la matrice d'accessibilité. Ces insights théoriques sont ensuite validés par des expériences, qui démontrent que le Transformer apprend effectivement la matrice d'adjacence et une matrice d'accessibilité incomplète, ce qui correspond aux prédictions de notre analyse théorique. De plus, lorsque nous appliquons notre méthodologie à un benchmark de planification du monde réel, appelé Blocksworld, nos observations restent cohérentes. Nos analyses théoriques et empiriques révèlent également une limitation potentielle du Transformer dans la recherche de chemin : il ne peut pas identifier les relations d'accessibilité par transitivité, et échoue donc lorsque la concaténation de chemins est nécessaire pour générer un chemin. En résumé, nos résultats apportent un nouvel éclairage sur la manière dont les mécanismes internes de l'apprentissage autoregressif permettent la planification dans les réseaux. Cette étude pourrait contribuer à notre compréhension des capacités générales de planification dans d'autres domaines connexes.

Nous présentons Xmodel-VLM, un modèle vision-langage multimodal de pointe. Conçu pour un déploiement efficace sur des serveurs GPU grand public, notre travail aborde directement un enjeu crucial de l'industrie en s'attaquant aux coûts de service prohibitifs qui entravent l'adoption à grande échelle des systèmes multimodaux. Grâce à un entraînement rigoureux, nous avons développé un modèle de langage à l'échelle du milliard de paramètres (1B) à partir de zéro, en utilisant le paradigme LLaVA pour l'alignement modal. Le résultat, que nous appelons Xmodel-VLM, est un modèle vision-langage multimodal léger mais puissant. Des tests approfondis sur de nombreux benchmarks multimodaux classiques ont révélé que, malgré sa taille réduite et son exécution plus rapide, Xmodel-VLM offre des performances comparables à celles de modèles plus volumineux. Nos points de contrôle de modèle et notre code sont disponibles publiquement sur GitHub à l'adresse suivante : https://github.com/XiaoduoAILab/XmodelVLM.

Dans cet article, nous explorons le potentiel des modèles de diffusion latente, une famille de modèles génératifs puissants, pour la tâche de reconstruction de musique naturaliste à partir d'enregistrements électroencéphalographiques (EEG). Contrairement à des musiques plus simples avec des timbres limités, comme des mélodies générées par MIDI ou des pièces monophoniques, l'accent est ici mis sur des musiques complexes comportant une diversité d'instruments, de voix et d'effets, riches en harmoniques et en timbres. Cette étude représente une première incursion dans la reconstruction générale de musique de haute qualité à l'aide de données EEG non invasives, en employant une approche d'apprentissage de bout en bout directement sur les données brutes sans nécessiter de prétraitement manuel ni de sélection de canaux. Nous entraînons nos modèles sur le jeu de données public NMED-T et effectuons une évaluation quantitative en proposant des métriques basées sur des embeddings neuronaux. Nous réalisons également une classification de chansons à partir des pistes générées. Notre travail contribue aux recherches en cours sur le décodage neural et les interfaces cerveau-ordinateur, offrant des perspectives sur la faisabilité de l'utilisation des données EEG pour la reconstruction d'informations auditives complexes.

L'évaluation systématique et la compréhension des modèles de vision par ordinateur dans des conditions variables nécessitent de grandes quantités de données avec des annotations complètes et personnalisées, ce que les ensembles de données visuelles du monde réel satisfont rarement. Bien que les générateurs de données synthétiques actuels offrent une alternative prometteuse, en particulier pour les tâches d'IA incarnée, ils sont souvent insuffisants pour les tâches de vision par ordinateur en raison de la faible qualité des ressources et du rendu, de la diversité limitée et des propriétés physiques irréalistes. Nous présentons le BEHAVIOR Vision Suite (BVS), un ensemble d'outils et de ressources pour générer des données synthétiques entièrement personnalisées afin d'évaluer systématiquement les modèles de vision par ordinateur, basé sur le nouveau benchmark d'IA incarnée, BEHAVIOR-1K. BVS prend en charge un grand nombre de paramètres ajustables au niveau de la scène (par exemple, éclairage, placement des objets), au niveau des objets (par exemple, configuration des articulations, attributs tels que "rempli" et "plié") et au niveau de la caméra (par exemple, champ de vision, distance focale). Les chercheurs peuvent varier arbitrairement ces paramètres lors de la génération des données pour effectuer des expériences contrôlées. Nous illustrons trois scénarios d'application exemplaires : évaluer systématiquement la robustesse des modèles à travers différents axes continus de décalage de domaine, évaluer les modèles de compréhension de scène sur le même ensemble d'images, et entraîner et évaluer le transfert de la simulation à la réalité pour une nouvelle tâche visuelle : la prédiction d'états unaires et binaires. Site web du projet : https://behavior-vision-suite.github.io/