Rapport Technique de Qwen2.5-VLQwen2.5-VL Technical Report
Nous présentons Qwen2.5-VL, le dernier modèle phare de la série vision-langage Qwen, qui démontre des avancées significatives tant dans ses capacités fondamentales que dans ses fonctionnalités innovantes. Qwen2.5-VL réalise un bond majeur dans la compréhension et l'interaction avec le monde grâce à une reconnaissance visuelle améliorée, une localisation précise des objets, une analyse robuste de documents et une compréhension de vidéos longues. Une caractéristique remarquable de Qwen2.5-VL est sa capacité à localiser des objets avec précision en utilisant des boîtes englobantes ou des points. Il offre une extraction robuste de données structurées à partir de factures, formulaires et tableaux, ainsi qu'une analyse détaillée de graphiques, diagrammes et mises en page. Pour gérer des entrées complexes, Qwen2.5-VL introduit un traitement dynamique de la résolution et un encodage temporel absolu, lui permettant de traiter des images de tailles variées et des vidéos de longue durée (jusqu'à plusieurs heures) avec une localisation d'événements au niveau de la seconde. Cela permet au modèle de percevoir nativement les échelles spatiales et les dynamiques temporelles sans recourir à des techniques de normalisation traditionnelles. En entraînant un Vision Transformer (ViT) à résolution dynamique native dès le départ et en intégrant l'attention par fenêtre, nous réduisons la surcharge computationnelle tout en conservant la résolution native. En conséquence, Qwen2.5-VL excelle non seulement dans la compréhension d'images et de documents statiques, mais aussi en tant qu'agent visuel interactif capable de raisonner, d'utiliser des outils et d'exécuter des tâches dans des scénarios réels tels que l'utilisation d'ordinateurs et d'appareils mobiles. Qwen2.5-VL est disponible en trois tailles, répondant à divers cas d'utilisation, de l'IA embarquée au calcul haute performance. Le modèle phare Qwen2.5-VL-72B rivalise avec les modèles de pointe comme GPT-4o et Claude 3.5 Sonnet, excellant particulièrement dans la compréhension de documents et de diagrammes. De plus, Qwen2.5-VL maintient une performance linguistique robuste, préservant les compétences linguistiques fondamentales du LLM Qwen2.5.