papers.title

In diesem Bericht präsentieren wir das neueste Modell der Gemini-Familie, Gemini 1.5 Pro, ein hochgradig rechen-effizientes multimodales Mixture-of-Experts-Modell, das in der Lage ist, feinkörnige Informationen aus Millionen von Tokens des Kontexts abzurufen und zu begründen, einschließlich mehrerer langer Dokumente sowie Stunden von Video- und Audioinhalten. Gemini 1.5 Pro erzielt eine nahezu perfekte Abrufgenauigkeit bei Aufgaben zur Langkontext-Abrufung über Modalitäten hinweg, verbessert den Stand der Technik bei Langdokumenten-F&A, Langvideo-F&A und Langkontext-ASR und erreicht oder übertrifft die Leistung des Standes der Technik von Gemini 1.0 Ultra über eine breite Palette von Benchmarks. Bei der Untersuchung der Grenzen der Langkontext-Fähigkeit von Gemini 1.5 Pro stellen wir eine kontinuierliche Verbesserung bei der Vorhersage des nächsten Tokens fest und eine nahezu perfekte Abrufung (>99%) von mindestens 10 Millionen Tokens, ein generationeller Sprung gegenüber bestehenden Modellen wie Claude 2.1 (200k) und GPT-4 Turbo (128k). Abschließend heben wir überraschende neue Fähigkeiten großer Sprachmodelle an der Front hervor; wenn dem Modell ein Grammatikhandbuch für Kalamang, eine Sprache mit weniger als 200 Sprechern weltweit, gegeben wird, lernt es, Englisch in Kalamang auf einem ähnlichen Niveau wie eine Person zu übersetzen, die aus demselben Inhalt gelernt hat.

Wir präsentieren DeepSeek-VL, ein Open-Source Vision-Language (VL) Modell, das für Vision- und Sprachverständnisanwendungen in der realen Welt entwickelt wurde. Unser Ansatz ist strukturiert um drei Schlüsseldimensionen: Wir streben danach, sicherzustellen, dass unsere Daten vielfältig, skalierbar und umfassend verschiedene reale Szenarien abdecken, einschließlich Web-Screenshots, PDFs, OCR, Diagramme und wissensbasierte Inhalte, mit dem Ziel einer umfassenden Darstellung praktischer Kontexte. Darüber hinaus erstellen wir eine Anwendungsfalldatenbank aus realen Benutzerszenarien und konstruieren entsprechend einen Anleitungsfine-Tuning-Datensatz. Das Feintuning mit diesem Datensatz verbessert signifikant die Benutzererfahrung des Modells in praktischen Anwendungen. Unter Berücksichtigung von Effizienz und den Anforderungen der meisten realen Szenarien integriert DeepSeek-VL einen hybriden Vision-Encoder, der hochauflösende Bilder (1024 x 1024) effizient verarbeitet, während er einen relativ geringen Rechenaufwand aufrechterhält. Diese Designentscheidung gewährleistet die Fähigkeit des Modells, kritische semantische und detaillierte Informationen über verschiedene visuelle Aufgaben hinweg zu erfassen. Wir behaupten, dass ein kompetentes Vision-Language Modell in erster Linie über starke Sprachfähigkeiten verfügen sollte. Um die Erhaltung der LLM-Fähigkeiten während des Pretrainings sicherzustellen, untersuchen wir eine effektive VL-Pretraining-Strategie, indem wir das LLM-Training von Anfang an integrieren und die beobachteten Wettbewerbsdynamiken zwischen den Modalitäten Vision und Sprache sorgfältig verwalten. Die DeepSeek-VL-Familie (sowohl 1,3B als auch 7B Modelle) zeigt überlegene Benutzererfahrungen als Vision-Sprach-Chatbot in realen Anwendungen und erzielt bei gleicher Modellgröße eine Spitzenleistung oder wettbewerbsfähige Leistungen über eine Vielzahl von visuell-sprachlichen Benchmarks hinweg, während sie robuste Leistungen bei sprachzentrierten Benchmarks beibehält. Wir haben sowohl die 1,3B- als auch die 7B-Modelle öffentlich zugänglich gemacht, um Innovationen auf der Grundlage dieses Modells zu fördern.

Diffusionsmodelle haben eine bemerkenswerte Leistung im Bereich der Text-zu-Bild-Generierung gezeigt. Die meisten weit verbreiteten Modelle verwenden jedoch immer noch CLIP als ihren Text-Encoder, was ihre Fähigkeit einschränkt, dichte Anfragen zu verstehen, die mehrere Objekte, detaillierte Attribute, komplexe Beziehungen, Langtextausrichtung usw. umfassen. In diesem Paper stellen wir einen Effizienten Großen Sprachmodell-Adapter vor, genannt ELLA, der Text-zu-Bild-Diffusionsmodelle mit leistungsstarken Großen Sprachmodellen (LLM) ausstattet, um die Textausrichtung ohne Training von U-Net oder LLM zu verbessern. Um zwei vorab trainierte Modelle nahtlos zu verbinden, untersuchen wir eine Reihe von semantischen Ausrichtungsverbindungsdesigns und schlagen ein neuartiges Modul vor, den Zeitpunkt-bewussten Semantischen Verbinder (TSC), der zeitabhängige Bedingungen dynamisch aus LLM extrahiert. Unser Ansatz passt semantische Merkmale in verschiedenen Stadien des Rauschunterdrückungsprozesses an und unterstützt Diffusionsmodelle bei der Interpretation langer und komplexer Anfragen über Abtastzeitpunkte hinweg. Darüber hinaus kann ELLA problemlos in Community-Modelle und -Tools integriert werden, um deren Fähigkeiten zur Anfrageverfolgung zu verbessern. Zur Bewertung von Text-zu-Bild-Modellen bei dichter Anfrageverfolgung stellen wir den Dichten Anfragegraphen-Benchmark (DPG-Bench) vor, einen anspruchsvollen Benchmark bestehend aus 1K dichten Anfragen. Umfangreiche Experimente zeigen die Überlegenheit von ELLA bei dichter Anfrageverfolgung im Vergleich zu State-of-the-Art-Methoden, insbesondere bei mehreren Objektkompositionen mit vielfältigen Attributen und Beziehungen.

In der sich ständig weiterentwickelnden digitalen Audiolandschaft hat Spotify, bekannt für seine Musik- und Gesprächsinhalte, kürzlich Hörbücher seiner umfangreichen Nutzerbasis vorgestellt. Obwohl vielversprechend, birgt dieser Schritt bedeutende Herausforderungen für personalisierte Empfehlungen. Im Gegensatz zu Musik und Podcasts, die anfangs kostenpflichtig sind, können Hörbücher nicht einfach vor dem Kauf überflogen werden, was höhere Einsätze für die Relevanz von Empfehlungen bedeutet. Darüber hinaus führt die Einführung eines neuen Inhaltstyps in eine bestehende Plattform zu extremen Datenlücken, da die meisten Nutzer mit diesem neuen Inhaltstyp nicht vertraut sind. Schließlich erfordert die Empfehlung von Inhalten an Millionen von Nutzern, dass das Modell schnell reagiert und skalierbar ist. Um diesen Herausforderungen zu begegnen, nutzen wir die Vorlieben der Nutzer für Podcasts und Musik und stellen 2T-HGNN vor, ein skalierbares Empfehlungssystem, das aus Heterogenen Graph-Neuronalen Netzen (HGNNs) und einem Zwei-Turm (2T)-Modell besteht. Dieser neuartige Ansatz deckt fein abgestufte Artikelbeziehungen auf und gewährleistet dabei eine geringe Latenzzeit und Komplexität. Wir entkoppeln die Nutzer vom HGNN-Graphen und schlagen einen innovativen Multi-Link-Nachbarsampler vor. Diese Entscheidungen, zusammen mit dem 2T-Bestandteil, reduzieren die Komplexität des HGNN-Modells signifikant. Empirische Bewertungen mit Millionen von Nutzern zeigen eine signifikante Verbesserung der Qualität personalisierter Empfehlungen, was zu einer Steigerung der Startrate neuer Hörbücher um +46% und einer Erhöhung der Streamingraten um +23% führt. Interessanterweise erstreckt sich die Auswirkung unseres Modells über Hörbücher hinaus und kommt etablierten Produkten wie Podcasts zugute.

In jüngster Zeit wurden Fortschritte bei generativen Systemen zur Text-zu-Bild-Erstellung weitgehend durch Diffusionsmodelle vorangetrieben. Allerdings stehen Ein-Stufen-Text-zu-Bild-Diffusionsmodelle immer noch vor Herausforderungen hinsichtlich der Rechenleistung und der Verfeinerung von Bilddetails. Um dieses Problem anzugehen, schlagen wir CogView3 vor, ein innovatives gestuftes Rahmenwerk, das die Leistung der Text-zu-Bild-Diffusion verbessert. CogView3 ist das erste Modell, das Relay-Diffusion im Bereich der Text-zu-Bild-Erzeugung implementiert, indem es die Aufgabe zunächst durch die Erstellung von Niedrigauflösungsbildern und anschließend durch die Anwendung von Relay-basierter Superauflösung ausführt. Diese Methodik führt nicht nur zu wettbewerbsfähigen Text-zu-Bild-Ausgaben, sondern reduziert auch erheblich sowohl die Schulungs- als auch die Inferenzkosten. Unsere experimentellen Ergebnisse zeigen, dass CogView3 SDXL, das derzeit modernste Open-Source-Text-zu-Bild-Diffusionsmodell, um 77,0\% in menschlichen Bewertungen übertrifft und dabei nur etwa die Hälfte der Inferenzzeit benötigt. Die destillierte Variante von CogView3 erzielt vergleichbare Leistungen, während sie nur 1/10 der Inferenzzeit von SDXL benötigt.

Feed-Forward 3D-generative Modelle wie das Large Reconstruction Model (LRM) haben eine außergewöhnliche Generierungsgeschwindigkeit gezeigt. Die auf Transformer basierenden Methoden nutzen jedoch nicht die geometrischen Prioritäten des Triplane-Komponenten in ihrer Architektur, was häufig zu suboptimaler Qualität führt, aufgrund der begrenzten Größe der 3D-Daten und des langsamen Trainings. In dieser Arbeit präsentieren wir das Convolutional Reconstruction Model (CRM), ein hochwertiges Feed-Forward-Einzelbild-zu-3D-generative Modell. Unter Berücksichtigung der Einschränkungen durch spärliche 3D-Daten betonen wir die Notwendigkeit, geometrische Prioritäten in das Netzwerkdesign zu integrieren. CRM baut auf der Schlüsselbeobachtung auf, dass die Visualisierung des Triplanes eine räumliche Übereinstimmung von sechs orthografischen Bildern aufweist. Zunächst generiert es sechs orthografische Ansichtsbilder aus einem einzigen Eingabebild und speist diese Bilder dann in ein Convolutional U-Net ein, wobei es seine starken Pixel-Ebene-Ausrichtungsfähigkeiten und die signifikante Bandbreite nutzt, um einen hochauflösenden Triplane zu erstellen. CRM verwendet außerdem Flexicubes als geometrische Darstellung, die eine direkte End-to-End-Optimierung auf texturierten Netzen ermöglichen. Insgesamt liefert unser Modell in nur 10 Sekunden ein hochwertiges texturiertes Netz aus einem Bild, ohne jegliche Testzeit-Optimierung.

Text-zu-Bild-Diffusionsmodelle (T2I) haben beispiellose Fähigkeiten bei der Erstellung realistischer und ästhetischer Bilder gezeigt. Im Gegensatz dazu hinken Text-zu-Video-Diffusionsmodelle (T2V) immer noch weit hinterher in Bezug auf die Bildqualität und Textausrichtung, aufgrund der unzureichenden Qualität und Quantität der Trainingsvideos. In diesem Paper stellen wir VideoElevator vor, eine trainingsfreie und Plug-and-Play-Methode, die die Leistung von T2V mithilfe der überlegenen Fähigkeiten von T2I verbessert. Im Gegensatz zum herkömmlichen T2V-Sampling (d. h. zeitliche und räumliche Modellierung) zerlegt VideoElevator jeden Probenahmeschritt explizit in zeitliche Bewegungsoptimierung und räumliche Qualitätssteigerung. Speziell verwendet die zeitliche Bewegungsoptimierung verkapselte T2V, um die zeitliche Konsistenz zu verbessern, gefolgt von der Umkehrung zur Rauschverteilung, die von T2I benötigt wird. Anschließend nutzt die räumliche Qualitätssteigerung aufgeblasene T2I, um direkt weniger rauschige Latente vorherzusagen und fügt mehr fotorealistische Details hinzu. Wir haben Experimente unter umfangreichen Anfragen in Kombination verschiedener T2V und T2I durchgeführt. Die Ergebnisse zeigen, dass VideoElevator nicht nur die Leistung von T2V-Baselines mit grundlegendem T2I verbessert, sondern auch die stilistische Videosynthese mit personalisiertem T2I erleichtert. Unser Code ist verfügbar unter https://github.com/YBYBZhang/VideoElevator.