papers.title

papers.description

ROICtrl: Steigerung der Instanzsteuerung für visuelle Generierung
ROICtrl: Boosting Instance Control for Visual Generation

Nov 27, 2024

Yuchao Gu, Yipin Zhou, Yunfan Ye, Yixin Nie, Licheng Yu, Pingchuan Ma, Kevin Qinghong Lin, Mike Zheng Shou

712

Die natürliche Sprache hat oft Schwierigkeiten, Positionsinformationen und Attributinformationen genau mit mehreren Instanzen zu verknüpfen, was die aktuellen textbasierten visuellen Generierungsmodelle auf einfachere Kompositionen mit nur wenigen dominanten Instanzen beschränkt. Um diese Einschränkung zu überwinden, erweitert diese Arbeit Diffusionsmodelle durch die Einführung einer regionalen Instanzsteuerung, bei der jede Instanz von einer Bounding Box zusammen mit einer Freiformbeschreibung gesteuert wird. Frühere Methoden in diesem Bereich verlassen sich in der Regel auf implizite Positionsencodierung oder explizite Aufmerksamkeitsmasken zur Trennung von Regions of Interest (ROIs), was entweder zu ungenauen Koordinateneinspritzungen oder zu hohen Rechenkosten führt. Inspiriert von ROI-Align in der Objekterkennung führen wir eine ergänzende Operation namens ROI-Unpool ein. Zusammen ermöglichen ROI-Align und ROI-Unpool eine explizite, effiziente und genaue ROI-Manipulation auf hochauflösenden Merkmalskarten für die visuelle Generierung. Aufbauend auf ROI-Unpool schlagen wir ROICtrl vor, einen Adapter für vortrainierte Diffusionsmodelle, der eine präzise regionale Instanzsteuerung ermöglicht. ROICtrl ist kompatibel mit community-feinabgestimmten Diffusionsmodellen sowie mit vorhandenen spatialen Add-ons (z.B. ControlNet, T2I-Adapter) und embedding-basierten Add-ons (z.B. IP-Adapter, ED-LoRA), wodurch ihre Anwendungen auf die Mehrinstanzgenerierung erweitert werden. Experimente zeigen, dass ROICtrl eine überlegene Leistung bei der regionalen Instanzsteuerung erzielt und gleichzeitig die Rechenkosten erheblich reduziert.

Verschränkter Szenengraph für die verschränkte Text- und Bildgenerierung Bewertung
Interleaved Scene Graph for Interleaved Text-and-Image Generation Assessment

Nov 26, 2024

Dongping Chen, Ruoxi Chen, Shu Pu, Zhaoyi Liu, Yanru Wu, Caixi Chen, Benlin Liu, Yue Huang, Yao Wan, Pan Zhou, Ranjay Krishna

192

Viele Benutzeranfragen aus der realen Welt (z. B. "Wie macht man gebratenen Reis mit Ei?") könnten von Systemen profitieren, die in der Lage sind, Antworten mit sowohl textuellen Schritten als auch begleitenden Bildern zu generieren, ähnlich einem Kochbuch. Modelle, die entworfen wurden, um interleaved Text und Bilder zu generieren, stehen vor Herausforderungen bei der Sicherstellung von Konsistenz innerhalb und zwischen diesen Modalitäten. Um diesen Herausforderungen zu begegnen, präsentieren wir ISG, ein umfassendes Bewertungsframework für die Generierung von interleaved Text und Bildern. ISG nutzt eine Szenengraphenstruktur, um Beziehungen zwischen Text- und Bildblöcken zu erfassen, und bewertet Antworten auf vier Ebenen der Granularität: ganzheitlich, strukturell, blockweise und bildspezifisch. Diese mehrschichtige Bewertung ermöglicht eine differenzierte Bewertung von Konsistenz, Kohärenz und Genauigkeit und liefert interpretierbares Frage-Antwort-Feedback. Zusammen mit ISG führen wir einen Benchmark ein, ISG-Bench, der 1.150 Beispiele in 8 Kategorien und 21 Unterkategorien umfasst. Dieser Benchmark-Datensatz enthält komplexe Sprach-Bild-Abhängigkeiten und goldene Antworten, um Modelle effektiv bei visionszentrierten Aufgaben wie Stiltransfer zu bewerten, einem herausfordernden Bereich für aktuelle Modelle. Unter Verwendung von ISG-Bench zeigen wir, dass aktuelle vereinheitlichte Vision-Sprach-Modelle schlecht darin sind, interleaved Inhalte zu generieren. Während zusammengesetzte Ansätze, die separate Sprach- und Bildmodelle kombinieren, eine 111%ige Verbesserung gegenüber vereinheitlichten Modellen auf ganzheitlicher Ebene aufweisen, bleibt ihre Leistung sowohl auf Block- als auch auf Bildebene suboptimal. Um zukünftige Arbeiten zu erleichtern, entwickeln wir ISG-Agent, einen Grundlinien-Agenten, der einen "Plan-Ausführen-Verfeinern"-Pipeline verwendet, um Werkzeuge aufzurufen und eine Leistungsverbesserung von 122% zu erzielen.

Identitätserhaltende Text-zu-Video-Generierung durch Frequenzzerlegung
Identity-Preserving Text-to-Video Generation by Frequency Decomposition

Nov 26, 2024

Shenghai Yuan, Jinfa Huang, Xianyi He, Yunyuan Ge, Yujun Shi, Liuhan Chen, Jiebo Luo, Li Yuan

133

Die Generierung von Identität erhaltenden Text-zu-Video (IPT2V) zielt darauf ab, hochwertige Videos mit konsistenter menschlicher Identität zu erstellen. Es handelt sich um eine wichtige Aufgabe in der Videogenerierung, die jedoch ein offenes Problem für generative Modelle darstellt. Dieser Artikel erweitert die technische Grenze von IPT2V in zwei Richtungen, die in der Literatur noch nicht gelöst wurden: (1) Ein abstimmungsfreier Prozess ohne mühsame feinabgestimmte Fall-für-Fall-Anpassung und (2) Ein frequenzbewusstes heuristisches Identität-erhaltendes DiT-basiertes Steuerschema. Wir schlagen ConsisID vor, ein abstimmungsfreies DiT-basiertes steuerbares IPT2V-Modell, um die menschliche Identität im generierten Video konsistent zu halten. Inspiriert von früheren Erkenntnissen in der Frequenzanalyse von Diffusions-Transformern verwendet es Identitätssteuersignale im Frequenzbereich, in dem Gesichtsmerkmale in niederfrequente globale Merkmale und hochfrequente intrinsische Merkmale zerlegt werden können. Erstens, aus einer niederfrequenten Perspektive, führen wir einen globalen Gesichtsextraktor ein, der Referenzbilder und Gesichtsschlüsselpunkte in einen latenten Raum kodiert, um Merkmale zu generieren, die mit niederfrequenten Informationen angereichert sind. Diese Merkmale werden dann in flache Schichten des Netzwerks integriert, um die mit DiT verbundenen Schulungsherausforderungen zu mildern. Zweitens, aus einer hochfrequenten Perspektive, entwerfen wir einen lokalen Gesichtsextraktor, um hochfrequente Details zu erfassen und sie in Transformer-Blöcke einzuspeisen, um die Fähigkeit des Modells zur Erhaltung feingranularer Merkmale zu verbessern. Wir schlagen eine hierarchische Schulungsstrategie vor, um Frequenzinformationen für die Identitätserhaltung zu nutzen und ein einfaches vorab trainiertes Videogenerierungsmodell in ein IPT2V-Modell zu transformieren. Umfangreiche Experimente zeigen, dass unser frequenzbewusstes heuristisches Schema eine optimale Steuerlösung für DiT-basierte Modelle bietet. Dank dieses Schemas generiert unser ConsisID hochwertige, identitätserhaltende Videos und macht Fortschritte in Richtung einer effektiveren IPT2V.

MARVEL-40M+: Mehrstufige visuelle Ausarbeitung für hochwertige Text-zu-3D-Inhalteerstellung
MARVEL-40M+: Multi-Level Visual Elaboration for High-Fidelity Text-to-3D Content Creation

Nov 26, 2024

Sankalp Sinha, Mohammad Sadil Khan, Muhammad Usama, Shino Sam, Didier Stricker, Sk Aziz Ali, Muhammad Zeshan Afzal

214

Die Generierung hochwertiger 3D-Inhalte aus Texteingaben bleibt aufgrund der begrenzten Größe, Vielfalt und Annotierungstiefe der vorhandenen Datensätze eine bedeutende Herausforderung in der Computer Vision. Um dem entgegenzuwirken, stellen wir MARVEL-40M+ vor, einen umfangreichen Datensatz mit 40 Millionen Textannotationen für über 8,9 Millionen 3D-Objekte, die aus sieben großen 3D-Datensätzen aggregiert wurden. Unser Beitrag ist eine neuartige mehrstufige Annotationspipeline, die Open-Source-vorabtrainierte Multi-View-VLMs und LLMs integriert, um automatisch mehrstufige Beschreibungen zu erstellen, die von detaillierten (150-200 Wörter) bis zu prägnanten semantischen Tags (10-20 Wörter) reichen. Diese Struktur unterstützt sowohl feinkörnige 3D-Rekonstruktion als auch schnelles Prototyping. Darüber hinaus integrieren wir Metadaten von Menschen aus den Ausgangsdatensätzen in unsere Annotationspipeline, um domänenspezifische Informationen hinzuzufügen und VLM-Halluzinationen zu reduzieren. Zusätzlich entwickeln wir MARVEL-FX3D, eine zweistufige Text-zu-3D-Pipeline. Wir feinabstimmen Stable Diffusion mit unseren Annotationen und verwenden ein vorab trainiertes Bild-zu-3D-Netzwerk, um 3D-texturierte Meshes innerhalb von 15 Sekunden zu generieren. Umfangreiche Bewertungen zeigen, dass MARVEL-40M+ in Annotierungsqualität und sprachlicher Vielfalt signifikant besser abschneidet als vorhandene Datensätze und Gewinnraten von 72,41 % durch GPT-4 und 73,40 % durch menschliche Evaluatoren erreicht.

CAT4D: Erschaffen Sie alles in 4D mit Multi-View Video Diffusionsmodellen
CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

Nov 27, 2024

Rundi Wu, Ruiqi Gao, Ben Poole, Alex Trevithick, Changxi Zheng, Jonathan T. Barron, Aleksander Holynski

595

Wir präsentieren CAT4D, eine Methode zur Erstellung von 4D (dynamischen 3D) Szenen aus monokularen Videos. CAT4D nutzt ein Multi-View Video-Diffusionsmodell, das auf einer vielfältigen Kombination von Datensätzen trainiert ist, um eine neuartige Ansichtssynthese bei beliebigen Kamerapositionen und Zeitstempeln zu ermöglichen. In Kombination mit einem innovativen Sampling-Ansatz kann dieses Modell ein einzelnes monokulares Video in ein Multi-View Video umwandeln, was eine robuste 4D-Rekonstruktion durch Optimierung einer verformbaren 3D-Gaußschen Darstellung ermöglicht. Wir zeigen eine wettbewerbsfähige Leistung bei der Ansichtssynthese und der Rekonstruktion dynamischer Szenen und heben die kreativen Fähigkeiten zur Generierung von 4D-Szenen aus realen oder generierten Videos hervor. Besuchen Sie unsere Projektseite für Ergebnisse und interaktive Demos: cat-4d.github.io.

Große Sprachmodell-basierte GUI-Agenten: Eine Übersicht
Large Language Model-Brained GUI Agents: A Survey

Nov 27, 2024

Chaoyun Zhang, Shilin He, Jiaxu Qian, Bowen Li, Liqun Li, Si Qin, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

323

GUIs sind schon lange zentral für die Mensch-Computer-Interaktion, da sie einen intuitiven und visuell gesteuerten Weg bieten, um auf digitale Systeme zuzugreifen und mit ihnen zu interagieren. Das Aufkommen von LLMs, insbesondere multimodalen Modellen, hat eine neue Ära der GUI-Automatisierung eingeläutet. Sie haben außergewöhnliche Fähigkeiten in der natürlichen Sprachverarbeitung, der Codegenerierung und der visuellen Verarbeitung gezeigt. Dies hat den Weg für eine neue Generation von LLM-gesteuerten GUI-Agenten geebnet, die in der Lage sind, komplexe GUI-Elemente zu interpretieren und autonom Aktionen auf der Grundlage von natürlichsprachlichen Anweisungen auszuführen. Diese Agenten stellen einen Paradigmenwechsel dar, der es Benutzern ermöglicht, komplexe, mehrstufige Aufgaben durch einfache Gesprächsbefehle auszuführen. Ihre Anwendungen erstrecken sich über die Webnavigation, die Interaktion mit mobilen Apps und die Desktop-Automatisierung und bieten ein transformierendes Benutzererlebnis, das verändert, wie Personen mit Software interagieren. Dieses aufstrebende Feld entwickelt sich schnell weiter, mit signifikanten Fortschritten sowohl in der Forschung als auch in der Industrie. Um ein strukturiertes Verständnis dieses Trends zu bieten, präsentiert dieser Artikel eine umfassende Untersuchung von LLM-gesteuerten GUI-Agenten, die ihre historische Entwicklung, Kernkomponenten und fortgeschrittenen Techniken erforscht. Wir behandeln Forschungsfragen wie bestehende GUI-Agenten-Frameworks, die Sammlung und Verwendung von Daten zur Schulung spezialisierter GUI-Agenten, die Entwicklung großer Aktionsmodelle, die auf GUI-Aufgaben zugeschnitten sind, und die Evaluierungsmetriken und Benchmarks, die erforderlich sind, um ihre Effektivität zu bewerten. Darüber hinaus untersuchen wir aufkommende Anwendungen, die von diesen Agenten unterstützt werden. Durch eine detaillierte Analyse identifiziert diese Untersuchung wesentliche Forschungslücken und skizziert einen Fahrplan für zukünftige Fortschritte auf diesem Gebiet. Indem grundlegendes Wissen und die neuesten Entwicklungen zusammengeführt werden, zielt diese Arbeit darauf ab, sowohl Forscher als auch Praktiker dabei zu unterstützen, Herausforderungen zu bewältigen und das volle Potenzial von LLM-gesteuerten GUI-Agenten zu erschließen.

Diffusions-Selbstdestillation zur individuellen Bildgenerierung ohne vorheriges Training
Diffusion Self-Distillation for Zero-Shot Customized Image Generation

Nov 27, 2024

Shengqu Cai, Eric Chan, Yunzhi Zhang, Leonidas Guibas, Jiajun Wu, Gordon Wetzstein

166

Text-zu-Bild-Diffusionsmodelle liefern beeindruckende Ergebnisse, sind jedoch frustrierende Werkzeuge für Künstler, die fein abgestimmte Kontrolle wünschen. Ein häufiges Anwendungsszenario besteht darin, Bilder einer bestimmten Instanz in neuen Kontexten zu erstellen, d.h. "identitätserhaltende Generierung". Diese Einstellung, zusammen mit vielen anderen Aufgaben (z.B. Neubeleuchtung), passt natürlich zu Bild+Text-bedingten generativen Modellen. Es fehlt jedoch an hochwertigen gepaarten Daten, um ein solches Modell direkt zu trainieren. Wir schlagen die Diffusion Self-Distillation vor, eine Methode zur Verwendung eines vorab trainierten Text-zu-Bild-Modells, um seinen eigenen Datensatz für textkonditionierte Bild-zu-Bild-Aufgaben zu generieren. Zunächst nutzen wir die Fähigkeit eines Text-zu-Bild-Diffusionsmodells zur kontextbezogenen Generierung, um Raster von Bildern zu erstellen und einen großen gepaarten Datensatz mit Hilfe eines Visual-Language-Modells zu kuratieren. Anschließend feinabstimmen wir das Text-zu-Bild-Modell zu einem Text+Bild-zu-Bild-Modell unter Verwendung des kuratierten gepaarten Datensatzes. Wir zeigen, dass die Diffusion Self-Distillation bestehende Zero-Shot-Methoden übertrifft und auf einer Vielzahl von Aufgaben zur Identitätserhaltungsgenerierung wettbewerbsfähig mit Techniken zur individuellen Abstimmung ist, ohne eine Optimierung zur Testzeit zu erfordern.

3D Konvexes Splatting: Strahlungsfeld-Rendering mit 3D-glättenden Konvexen
3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

Nov 22, 2024

Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

165

In jüngster Zeit erzielten Fortschritte bei der Rekonstruktion von Strahlungsfeldern, wie z.B. 3D-Gauß-Splatting (3DGS), hochwertige Neuansichtssynthese und schnelles Rendern, indem Szenen mit Zusammensetzungen von Gauß'schen Primitiven dargestellt werden. Allerdings weisen 3D-Gauß'sche Funktionen mehrere Einschränkungen für die Szenenrekonstruktion auf. Das genaue Erfassen harter Kanten ist herausfordernd, ohne die Anzahl der Gauß'schen Funktionen signifikant zu erhöhen, was zu einem großen Speicherbedarf führt. Zudem haben sie Schwierigkeiten, flache Oberflächen darzustellen, da sie im Raum diffundieren. Ohne handgefertigte Regularisierer neigen sie dazu, unregelmäßig um die tatsächliche Oberfläche herum zu zerstreuen. Um diese Probleme zu umgehen, stellen wir eine neue Methode namens 3D-Konvex-Splatting (3DCS) vor, die 3D-glatte Konvexe als Primitive nutzt, um geometrisch sinnvolle Strahlungsfelder aus Multi-View-Bildern zu modellieren. Glatte konvexe Formen bieten eine größere Flexibilität als Gauß'sche Funktionen und ermöglichen eine bessere Darstellung von 3D-Szenen mit harten Kanten und dichten Volumina unter Verwendung weniger Primitive. Unterstützt durch unseren effizienten CUDA-basierten Rasterizer erzielt 3DCS eine überlegene Leistung gegenüber 3DGS in Benchmarks wie Mip-NeRF360, Tanks and Temples und Deep Blending. Speziell erreicht unsere Methode eine Verbesserung von bis zu 0,81 im PSNR und 0,026 im LPIPS im Vergleich zu 3DGS, während sie hohe Rendegeschwindigkeiten beibehält und die Anzahl der benötigten Primitive reduziert. Unsere Ergebnisse unterstreichen das Potenzial von 3D-Konvex-Splatting, zum neuen Standard für hochwertige Szenenrekonstruktion und Neuansichtssynthese zu werden. Projektseite: convexsplatting.github.io.

DiffusionDrive: Trunkiertes Diffusionsmodell für autonomes Fahren von Anfang bis Ende
DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving

Nov 22, 2024

Bencheng Liao, Shaoyu Chen, Haoran Yin, Bo Jiang, Cheng Wang, Sixu Yan, Xinbang Zhang, Xiangyu Li, Ying Zhang, Qian Zhang, Xinggang Wang

152

In letzter Zeit hat sich das Diffusionsmodell als leistungsstarke generative Technik für das Lernen von Roboterstrategien etabliert, das in der Lage ist, Mehrmodus-Aktionsverteilungen zu modellieren. Die Nutzung seiner Fähigkeit für autonomes Fahren von Ende zu Ende ist eine vielversprechende Richtung. Die zahlreichen Rauschunterdrückungsschritte in der robotischen Diffusionsstrategie und die dynamischere, offene Natur von Verkehrsszenen stellen jedoch erhebliche Herausforderungen für die Generierung verschiedener Fahraktionen in Echtzeitgeschwindigkeit dar. Um diese Herausforderungen anzugehen, schlagen wir eine neuartige abgeschnittene Diffusionsstrategie vor, die vorherige Mehrmodus-Anker einbezieht und den Diffusionszeitplan abschneidet, um dem Modell das Lernen der Rauschunterdrückung von verankerten Gaußverteilungen zur Mehrmodus-Fahraktionsverteilung zu ermöglichen. Darüber hinaus entwerfen wir einen effizienten Kaskaden-Diffusionsdecoder für eine verbesserte Interaktion mit bedingtem Szenenkontext. Das vorgeschlagene Modell, DiffusionDrive, zeigt eine 10-fache Reduzierung der Rauschunterdrückungsschritte im Vergleich zur Standard-Diffusionsstrategie und liefert überlegene Vielfalt und Qualität in nur 2 Schritten. Auf dem planungsorientierten NAVSIM-Datensatz, mit dem ausgerichteten ResNet-34-Backbone, erreicht DiffusionDrive 88,1 PDMS ohne Schnickschnack und setzt damit einen neuen Rekord, während es mit einer Echtzeitgeschwindigkeit von 45 FPS auf einer NVIDIA 4090 läuft. Qualitative Ergebnisse in herausfordernden Szenarien bestätigen weiterhin, dass DiffusionDrive robust verschiedene plausible Fahraktionen generieren kann. Der Code und das Modell sind unter https://github.com/hustvl/DiffusionDrive verfügbar.

Make-It-Animatable: Ein effizientes Framework zur Erstellung von animationsbereiten 3D-Charakteren.
Make-It-Animatable: An Efficient Framework for Authoring Animation-Ready 3D Characters

Nov 27, 2024

Zhiyang Guo, Jinxu Xiang, Kai Ma, Wengang Zhou, Houqiang Li, Ran Zhang

144

3D-Charaktere sind für moderne kreative Industrien unerlässlich, aber ihre Animierbarkeit erfordert oft umfangreiche manuelle Arbeit bei Aufgaben wie Rigging und Skinning. Bestehende automatische Rigging-Tools stoßen auf mehrere Einschränkungen, darunter die Notwendigkeit manueller Annotationen, starre Skeletttopologien und begrenzte Verallgemeinerung über verschiedene Formen und Posen hinweg. Ein alternativer Ansatz besteht darin, animierbare Avatare zu generieren, die bereits an ein vorgefertigtes Template-Mesh gebunden sind. Diese Methode mangelt jedoch oft an Flexibilität und ist in der Regel auf realistische menschliche Formen beschränkt. Um diese Probleme anzugehen, präsentieren wir Make-It-Animatable, eine neuartige datengesteuerte Methode, um jedes 3D-Humanoidenmodell unabhängig von seinen Formen und Posen in weniger als einer Sekunde für die Charakteranimation vorzubereiten. Unser einheitlicher Rahmen generiert hochwertige Mischungsverhältnisse, Knochen und Posen-Transformationen. Durch die Integration eines partikelbasierten Formautoencoders unterstützt unser Ansatz verschiedene 3D-Repräsentationen, einschließlich Meshes und 3D-Gauß'scher Flecken. Darüber hinaus verwenden wir eine grob-zu-fein-Repräsentation und eine strukturbewusste Modellierungsstrategie, um sowohl Genauigkeit als auch Robustheit sicherzustellen, selbst bei Charakteren mit nicht standardmäßigen Skelettstrukturen. Wir führten umfangreiche Experimente durch, um die Wirksamkeit unseres Rahmens zu validieren. Im Vergleich zu bestehenden Methoden zeigt unser Ansatz signifikante Verbesserungen sowohl in Qualität als auch Geschwindigkeit.

UniPose: Ein vereinheitlichtes multimodales Framework für das Verständnis, die Generierung und Bearbeitung menschlicher Körperhaltungen.
UniPose: A Unified Multimodal Framework for Human Pose Comprehension, Generation and Editing

Nov 25, 2024

Yiheng Li, Ruibing Hou, Hong Chang, Shiguang Shan, Xilin Chen

134

Die menschliche Pose spielt eine entscheidende Rolle im digitalen Zeitalter. Während in jüngsten Arbeiten beeindruckende Fortschritte bei der Erfassung und Generierung menschlicher Posen erzielt wurden, unterstützen sie oft nur eine einzige Modalität von Steuersignalen und arbeiten isoliert, was ihre Anwendung in realen Szenarien einschränkt. Dieser Artikel stellt UniPose vor, ein Framework, das Large Language Models (LLMs) einsetzt, um menschliche Posen über verschiedene Modalitäten hinweg zu erfassen, zu generieren und zu bearbeiten, einschließlich Bilder, Text und 3D SMPL-Posen. Konkret wenden wir einen Pose-Tokenizer an, um 3D-Posen in diskrete Pose-Token umzuwandeln, was eine nahtlose Integration in das LLM innerhalb eines einheitlichen Vokabulars ermöglicht. Um die feinkörnigen Pose-Wahrnehmungsfähigkeiten weiter zu verbessern, erleichtern wir UniPose mit einer Mischung von visuellen Encodern, darunter ein pose-spezifischer visueller Encoder. Durch eine vereinheitlichte Lernstrategie kann UniPose Wissen effektiv über verschiedene pose-relevante Aufgaben übertragen, sich an unbekannte Aufgaben anpassen und erweiterte Fähigkeiten zeigen. Diese Arbeit stellt den ersten Versuch dar, ein universelles Framework für die Erfassung, Generierung und Bearbeitung von Posen aufzubauen. Umfangreiche Experimente heben die wettbewerbsfähige und sogar überlegene Leistung von UniPose bei verschiedenen pose-relevanten Aufgaben hervor.

Kollaboratives Decodieren macht visuelle autoregressive Modellierung effizient.
Collaborative Decoding Makes Visual Auto-Regressive Modeling Efficient

Nov 26, 2024

Zigeng Chen, Xinyin Ma, Gongfan Fang, Xinchao Wang

122

Im schnell voranschreitenden Bereich der Bildgenerierung hat das Visual Auto-Regressive (VAR) Modell erhebliche Aufmerksamkeit für seinen innovativen Ansatz zur Vorhersage auf der nächsten Skalenebene erhalten. Dieses Paradigma bietet wesentliche Verbesserungen in Effizienz, Skalierbarkeit und Zero-Shot-Generalisierung. Dennoch führt die von Natur aus grob-zu-fein strukturierte VAR-Natur zu einer verlängerten Token-Sequenz, die zu prohibitivem Speicherverbrauch und Rechenüberfluss führt. Um diese Engpässe zu bewältigen, schlagen wir Collaborative Decoding (CoDe) vor, eine neuartige effiziente Dekodierstrategie, die speziell für das VAR-Framework entwickelt wurde. CoDe nutzt zwei entscheidende Beobachtungen: die wesentlich reduzierten Parameteranforderungen bei größeren Skalen und die exklusiven Generierungsmuster über verschiedene Skalen hinweg. Basierend auf diesen Erkenntnissen unterteilen wir den Multi-Skalen-Inferenzprozess in eine nahtlose Zusammenarbeit zwischen einem großen Modell und einem kleinen Modell. Das große Modell fungiert als 'Entwurfsmodell', das sich auf die Generierung von Inhalten mit niedriger Frequenz in kleineren Skalen spezialisiert, während das kleinere Modell als 'Verfeinerungsmodell' dient und sich ausschließlich auf die Vorhersage von Details mit hoher Frequenz in größeren Skalen konzentriert. Diese Zusammenarbeit führt zu bemerkenswerter Effizienz bei minimalem Qualitätsverlust: CoDe erreicht eine Beschleunigung um das 1,7-fache, reduziert den Speicherverbrauch um etwa 50% und bewahrt die Bildqualität mit nur einer vernachlässigbaren FID-Erhöhung von 1,95 auf 1,98. Durch weitere Verringerung der Entwurfschritte kann CoDe ein beeindruckendes Beschleunigungsverhältnis von 2,9 erreichen, was 41 Bilder/s bei einer Auflösung von 256x256 auf einer einzelnen NVIDIA 4090 GPU entspricht, während eine lobenswerte FID von 2,27 beibehalten wird. Der Code ist verfügbar unter https://github.com/czg1225/CoDe

Traumcache: Feinabstimmungsfreie, leichte personalisierte Bildgenerierung über Merkmalszwischenspeicherung
DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching

Nov 26, 2024

Emanuele Aiello, Umberto Michieli, Diego Valsesia, Mete Ozay, Enrico Magli

123

Die personalisierte Bildgenerierung erfordert textbasierte Bildgenerierungsmodelle, die die Kernmerkmale eines Referenzobjekts erfassen, um eine kontrollierte Generierung in verschiedenen Kontexten zu ermöglichen. Bestehende Methoden stehen vor Herausforderungen aufgrund komplexer Schulungsanforderungen, hoher Inferenzkosten, begrenzter Flexibilität oder einer Kombination dieser Probleme. In diesem Artikel stellen wir DreamCache vor, einen skalierbaren Ansatz für effiziente und hochwertige personalisierte Bildgenerierung. Durch Zwischenspeichern einer kleinen Anzahl von Referenzbildmerkmalen aus einem Teil der Schichten und einem einzelnen Zeitschritt des vortrainierten Diffusions-Denoisers ermöglicht DreamCache eine dynamische Modulation der generierten Bildmerkmale durch leichtgewichtige, trainierte Konditionierungsadapter. DreamCache erreicht eine Bild- und Textausrichtung auf dem neuesten Stand der Technik, nutzt eine Größenordnung weniger zusätzliche Parameter und ist sowohl rechnerisch effektiver als auch vielseitiger als bestehende Modelle.

ChatRex: Bändigung des Multimodalen LLM für Gemeinsame Wahrnehmung und Verständnis
ChatRex: Taming Multimodal LLM for Joint Perception and Understanding

Nov 27, 2024

Qing Jiang, Gen luo, Yuqin Yang, Yuda Xiong, Yihao Chen, Zhaoyang Zeng, Tianhe Ren, Lei Zhang

103

Wahrnehmung und Verständnis sind zwei Grundpfeiler der Computer Vision. Während multimodale große Sprachmodelle (MLLM) bemerkenswerte visuelle Verständnisfähigkeiten gezeigt haben, fehlt es ihnen möglicherweise an genauen Wahrnehmungsfähigkeiten, z.B. erreicht das modernste Modell Qwen2-VL nur eine Rückrufrate von 43,9 auf dem COCO-Datensatz, was viele Aufgaben einschränkt, die die Kombination von Wahrnehmung und Verständnis erfordern. In dieser Arbeit zielen wir darauf ab, diese Wahrnehmungslücke aus Modellierungs- und Datenentwicklungsperspektiven zu überbrücken. Zunächst stellen wir ChatRex vor, ein MLLM mit einem entkoppelten Wahrnehmungsdesign. Anstatt dass das LLM direkt Box-Koordinaten vorhersagt, speisen wir die Ausgabeboxen eines universellen Vorschlagsnetzwerks in das LLM ein, sodass es die entsprechenden Boxindizes ausgibt, um seine Detektionsergebnisse darzustellen, wodurch die Regressionsaufgabe in eine abrufbasierte Aufgabe umgewandelt wird, die das LLM effizienter handhabt. Aus der Datenperspektive heraus bauen wir eine vollautomatisierte Datenengine auf und erstellen den Rexverse-2M-Datensatz, der mehrere Granularitäten aufweist, um das gemeinsame Training von Wahrnehmung und Verständnis zu unterstützen. Nach dem standardmäßigen zweistufigen Training zeigt ChatRex starke Wahrnehmungsfähigkeiten, während es die multimodale Verständnisleistung beibehält. Die Kombination dieser beiden Fähigkeiten schaltet gleichzeitig viele attraktive Anwendungen frei und zeigt die ergänzenden Rollen von Wahrnehmung und Verständnis in MLLM. Der Code ist verfügbar unter https://github.com/IDEA-Research/ChatRex.

Video-gesteuerte Foley-Sound-Erzeugung mit multimodalen Steuerelementen.
Video-Guided Foley Sound Generation with Multimodal Controls

Nov 26, 2024

Nov 27, 2024

Yifan Zhang

Bearbeite weg und mein Gesicht wird nicht bleiben: Persönliche biometrische Verteidigung gegen bösartige generative Bearbeitung
Edit Away and My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing

Nov 25, 2024

Hanhui Wang, Yihua Zhang, Ruizheng Bai, Yue Zhao, Sijia Liu, Zhengzhong Tu