Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Die jüngsten Fortschritte in der personalisierten Bildgenerierung mit Diffusionsmodellen waren bedeutend. Die Entwicklung im Bereich der Open-Domain- und nicht-fine-tuning-basierten personalisierten Bildgenerierung schreitet jedoch eher langsam voran. In diesem Artikel schlagen wir Subject-Diffusion vor, ein neuartiges Open-Domain-Modell zur personalisierten Bildgenerierung, das nicht nur kein Testzeit-Fine-Tuning erfordert, sondern auch nur ein einziges Referenzbild benötigt, um die personalisierte Generierung von Einzel- oder Mehrfachsubjekten in beliebigen Domänen zu unterstützen. Zunächst erstellen wir ein automatisches Datenlabeling-Tool und verwenden den LAION-Aesthetics-Datensatz, um einen umfangreichen Datensatz zu konstruieren, der aus 76 Millionen Bildern sowie deren entsprechenden Subjekterkennungs-Bounding-Boxen, Segmentierungsmasken und Textbeschreibungen besteht. Zweitens entwerfen wir ein neues einheitliches Framework, das Text- und Bildsemantik kombiniert, indem es grobe Positionsinformationen und fein abgestimmte Referenzbildsteuerung integriert, um die Subjekttreue und Generalisierung zu maximieren. Darüber hinaus verwenden wir auch einen Aufmerksamkeitskontrollmechanismus, um die Generierung mehrerer Subjekte zu unterstützen. Umfangreiche qualitative und quantitative Ergebnisse zeigen, dass unsere Methode andere State-of-the-Art-Frameworks in der Einzel-, Mehrfach- und menschlich angepassten Bildgenerierung übertrifft. Weitere Informationen finden Sie auf unserer {Projektseite}: https://oppo-mente-lab.github.io/subject_diffusion/.
Neural Radiance Fields (NeRF) haben das Potenzial, eine bedeutende Darstellungsform von Medien zu werden. Da das Training eines NeRF nie eine einfache Aufgabe war, sollte der Schutz seines Modell-Urheberrechts Priorität haben. In diesem Artikel analysieren wir die Vor- und Nachteile möglicher Lösungen zum Urheberrechtsschutz und schlagen vor, das Urheberrecht von NeRF-Modellen zu schützen, indem die ursprüngliche Farbdarstellung in NeRF durch eine wassermarkierte Farbdarstellung ersetzt wird. Anschließend wird ein verzerrungsresistentes Rendering-Schema entwickelt, um eine robuste Nachrichtenextraktion in 2D-Renderings von NeRF zu gewährleisten. Unsere vorgeschlagene Methode kann das Urheberrecht von NeRF-Modellen direkt schützen, während sie im Vergleich zu alternativen Lösungen eine hohe Rendering-Qualität und Bitgenauigkeit beibehält.
Da die jüngsten Fortschritte bei Neural Radiance Fields (NeRF) hochauflösende 3D-Gesichtsrekonstruktionen und die Synthese neuer Ansichten ermöglicht haben, ist deren Manipulation ebenfalls zu einer wesentlichen Aufgabe in der 3D-Vision geworden. Bisherige Manipulationsmethoden erfordern jedoch einen erheblichen manuellen Aufwand, wie beispielsweise eine vom Benutzer bereitgestellte semantische Maske und eine manuelle Attributsuche, die für nicht-experimentierte Benutzer ungeeignet ist. Unser Ansatz hingegen ist darauf ausgelegt, lediglich einen einzigen Text zu benötigen, um ein mit NeRF rekonstruiertes Gesicht zu manipulieren. Dazu trainieren wir zunächst einen Szenenmanipulator, ein latentcode-bedingtes deformierbares NeRF, über eine dynamische Szene, um eine Gesichtsdeformation mithilfe des latenten Codes zu steuern. Die Darstellung einer Szenendeformation mit einem einzigen latenten Code ist jedoch für die Komposition lokaler Deformationen, die in verschiedenen Instanzen beobachtet werden, ungünstig. Daher lernt unser vorgeschlagener Position-conditional Anchor Compositor (PAC), eine manipulierte Szene mit räumlich variierenden latenten Codes darzustellen. Deren Renderings mit dem Szenenmanipulator werden anschließend optimiert, um eine hohe Kosinusähnlichkeit zu einem Zieltext im CLIP-Einbettungsraum für die textgesteuerte Manipulation zu erzielen. Nach unserem Wissen ist unser Ansatz der erste, der die textgesteuerte Manipulation eines mit NeRF rekonstruierten Gesichts behandelt. Umfangreiche Ergebnisse, Vergleiche und Ablationsstudien demonstrieren die Wirksamkeit unseres Ansatzes.
Trotz des bemerkenswerten Erfolgs von Diffusionsmodellen in der Bildgenerierung bleibt die langsame Abtastung ein anhaltendes Problem. Um den Abtastprozess zu beschleunigen, haben frühere Studien die Diffusionsabtastung als ODE/SDE neu formuliert und numerische Methoden höherer Ordnung eingeführt. Diese Methoden erzeugen jedoch oft Divergenzartefakte, insbesondere bei einer geringen Anzahl von Abtastschritten, was die erreichbare Beschleunigung begrenzt. In dieser Arbeit untersuchen wir die potenziellen Ursachen dieser Artefakte und vermuten, dass die kleinen Stabilitätsbereiche dieser Methoden die Hauptursache sein könnten. Um dieses Problem zu lösen, schlagen wir zwei neuartige Techniken vor. Die erste Technik beinhaltet die Einbindung von Heavy Ball (HB)-Impuls, einer bekannten Technik zur Verbesserung der Optimierung, in bestehende numerische Diffusionsmethoden, um deren Stabilitätsbereiche zu erweitern. Wir beweisen auch, dass die resultierenden Methoden eine Konvergenz erster Ordnung aufweisen. Die zweite Technik, genannt Generalized Heavy Ball (GHVB), konstruiert eine neue Methode höherer Ordnung, die einen variablen Kompromiss zwischen Genauigkeit und Artefaktunterdrückung bietet. Experimentelle Ergebnisse zeigen, dass unsere Techniken sehr effektiv darin sind, Artefakte zu reduzieren und die Bildqualität zu verbessern, und dabei state-of-the-art Diffusionslöser sowohl bei pixelbasierten als auch latentbasierten Diffusionsmodellen für die Abtastung mit wenigen Schritten übertreffen. Unsere Forschung bietet neue Einblicke in die Gestaltung numerischer Methoden für zukünftige Diffusionsarbeiten.