Verständnis der Diffusionsbasierten Generierung

Diffusionsmodelle sind eine leistungsstarke Art von KI-Modellen, die Daten – insbesondere Bilder – erzeugen, indem sie lernen, einen Prozess des Hinzufügens von zufälligem Rauschen umzukehren. Man kann sich vorstellen, wie ein klares Bild allmählich unscharf wird, ähnlich wie das Rauschen auf einem Fernseher. Ein Diffusionsmodell lernt das Gegenteil: Es nimmt verrauschte Bilder und rekonstruiert das ursprüngliche Bild, indem es Schritt für Schritt das Rauschen entfernt.

Der Prozess umfasst zwei Hauptphasen:

• Vorwärtsprozess (Diffusion): Fügt einem Bild schrittweise zufälliges Rauschen hinzu, bis es vollständig in Rauschen übergeht;
• Rückwärtsprozess (Denoising): Ein neuronales Netzwerk lernt, das Rauschen Schritt für Schritt zu entfernen und das ursprüngliche Bild aus der verrauschten Version zu rekonstruieren.

Diffusionsmodelle sind bekannt für ihre Fähigkeit, hochwertige, realistische Bilder zu erzeugen. Ihr Training ist in der Regel stabiler als bei Modellen wie GANs, was sie in der modernen generativen KI sehr attraktiv macht.

Denoising Diffusion Probabilistic Models (DDPMs)

Denoising Diffusion Probabilistic Models (DDPMs) sind eine beliebte Art von Diffusionsmodellen, die probabilistische Prinzipien und Deep Learning anwenden, um Rauschen schrittweise aus Bildern zu entfernen.

Vorwärtsprozess

Im Vorwärtsprozess beginnt man mit einem realen Bild $x_0$ und fügt schrittweise über $T$ Zeitschritte hinweg gaußsches Rauschen hinzu:

Dabei gilt:

• $x_t$: verrauschte Version des Eingabebildes zum jeweiligen Zeitschritt;
• $\beta_t$: kleine Varianzfolge, die steuert, wie viel Rauschen hinzugefügt wird;
• $\mathcal{N}$: Gaußsche Verteilung.

Die insgesamt bis zu einem Schritt hinzugefügte Rauschmenge lässt sich auch wie folgt ausdrücken:

Dabei gilt:

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Umkehrprozess

Das Ziel des Modells ist es, den Umkehrprozess zu erlernen. Ein neuronales Netzwerk, parametrisiert durch $\theta$, sagt den Mittelwert und die Varianz der entrauschten Verteilung voraus:

wobei:

• $x_t$: verrauschtes Bild zum Zeitpunkt $t$;
• $x_{t-1}$: vorhergesagtes, weniger verrauschtes Bild zum Zeitpunkt $t-1$;
• $\mu_\theta$: vorhergesagter Mittelwert aus dem neuronalen Netzwerk;
• $\Sigma_\theta$: vorhergesagte Varianz aus dem neuronalen Netzwerk.

Verlustfunktion

Das Training beinhaltet die Minimierung der Differenz zwischen dem tatsächlichen Rauschen und dem vom Modell vorhergesagten Rauschen mit folgendem Ziel:

wobei:

• $x_t$: ursprüngliches Eingabebild;
• $\epsilon$: zufälliges Gaußsches Rauschen;
• $t$: Zeitschritt während der Diffusion;
• $\epsilon_\theta$: Vorhersage des Rauschens durch das neuronale Netzwerk;
• $\={\alpha}_t$: Produkt der Rauschplan-Parameter bis zum Schritt $t$.

Dies hilft dem Modell, besser beim Entrauschen zu werden und verbessert seine Fähigkeit, realistische Daten zu generieren.

Score-basierte generative Modellierung

Score-basierte Modelle sind eine weitere Klasse von Diffusionsmodellen. Anstatt den umgekehrten Rauschprozess direkt zu erlernen, lernen sie die Score-Funktion:

wobei:

• $\nabla_x\log{p(x)}$: der Gradient der Log-Wahrscheinlichkeitsdichte bezüglich des Eingabewerts $x$. Dieser zeigt in die Richtung zunehmender Wahrscheinlichkeit unter der Datenverteilung;
• $p(x)$: die Wahrscheinlichkeitsverteilung der Daten.

Diese Funktion gibt dem Modell an, in welche Richtung das Bild verändert werden sollte, um den realen Daten ähnlicher zu werden. Diese Modelle verwenden dann eine Abtastmethode wie die Langevin-Dynamik, um verrauschte Daten schrittweise in Bereiche hoher Wahrscheinlichkeit zu bewegen.

Score-basierte Modelle arbeiten häufig in kontinuierlicher Zeit unter Verwendung von stochastischen Differentialgleichungen (SDEs). Dieser kontinuierliche Ansatz bietet Flexibilität und ermöglicht hochwertige Generierungen für verschiedene Datentypen.

Anwendungen in der hochauflösenden Bildgenerierung

Diffusionsmodelle haben generative Aufgaben revolutioniert, insbesondere bei der hochauflösenden visuellen Generierung. Bedeutende Anwendungen sind:

• Stable Diffusion: ein latentes Diffusionsmodell, das Bilder aus Textanweisungen generiert. Es kombiniert ein U-Net-basiertes Denoising-Modell mit einem Variational Autoencoder (VAE), um im latenten Raum zu arbeiten;
• DALL·E 2: kombiniert CLIP-Embeddings und diffusionsbasierte Dekodierung, um hochrealistische und semantische Bilder aus Text zu erzeugen;
• MidJourney: Eine diffusionsbasierte Bildgenerierungsplattform, die für qualitativ hochwertige, künstlerisch gestaltete Visualisierungen aus abstrakten oder kreativen Vorgaben bekannt ist.

Diese Modelle werden in der Kunstgenerierung, fotorealistischen Synthese, Inpainting, Super-Resolution und mehr eingesetzt.

Zusammenfassung

Diffusionsmodelle definieren eine neue Ära der generativen Modellierung, indem sie die Datengenerierung als stochastischen Prozess in umgekehrter Zeit betrachten. Durch DDPMs und score-basierte Modelle erreichen sie robustes Training, hohe Stichprobenqualität und überzeugende Ergebnisse über verschiedene Modalitäten hinweg. Ihre Verankerung in probabilistischen und thermodynamischen Prinzipien macht sie sowohl mathematisch elegant als auch praktisch leistungsfähig.