Variationale Autoencoder (VAEs)

Autoencoder und Variational Autoencoder

Autoencoder sind neuronale Netzwerke, die darauf ausgelegt sind, effiziente Repräsentationen von Daten durch Kodierungs- und Dekodierungsprozesse zu erlernen. Ein Standard-Autoencoder besteht aus zwei Komponenten:

1. Encoder: Komprimiert Eingabedaten in eine niedrigdimensionale Repräsentation.
2. Decoder: Rekonstruiert die Originaldaten aus der komprimierten Repräsentation.

Traditionelle Autoencoder lernen deterministische Abbildungen, das heißt, sie komprimieren Daten in einen festen latenten Raum. Sie haben jedoch Schwierigkeiten, vielfältige Ausgaben zu generieren, da ihrem latenten Raum Struktur und Glattheit fehlen.

Unterschiede zwischen Standard-Autoencodern und VAEs

Variational Autoencoders (VAEs) erweitern Standard-Autoencoder durch die Einführung eines wahrscheinlichkeitsbasierten latenten Raums, was eine strukturierte und sinnvolle Generierung neuer Daten ermöglicht.

Encoder-Decoder-Struktur und latente Raumdarstellung

VAEs bestehen aus zwei Hauptkomponenten:

1. Encoder: Ordnet die Eingabedaten einer Wahrscheinlichkeitsverteilung über einen niedrigdimensionalen latenten Raum $z$ zu.
2. Decoder: Entnimmt Stichproben aus dem latenten Raum und rekonstruiert die Eingabedaten.

Mathematische Formulierung:

Der Encoder erzeugt einen Mittelwert und eine Varianz für den latenten Raum:

wobei:

• $\mu$ den Mittelwert der latenten Raumverteilung darstellt;
• $\sigma^2$ die Varianz darstellt;
• $f_\mu$ und $f_\sigma$ Funktionen sind, die durch $\theta$ parametrisiert werden, typischerweise als neuronale Netze implementiert.

Anstatt diese Parameter direkt an den Decoder weiterzugeben, erfolgt eine Stichprobe aus einer Gaußschen Verteilung mithilfe des Reparametrisierungstricks:

wobei:

• $\odot$ steht für elementweise Multiplikation;
• $\epsilon$ ist eine Zufallsvariable, die aus einer Standardnormalverteilung gezogen wird.

Dieser Trick ermöglicht es, dass Gradienten durch den Sampling-Prozess propagiert werden, wodurch Backpropagation möglich wird. Ohne diesen Trick würde die stochastische Sampling-Operation das gradienbasierte Lernen unmöglich machen.

Der Decoder rekonstruiert die Eingabe aus $z$, indem er eine Funktion $g(z; \phi)$ lernt, die die Parameter der Datenverteilung ausgibt. Das Decoder-Netzwerk wird darauf trainiert, den Unterschied zwischen den rekonstruierten und den Originaldaten zu minimieren, um hochwertige Rekonstruktionen zu gewährleisten.

Probabilistisches Modellieren in VAEs

VAEs basieren auf der Bayesschen Inferenz, die es ihnen ermöglicht, die Beziehung zwischen beobachteten Daten $x$ und latenten Variablen $z$ mithilfe von Wahrscheinlichkeitsverteilungen zu modellieren. Das grundlegende Prinzip basiert auf dem Satz von Bayes:

Da die Berechnung von $p(x)$ eine Integration über alle möglichen latenten Variablen erfordert, was unpraktikabel ist, approximieren VAEs das Posterior $p(z∣x)$ mit einer einfacheren Funktion $q(z∣x)$ und ermöglichen so eine effiziente Inferenz.

Evidence Lower Bound (ELBO)

Anstatt die unpraktikable marginale Wahrscheinlichkeit $p(x)$ zu maximieren, maximieren VAEs deren untere Schranke, die als Evidence Lower Bound (ELBO) bezeichnet wird:

wobei gilt:

• Der erste Term, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, ist der Rekonstruktionsverlust und stellt sicher, dass die Ausgabe dem Eingang ähnelt;
• Der zweite Term, $D_{KL}(q(z|x)\ ||\ p(z))$, ist die KL-Divergenz, die den latenten Raum reguliert, indem sie sicherstellt, dass $q(z∣x)$ nahe an der Prior-Verteilung $p(z)$ bleibt.

Durch das Ausbalancieren dieser beiden Terme erreichen VAEs einen Kompromiss zwischen präzisen Rekonstruktionen und glatten latenten Raumdarstellungen.

Anwendungen von VAEs

1. Anomalieerkennung

VAEs können die normale Struktur von Daten erlernen. Beim Auftreten anomaler Eingaben hat das Modell Schwierigkeiten, diese zu rekonstruieren, was zu höheren Rekonstruktionsfehlern führt und zur Erkennung von Ausreißern genutzt werden kann.

2. Bildsynthese

VAEs können neue Bilder erzeugen, indem sie aus dem gelernten latenten Raum sampeln. Sie werden häufig in Anwendungen wie:

• Gesichtsgenerierung (z. B. Erzeugung neuer menschlicher Gesichter);
• Stiltransfer (z. B. Verschmelzung künstlerischer Stile).

3. Textgenerierung

VAEs können für Aufgaben der natürlichen Sprachverarbeitung (NLP) angepasst werden, wo sie zur Erzeugung vielfältiger und kohärenter Textsequenzen eingesetzt werden.

4. Arzneimittelentdeckung

VAEs werden in der Bioinformatik und Arzneimittelentdeckung eingesetzt, wo sie Molekülstrukturen mit gewünschten Eigenschaften generieren.

Fazit

Variational Autoencoders sind eine leistungsstarke Klasse generativer Modelle, die probabilistisches Modellieren in Autoencoder einführen. Ihre Fähigkeit, vielfältige und realistische Daten zu erzeugen, macht sie zu einem grundlegenden Bestandteil moderner generativer KI.

Im Vergleich zu traditionellen Autoencodern bieten VAEs einen strukturierten latenten Raum, was die Generierungsfähigkeiten verbessert. Mit dem Fortschritt der Forschung spielen VAEs weiterhin eine entscheidende Rolle in KI-Anwendungen in den Bereichen Computer Vision, NLP und darüber hinaus.