Auto-encoders en Variational Autoencoders

Auto-encoders zijn neurale netwerken die ontworpen zijn om efficiënte representaties van data te leren via encodeer- en decodeerprocessen. Een standaard auto-encoder bestaat uit twee componenten:

1. Encoder: comprimeert invoergegevens tot een lager-dimensionale representatie.
2. Decoder: reconstrueert de oorspronkelijke data vanuit de gecomprimeerde representatie.

Traditionele auto-encoders leren deterministische mappings, wat betekent dat ze data comprimeren naar een vaste latente ruimte. Ze hebben echter moeite met het genereren van diverse uitkomsten, omdat hun latente ruimte structuur en vloeiendheid mist.

Verschillen tussen standaard auto-encoders en VAEs

Variational Autoencoders (VAEs) verbeteren standaard autoencoders door het introduceren van een probabilistische latente ruimte, waardoor gestructureerde en betekenisvolle generatie van nieuwe data mogelijk wordt.

Encoder-decoderstructuur en representatie van de latente ruimte

VAEs bestaan uit twee hoofdcomponenten:

1. Encoder: Zet de invoergegevens om naar een kansverdeling over een lager-dimensionale latente ruimte $z$.
2. Decoder: Maakt steekproeven uit de latente ruimte en reconstrueert de invoergegevens.

Wiskundige Formulering:

De encoder produceert een gemiddelde en variantie voor de latente ruimte:

waarbij:

• $\mu$ het gemiddelde van de latente ruimtedistributie voorstelt;
• $\sigma^2$ de variantie voorstelt;
• $f_\mu$ en $f_\sigma$ functies zijn geparametriseerd door $\theta$, doorgaans geïmplementeerd als neurale netwerken.

In plaats van deze parameters direct door te geven aan de decoder, wordt er gesampled uit een Gaussische distributie met behulp van de reparameterisatietruc:

waarbij:

• $\odot$ elementgewijze vermenigvuldiging voorstelt;
• $\epsilon$ een willekeurige variabele is getrokken uit een standaard normale verdeling.

Deze truc maakt het mogelijk om gradiënten door het samplingproces te laten propagateren, waardoor backpropagation mogelijk wordt. Zonder deze truc zou de stochastische samplingoperatie gradiënt-gebaseerd leren onmogelijk maken.

De decoder reconstrueert de invoer vanuit $z$ door het leren van een functie $g(z; \phi)$, die de parameters van de dataverdeling oplevert. Het decodernetwerk wordt getraind om het verschil tussen de gereconstrueerde en originele data te minimaliseren, wat zorgt voor reconstructies van hoge kwaliteit.

Probabilistisch modelleren in VAEs

VAEs zijn gebaseerd op Bayesiaanse inferentie, waarmee ze de relatie tussen geobserveerde data $x$ en latente variabelen $z$ kunnen modelleren met behulp van kansverdelingen. Het fundamentele principe is gebaseerd op de stelling van Bayes:

Omdat het berekenen van $p(x)$ integratie over alle mogelijke latente variabelen vereist, wat niet uitvoerbaar is, benaderen VAE's de posterior $p(z∣x)$ met een eenvoudigere functie $q(z∣x)$, waardoor efficiënte inferentie mogelijk wordt.

Evidence Lower Bound (ELBO)

In plaats van de niet-uitvoerbare marginale waarschijnlijkheid $p(x)$ te maximaliseren, maximaliseren VAE's de ondergrens hiervan, de Evidence Lower Bound (ELBO):

waarbij:

• De eerste term, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, is het reconstructieverlies, dat ervoor zorgt dat de output lijkt op de input;
• De tweede term, $D_{KL}(q(z|x)\ ||\ p(z))$, is de KL-divergentie, die de latente ruimte regulariseert door ervoor te zorgen dat $q(z∣x)$ dicht bij de prior $p(z)$ blijft.

Door deze twee termen in balans te brengen, bereiken VAE's een afweging tussen nauwkeurige reconstructies en soepele representaties van de latente ruimte.

Toepassingen van VAEs

1. Anomaliedetectie

VAEs kunnen de normale structuur van data leren. Bij het tegenkomen van afwijkende invoer heeft het model moeite om deze te reconstrueren, wat leidt tot hogere reconstructiefouten die gebruikt kunnen worden voor het detecteren van uitschieters.

2. Beeldsynthese

VAEs kunnen nieuwe beelden genereren door te sampelen uit de geleerde latente ruimte. Ze worden veel gebruikt in toepassingen zoals:

• Gezichtsgeneratie (bijv. het genereren van nieuwe menselijke gezichten);
• Stijltransfer (bijv. het combineren van artistieke stijlen).

3. Tekstgeneratie

VAEs kunnen worden aangepast voor natuurlijke taalverwerking (NLP)-taken, waarbij ze worden gebruikt om diverse en coherente tekstreeksen te genereren.

4. Geneesmiddelontdekking

VAEs zijn toegepast in bio-informatica en geneesmiddelontdekking, waar ze moleculaire structuren genereren met gewenste eigenschappen.

Conclusie

Variational Autoencoders vormen een krachtige klasse van generatieve modellen die probabilistische modellering introduceren bij autoencoders. Hun vermogen om diverse en realistische data te genereren heeft ze tot een fundamenteel onderdeel van moderne generatieve AI gemaakt.

In vergelijking met traditionele autoencoders bieden VAEs een gestructureerde latente ruimte, wat de generatieve mogelijkheden verbetert. Naarmate het onderzoek vordert, blijven VAEs een cruciale rol spelen in AI-toepassingen binnen computer vision, NLP en meer.