Variationsautoenkodare (VAE)

Autoenkodare och Variational Autoencoders

Autoenkodare är neurala nätverk utformade för att lära sig effektiva representationer av data genom kodnings- och avkodningsprocesser. En standardautoenkodare består av två komponenter:

1. Kodare: komprimerar indata till en representation med lägre dimension.
2. Avkodare: återskapar den ursprungliga datan från den komprimerade representationen.

Traditionella autoenkodare lär sig deterministiska avbildningar, vilket innebär att de komprimerar data till ett fast latent utrymme. De har dock svårt att generera varierade utdata, eftersom deras latenta utrymme saknar struktur och jämnhet.

Skillnader mellan standardautoenkodare och VAE

Variational Autoencoders (VAEs) förbättrar standardautoencoders genom att införa ett sannolikhetsbaserat latent utrymme, vilket möjliggör strukturerad och meningsfull generering av ny data.

Encoder-Decoder-struktur och latent rumsrepresentation

VAEs består av två huvudkomponenter:

1. Encoder: Kartlägger indata till en sannolikhetsfördelning över ett lägre-dimensionellt latent utrymme $z$.
2. Decoder: Samplar från det latenta utrymmet och rekonstruerar indata.

Matematisk formulering:

Kodaren genererar ett medelvärde och en varians för det latenta utrymmet:

där:

• $\mu$ representerar medelvärdet för den latenta rumsfördelningen;
• $\sigma^2$ representerar variansen;
• $f_\mu$ och $f_\sigma$ är funktioner parameteriserade av $\theta$, vanligtvis implementerade som neurala nätverk.

Istället för att direkt skicka dessa parametrar till dekodern, sampelar vi från en Gaussisk fördelning med hjälp av reparameteriseringstricket:

där:

• $\odot$ representerar elementvis multiplikation;
• $\epsilon$ är en slumpvariabel dragen från en standard normalfördelning.

Detta trick möjliggör att gradienter kan propagera genom samplingsprocessen, vilket gör backpropagation möjlig. Utan detta trick skulle den stokastiska samplingsoperationen göra gradientbaserat lärande ogenomförbart.

Dekodern rekonstruerar indata från $z$ genom att lära sig en funktion $g(z; \phi)$, som returnerar parametrarna för datadistributionen. Dekodernätverket tränas för att minimera skillnaden mellan den rekonstruerade och ursprungliga datan, vilket säkerställer högkvalitativa rekonstruktioner.

Sannolikhetsmodellering i VAE:er

VAE:er bygger på Bayesiansk inferens, vilket gör det möjligt att modellera relationen mellan observerad data $x$ och latenta variabler $z$ med hjälp av sannolikhetsfördelningar. Den grundläggande principen baseras på Bayes sats:

Eftersom beräkningen av $p(x)$ kräver integrering över alla möjliga latenta variabler, vilket är oöverkomligt, approximerar VAE:er den posteriora $p(z∣x)$ med en enklare funktion $q(z∣x)$, vilket möjliggör effektiv inferens.

Evidence Lower Bound (ELBO)

Istället för att maximera den oöverkomliga marginella sannolikheten $p(x)$, maximerar VAE:er dess undre gräns, kallad Evidence Lower Bound (ELBO):

där:

• Den första termen, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, är rekonstruktionsförlusten, vilket säkerställer att utdata liknar indata;
• Den andra termen, $D_{KL}(q(z|x)\ ||\ p(z))$, är KL-divergensen, som regulariserar det latenta utrymmet genom att säkerställa att $q(z∣x)$ ligger nära priorfördelningen $p(z)$.

Genom att balansera dessa två termer uppnår VAE:er en avvägning mellan noggranna rekonstruktioner och jämna latenta representationer.

Tillämpningar av VAE:er

1. Anomaliupptäckt

VAE:er kan lära sig den normala strukturen i data. Vid möte med avvikande indata har modellen svårt att rekonstruera dessa, vilket leder till högre rekonstruktionsfel som kan användas för att upptäcka avvikelser.

2. Bildsyntes

VAE:er kan generera nya bilder genom sampling från det inlärda latenta rummet. De används ofta i tillämpningar som:

• Ansiktsgenerering (t.ex. generering av nya mänskliga ansikten);
• Stilöverföring (t.ex. blandning av konstnärliga stilar).

3. Textgenerering

VAE:er kan anpassas för naturlig språkbehandling (NLP), där de används för att generera varierade och sammanhängande textsekvenser.

4. Läkemedelsupptäckt

VAE:er har tillämpats inom bioinformatik och läkemedelsupptäckt, där de genererar molekylstrukturer med önskade egenskaper.

Slutsats

Variational Autoencoders är en kraftfull klass av generativa modeller som introducerar probabilistisk modellering till autoencoders. Deras förmåga att generera varierad och realistisk data har gjort dem till en grundläggande komponent inom modern generativ AI.

Jämfört med traditionella autoencoders erbjuder VAE:er ett strukturerat latent rum, vilket förbättrar de generativa möjligheterna. I takt med att forskningen går framåt fortsätter VAE:er att spela en avgörande roll i AI-tillämpningar inom datorseende, NLP och mer därtill.