Autokooderit ja variaatiolliset autokooderit

Autokooderit ovat neuroverkkoja, jotka on suunniteltu oppimaan tehokkaita esityksiä datasta koodaus- ja dekoodausprosessien avulla. Tavallinen autokooderi koostuu kahdesta osasta:

1. Kooderi: pakkaa syötteen matalamman ulottuvuuden esitykseksi.
2. Dekooderi: rekonstruoi alkuperäisen datan pakatusta esityksestä.

Perinteiset autokooderit oppivat deterministisiä kuvauksia, eli ne pakkaavat datan kiinteään latenttiin tilaan. Ne kuitenkin kohtaavat haasteita monipuolisten tulosten tuottamisessa, sillä niiden latentti tila on rakenteeton ja epäsileä.

Erot perinteisten autokoodereiden ja VAE-mallien välillä

Variational Autoencoders (VAE:t) parantavat tavallisia autoenkoodereita ottamalla käyttöön todennäköisyyspohjaisen latenttitilan, mikä mahdollistaa uuden datan rakenteellisen ja merkityksellisen generoinnin.

Kooderin ja dekooderin rakenne sekä latenttitilan esitys

VAE:t koostuvat kahdesta pääosasta:

1. Kooderi: Määrittää syötteen todennäköisyysjakaumaksi alemman ulottuvuuden latenttitilassa $z$.
2. Dekooderi: Näytteistää latenttitilasta ja rekonstruoi syötteen.

Matemaattinen muotoilu:

Kooderi tuottaa latenttitilan keskiarvon ja varianssin:

missä:

• $\mu$ tarkoittaa latenttitilan jakauman keskiarvoa;
• $\sigma^2$ tarkoittaa varianssia;
• $f_\mu$ ja $f_\sigma$ ovat funktioita, jotka on parametrisoitu $\theta$:lla, ja ne toteutetaan tyypillisesti neuroverkoilla.

Sen sijaan, että nämä parametrit syötettäisiin suoraan dekooderille, otetaan näyte Gaussin jakaumasta käyttäen reparametrisointikikkaa:

missä:

• $\odot$ tarkoittaa alkioittaista kertolaskua;
• $\epsilon$ on satunnaismuuttuja, joka on otettu standardinormaalijakaumasta.

Tämä menetelmä mahdollistaa gradienttien kulun näytteenoton läpi, mikä tekee takaisinkulun mahdolliseksi. Ilman tätä menetelmää stokastinen näytteenotto estäisi gradienttipohjaisen oppimisen.

Dekooderi rekonstruoi syötteen $z$:stä oppimalla funktion $g(z; \phi)$, joka tuottaa datanjakauman parametrit. Dekooderiverkkoa koulutetaan minimoimaan rekonstruoidun ja alkuperäisen datan välinen ero, mikä varmistaa korkealaatuiset rekonstruktiot.

Todennäköisyyspohjainen mallinnus VAE-malleissa

VAE-mallit perustuvat bayesilaiseen päättelyyn, jonka avulla ne voivat mallintaa havaittujen tietojen $x$ ja latenttien muuttujien $z$ välistä suhdetta todennäköisyysjakaumien avulla. Perusperiaate perustuu Bayesin kaavaan:

Koska $p(x)$ laskeminen vaatii integrointia kaikkien mahdollisten piilevien muuttujien yli, mikä on laskennallisesti mahdotonta, VAE:t approksimoivat posteriorin $p(z∣x)$ yksinkertaisemmalla funktiolla $q(z∣x)$, mahdollistaen tehokkaan päättelyn.

Evidence Lower Bound (ELBO)

Sen sijaan, että maksimoitaisiin vaikeasti laskettava marginaalinen todennäköisyys $p(x)$, VAE:t maksimoivat sen alarajan, jota kutsutaan nimellä Evidence Lower Bound (ELBO):

missä:

• Ensimmäinen termi, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, on rekonstruointihäviö, joka varmistaa, että ulostulo muistuttaa syötettä;
• Toinen termi, $D_{KL}(q(z|x)\ ||\ p(z))$, on KL-divergenssi, joka säännöllistää piilevää tilaa varmistamalla, että $q(z∣x)$ pysyy lähellä prioria $p(z)$.

Tasapainottamalla näitä kahta termiä VAE:t saavuttavat kompromissin tarkan rekonstruoinnin ja sujuvan piilevän tilan esityksen välillä.

VAE-mallien sovellukset

1. Poikkeavuuksien tunnistus

VAE-mallit voivat oppia datan normaalin rakenteen. Kohdatessaan poikkeavia syötteitä malli ei kykene rekonstruoimaan niitä hyvin, mikä johtaa korkeampiin rekonstruktio-virheisiin. Tätä voidaan hyödyntää poikkeamien tunnistuksessa.

2. Kuvien synteesi

VAE-mallit voivat generoida uusia kuvia ottamalla näytteitä opitusta latentista tilasta. Niitä käytetään laajasti sovelluksissa kuten:

• Kasvojen generointi (esim. uusien ihmiskasvojen luominen);
• Tyylinsiirto (esim. taiteellisten tyylien yhdistäminen).

3. Tekstin generointi

VAE-malleja voidaan soveltaa luonnollisen kielen käsittelyn (NLP) tehtäviin, joissa niitä käytetään tuottamaan monipuolisia ja johdonmukaisia tekstijonoja.

4. Lääkeaineiden kehitys

VAE-malleja on hyödynnetty bioinformatiikassa ja lääkeaineiden kehityksessä, joissa ne tuottavat molekyylirakenteita halutuilla ominaisuuksilla.

Yhteenveto

Variational Autoencoderit ovat tehokas generatiivisten mallien luokka, joka tuo todennäköisyysmallinnuksen osaksi autoencodereita. Niiden kyky tuottaa monipuolista ja realistista dataa on tehnyt niistä keskeisen osan modernia generatiivista tekoälyä.

Perinteisiin autoencodereihin verrattuna VAE-mallit tarjoavat rakenteellisen latenttitilan, mikä parantaa generointikykyjä. Tutkimuksen edetessä VAE-mallit jatkavat tärkeää roolia tekoälysovelluksissa, kattaen tietokonenäön, NLP:n ja muut alueet.