Diffuusiomallit ja Probabilistiset Generatiiviset Lähestymistavat

Diffuusiopohjaisen generoinnin ymmärtäminen

Diffuusiomallit ovat tehokkaita tekoälymalleja, jotka tuottavat dataa – erityisesti kuvia – oppimalla, miten satunnaisen kohinan lisäämisen prosessi voidaan kääntää päinvastaiseksi. Kuvittele, että katsot puhdasta kuvaa, joka vähitellen muuttuu epäselväksi kuin television lumisade. Diffuusiomalli oppii tekemään päinvastoin: se ottaa kohinaisia kuvia ja rekonstruoi alkuperäisen kuvan poistamalla kohinaa vaihe vaiheelta.

Prosessi sisältää kaksi päävaihetta:

• Etenevä prosessi (diffuusio): lisää vähitellen satunnaista kohinaa kuvaan useiden vaiheiden aikana, kunnes kuva muuttuu täysin kohinaiseksi;
• Käänteinen prosessi (kohinanpoisto): neuroverkko oppii poistamaan kohinan vaihe vaiheelta, rekonstruoiden alkuperäisen kuvan kohinaisesta versiosta.

Diffuusiomallit tunnetaan kyvystään tuottaa korkealaatuisia, realistisia kuvia. Niiden koulutus on tyypillisesti vakaampaa verrattuna esimerkiksi GAN-malleihin, mikä tekee niistä erittäin houkuttelevia nykyaikaisessa generatiivisessa tekoälyssä.

Denoising Diffusion Probabilistic Models (DDPM:t)

Denoising diffusion probabilistic models (DDPM:t) ovat suosittu diffuusiomallien tyyppi, jotka hyödyntävät todennäköisyyslaskentaa ja syväoppimista poistaakseen kohinaa kuvista vaiheittain.

Etenemisprosessi

Etenemisprosessissa aloitetaan aidosta kuvasta $x_0$ ja lisätään Gaussin kohinaa asteittain $T$ aikavälin aikana:

Missä:

• $x_t$: syötteen kohinainen versio aikavälillä;
• $\beta_t$: pieni varianssiaikataulu, joka määrittää lisättävän kohinan määrän;
• $\mathcal{N}$: Gaussin jakauma.

Kokonaiskohinan määrän tiettyyn askeleeseen asti voidaan ilmaista myös seuraavasti:

Missä:

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Käänteinen prosessi

Mallin tavoitteena on oppia tämän prosessin käänteinen suunta. Neuroverkko, jonka parametreina on $\theta$, ennustaa denoisoidun jakauman keskiarvon ja varianssin:

missä:

• $x_t$: kohinainen kuva ajanhetkellä $t$;
• $x_{t-1}$: ennustettu vähemmän kohinainen kuva askeleella $t-1$;
• $\mu_\theta$: neuroverkon ennustama keskiarvo;
• $\Sigma_\theta$: neuroverkon ennustama varianssi.

Tappiofunktio

Koulutus perustuu todellisen kohinan ja mallin ennustaman kohinan välisen eron minimointiin seuraavan tavoitteen avulla:

missä:

• $x_t$: alkuperäinen syötekuva;
• $\epsilon$: satunnainen Gaussin kohina;
• $t$: diffuusion aikaleima;
• $\epsilon_\theta$: neuroverkon kohinaennuste;
• $\={\alpha}_t$: kohina-aikataulun parametrien tulo askeleeseen $t$ asti.

Tämä auttaa mallia parantamaan denoisauskykyään ja tuottamaan realistisempaa dataa.

Score-pohjainen generatiivinen mallinnus

Score-pohjaiset mallit ovat toinen diffuusiomallien luokka. Sen sijaan, että ne oppisivat suoraan käänteisen kohinaprosessin, ne oppivat score-funktion:

missä:

• $\nabla_x\log{p(x)}$: log-todennäköisyystiheyden gradientti syötteen $x$ suhteen. Tämä osoittaa siihen suuntaan, jossa datan jakauman todennäköisyys kasvaa;
• $p(x)$: datan todennäköisyysjakauma.

Tämä funktio kertoo mallille, mihin suuntaan kuvaa tulisi siirtää, jotta siitä tulisi enemmän todellista dataa muistuttava. Näissä malleissa käytetään sitten näytteenottomenetelmää, kuten Langevin-dynamiikkaa, jolla kohinaista dataa siirretään asteittain kohti korkean todennäköisyyden alueita.

Score-pohjaiset mallit toimivat usein jatkuvassa ajassa käyttäen stokastisia differentiaaliyhtälöitä (SDE). Tämä jatkuva lähestymistapa tarjoaa joustavuutta ja mahdollistaa korkealaatuisen generoinnin erilaisille datatyypeille.

Sovellukset korkean resoluution kuvageneroinnissa

Diffuusiomallit ovat mullistaneet generatiiviset tehtävät, erityisesti korkean resoluution visuaalisessa generoinnissa. Merkittäviä sovelluksia ovat:

• Stable Diffusion: latenttidiffuusiomalli, joka tuottaa kuvia tekstisyötteistä. Se yhdistää U-Net-pohjaisen denoising-mallin ja variational autoencoderin (VAE) toimiakseen latentissa tilassa;
• DALL·E 2: yhdistää CLIP-upotukset ja diffuusiopohjaisen dekoodauksen tuottaakseen erittäin realistisia ja semanttisia kuvia tekstistä;
• MidJourney: Diffuusiopohjainen kuvagenerointialusta, joka tunnetaan korkealaatuisten, taiteellisesti tyyliteltyjen visuaalien tuottamisesta abstrakteista tai luovista syötteistä.

Näitä malleja käytetään taiteen generoinnissa, fotorealistisessa synteesissä, inpaintingissa, super-resoluutiossa ja muissa sovelluksissa.

Yhteenveto

Diffuusiomallit määrittelevät uuden aikakauden generatiivisessa mallinnuksessa käsittelemällä datan generointia käänteisenä stokastisena prosessina. DDPM- ja score-pohjaisten mallien avulla saavutetaan vankka oppiminen, korkea näyteiden laatu ja vaikuttavia tuloksia eri modaliteeteissa. Niiden pohjautuminen todennäköisyys- ja termodynamiikan periaatteisiin tekee niistä sekä matemaattisesti elegantteja että käytännössä tehokkaita.