Diffusiemodellen en probabilistische generatieve benaderingen

Inzicht in diffusie-gebaseerde generatie

Diffusiemodellen zijn een krachtig type AI-model dat data genereert – vooral afbeeldingen – door te leren hoe een proces van het toevoegen van willekeurige ruis om te keren. Stel je voor dat je een heldere afbeelding langzaam ziet vervagen tot ruis, zoals statisch beeld op een tv. Een diffusiemodel leert het tegenovergestelde te doen: het neemt afbeeldingen met ruis en reconstrueert stap voor stap het oorspronkelijke beeld door de ruis te verwijderen.

Het proces bestaat uit twee hoofd fasen:

• Voorwaarts proces (diffusie): voegt geleidelijk willekeurige ruis toe aan een afbeelding over meerdere stappen, waardoor deze wordt omgevormd tot pure ruis;
• Omgekeerd proces (denoising): een neuraal netwerk leert de ruis stap voor stap te verwijderen, waardoor het oorspronkelijke beeld uit de ruis wordt gereconstrueerd.

Diffusiemodellen staan bekend om hun vermogen om afbeeldingen van hoge kwaliteit en realisme te produceren. De training is doorgaans stabieler in vergelijking met modellen zoals GANs, wat ze zeer aantrekkelijk maakt in moderne generatieve AI.

Denoising Diffusion Probabilistische Modellen (DDPMs)

Denoising diffusion probabilistische modellen (DDPMs) zijn een populair type diffusie model dat probabilistische principes en deep learning toepast om ruis uit afbeeldingen stapsgewijs te verwijderen.

Voorwaarts Proces

In het voorwaartse proces beginnen we met een echte afbeelding $x_0$ en voegen we geleidelijk Gaussische ruis toe over $T$ tijdstappen:

Waarbij:

• $x_t$: ruisversie van de input op tijdstap;
• $\beta_t$: klein variantieschema dat bepaalt hoeveel ruis wordt toegevoegd;
• $\mathcal{N}$: Gaussische verdeling.

We kunnen de totale toegevoegde ruis tot stap ook uitdrukken als:

Waarbij:

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Omgekeerd proces

Het doel van het model is om het omgekeerde van dit proces te leren. Een neuraal netwerk geparametriseerd door $\theta$ voorspelt het gemiddelde en de variantie van de gedenoisede verdeling:

waarbij:

• $x_t$: ruisachtig beeld op tijdstip $t$;
• $x_{t-1}$: voorspeld minder ruisachtig beeld op stap $t-1$;
• $\mu_\theta$: voorspeld gemiddelde door het neuraal netwerk;
• $\Sigma_\theta$: voorspelde variantie door het neuraal netwerk.

Verliesfunctie

Training omvat het minimaliseren van het verschil tussen de werkelijke ruis en de door het model voorspelde ruis met behulp van het volgende doel:

waarbij:

• $x_t$: originele invoerafbeelding;
• $\epsilon$: willekeurige Gaussische ruis;
• $t$: tijdstap tijdens diffusie;
• $\epsilon_\theta$: voorspelling van ruis door het neuraal netwerk;
• $\={\alpha}_t$: product van ruisparameters tot stap $t$.

Dit helpt het model beter te worden in het verwijderen van ruis, waardoor het vermogen om realistische data te genereren verbetert.

Score-gebaseerde generatieve modellering

Score-gebaseerde modellen vormen een andere klasse van diffusie modellen. In plaats van direct het omgekeerde ruisproces te leren, leren ze de scorefunctie:

waarbij:

• $\nabla_x\log{p(x)}$: de gradiënt van de log-kansdichtheid ten opzichte van invoer $x$. Dit wijst in de richting van toenemende waarschijnlijkheid onder de dataverdeling;
• $p(x)$: de kansverdeling van de data.

Deze functie geeft het model aan in welke richting het beeld moet bewegen om meer op echte data te lijken. Deze modellen gebruiken vervolgens een bemonsteringsmethode zoals Langevin-dynamica om ruisachtige data geleidelijk naar gebieden met hoge waarschijnlijkheid te bewegen.

Score-gebaseerde modellen werken vaak in continue tijd met behulp van stochastische differentiaalvergelijkingen (SDE's). Deze continue benadering biedt flexibiliteit en kan hoogwaardige generaties opleveren voor verschillende datatypes.

Toepassingen bij hoge-resolutie beeldgeneratie

Diffusiemodellen hebben generatieve taken getransformeerd, vooral bij het genereren van beelden met hoge resolutie. Belangrijke toepassingen zijn onder andere:

• Stable Diffusion: een latent diffusie model dat beelden genereert op basis van tekstprompts. Het combineert een U-Net-gebaseerd denoising model met een variational autoencoder (VAE) om in de latente ruimte te werken;
• DALL·E 2: combineert CLIP-embeddings en diffusiegebaseerde decodering om zeer realistische en semantische beelden te genereren vanuit tekst;
• MidJourney: een diffusiegebaseerd beeldgeneratieplatform dat bekend staat om het produceren van hoogwaardige, artistiek gestileerde visuals op basis van abstracte of creatieve prompts.

Deze modellen worden gebruikt voor kunstgeneratie, fotorealistische synthese, inpainting, superresolutie en meer.

Samenvatting

Diffusiemodellen markeren een nieuw tijdperk in generatieve modellering door datageneratie te benaderen als een omgekeerd stochastisch proces in de tijd. Via DDPM's en score-gebaseerde modellen bereiken ze robuuste training, hoge samplekwaliteit en indrukwekkende resultaten over diverse modaliteiten. Hun basis in probabilistische en thermodynamische principes maakt ze zowel wiskundig elegant als praktisch krachtig.