Compréhension de la génération basée sur la diffusion

Les modèles de diffusion sont un type puissant de modèle d'IA qui génèrent des données – en particulier des images – en apprenant à inverser un processus d'ajout de bruit aléatoire. Imaginez regarder une image nette devenir progressivement floue, comme des parasites sur une télévision. Un modèle de diffusion apprend à faire l'inverse : il prend des images bruitées et reconstruit l'image originale en supprimant le bruit étape par étape.

Le processus comprend deux phases principales :

• Processus direct (diffusion) : ajoute progressivement du bruit aléatoire à une image sur de nombreuses étapes, la corrompant jusqu'à obtenir un bruit pur ;
• Processus inverse (dénoyautage) : un réseau de neurones apprend à supprimer le bruit étape par étape, reconstruisant l'image originale à partir de la version bruitée.

Les modèles de diffusion sont reconnus pour leur capacité à produire des images de haute qualité et réalistes. Leur entraînement est généralement plus stable que celui des modèles tels que les GAN, ce qui les rend très attractifs dans l'IA générative moderne.

Modèles probabilistes de diffusion pour le débruitage (DDPM)

Les modèles probabilistes de diffusion pour le débruitage (DDPM) sont un type populaire de modèle de diffusion qui appliquent des principes probabilistes et l'apprentissage profond pour supprimer le bruit des images de manière progressive.

Processus direct

Dans le processus direct, on commence avec une image réelle $x_0$ et on ajoute progressivement du bruit gaussien sur $T$ pas de temps :

Où :

• $x_t$ : version bruitée de l'entrée à l'instant t ;
• $\beta_t$ : planning de faible variance contrôlant la quantité de bruit ajoutée ;
• $\mathcal{N}$ : distribution gaussienne.

On peut également exprimer le bruit total ajouté jusqu'à l'étape comme :

Où :

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Processus inverse

L'objectif du modèle est d'apprendre l'inverse de ce processus. Un réseau de neurones paramétré par $\theta$ prédit la moyenne et la variance de la distribution débruitée :

où :

• $x_t$ : image bruitée à l'instant $t$ ;
• $x_{t-1}$ : image prédite moins bruitée à l'instant $t-1$ ;
• $\mu_\theta$ : moyenne prédite par le réseau de neurones ;
• $\Sigma_\theta$ : variance prédite par le réseau de neurones.

Fonction de perte

L'entraînement consiste à minimiser la différence entre le bruit réel et le bruit prédit par le modèle à l'aide de l'objectif suivant :

où :

• $x_t$ : image d'entrée originale ;
• $\epsilon$ : bruit gaussien aléatoire ;
• $t$ : étape temporelle pendant la diffusion ;
• $\epsilon_\theta$ : prédiction du bruit par le réseau de neurones ;
• $\={\alpha}_t$ : produit des paramètres du planning de bruit jusqu'à l'étape $t$.

Cela aide le modèle à améliorer ses capacités de débruitage, augmentant ainsi sa capacité à générer des données réalistes.

Modélisation générative basée sur le score

Les modèles basés sur le score constituent une autre catégorie de modèles de diffusion. Au lieu d'apprendre directement le processus inverse du bruit, ils apprennent la fonction score :

où :

• $\nabla_x\log{p(x)}$ : gradient de la densité de log-vraisemblance par rapport à l'entrée $x$. Cela indique la direction d'augmentation de la vraisemblance selon la distribution des données ;
• $p(x)$ : distribution de probabilité des données.

Cette fonction indique au modèle dans quelle direction l'image doit évoluer pour ressembler davantage à des données réelles. Ces modèles utilisent ensuite une méthode d'échantillonnage telle que la dynamique de Langevin pour déplacer progressivement les données bruitées vers des régions de données à forte probabilité.

Les modèles basés sur le score fonctionnent souvent en temps continu à l'aide d'équations différentielles stochastiques (SDE). Cette approche continue offre une grande flexibilité et permet de générer des données de haute qualité pour divers types de données.

Applications dans la génération d’images haute résolution

Les modèles de diffusion ont révolutionné les tâches génératives, en particulier dans la génération visuelle haute résolution. Les applications notables incluent :

• Stable Diffusion : un modèle de diffusion latente qui génère des images à partir d’instructions textuelles. Il combine un modèle de débruitage basé sur U-Net avec un autoencodeur variationnel (VAE) pour opérer dans l’espace latent ;
• DALL·E 2 : combine des embeddings CLIP et un décodage basé sur la diffusion pour générer des images hautement réalistes et sémantiques à partir de texte ;
• MidJourney : une plateforme de génération d’images basée sur la diffusion, reconnue pour produire des visuels de haute qualité au style artistique à partir d’instructions abstraites ou créatives.

Ces modèles sont utilisés pour la génération artistique, la synthèse photoréaliste, l’inpainting, la super-résolution, et plus encore.

Résumé

Les modèles de diffusion définissent une nouvelle ère de modélisation générative en traitant la génération de données comme un processus stochastique inversé dans le temps. Grâce aux DDPM et aux modèles basés sur le score, ils atteignent un entraînement robuste, une qualité d’échantillon élevée et des résultats convaincants sur diverses modalités. Leur fondement dans les principes probabilistes et thermodynamiques les rend à la fois élégants sur le plan mathématique et puissants en pratique.