Розуміння генерації на основі дифузії

Дифузійні моделі — це потужний тип моделей штучного інтелекту, які генерують дані, особливо зображення, навчаючись зворотному процесу додавання випадкового шуму. Уявіть, що ви спостерігаєте, як чисте зображення поступово стає розмитим, як статичний шум на телевізорі. Дифузійна модель навчається робити протилежне: вона бере зашумлені зображення та крок за кроком відновлює оригінальне зображення, видаляючи шум.

Процес включає дві основні фази:

• Прямий процес (дифузія): поступово додає випадковий шум до зображення протягом багатьох кроків, перетворюючи його на чистий шум;
• Зворотний процес (денойзинг): нейронна мережа навчається крок за кроком видаляти шум, відновлюючи оригінальне зображення з зашумленої версії.

Дифузійні моделі відомі своєю здатністю створювати високоякісні, реалістичні зображення. Їхнє навчання зазвичай є більш стабільним порівняно з такими моделями, як GAN, що робить їх дуже привабливими в сучасному генеративному ШІ.

Денойзингові дифузійні ймовірнісні моделі (DDPM)

Денойзингові дифузійні ймовірнісні моделі (DDPM) — це популярний різновид дифузійних моделей, які застосовують ймовірнісні принципи та глибоке навчання для поетапного видалення шуму із зображень.

Прямий процес

У прямому процесі починаємо зі справжнього зображення $x_0$ і поступово додаємо гаусівський шум протягом $T$ кроків часу:

Де:

• $x_t$: зашумлена версія вхідних даних на відповідному кроці часу;
• $\beta_t$: розклад малої дисперсії, що визначає кількість доданого шуму;
• $\mathcal{N}$: гаусівський розподіл.

Загальний шум, доданий до кроку , можна також виразити як:

Де:

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Зворотний процес

Мета моделі — навчитися оберненому процесу. Нейронна мережа, параметризована $\theta$, прогнозує середнє та дисперсію денойзованого розподілу:

де:

• $x_t$: зашумлене зображення на кроці часу $t$;
• $x_{t-1}$: прогнозоване менш зашумлене зображення на кроці $t-1$;
• $\mu_\theta$: прогнозоване середнє від нейронної мережі;
• $\Sigma_\theta$: прогнозована дисперсія від нейронної мережі.

Функція втрат

Навчання полягає у мінімізації різниці між фактичним шумом і шумом, передбаченим моделлю, за допомогою наступної цільової функції:

де:

• $x_t$: оригінальне вхідне зображення;
• $\epsilon$: випадковий гаусівський шум;
• $t$: крок часу під час дифузії;
• $\epsilon_\theta$: прогноз шуму нейронною мережею;
• $\={\alpha}_t$: добуток параметрів графіка шуму до кроку $t$.

Це допомагає моделі краще видаляти шум, підвищуючи її здатність генерувати реалістичні дані.

Генеративне моделювання на основі скору

Скор-базовані моделі — це ще один клас дифузійних моделей. Замість прямого навчання оберненого процесу шуму, вони навчаються скор-функції:

де:

• $\nabla_x\log{p(x)}$: градієнт логарифмічної ймовірності за вхідним $x$. Вказує напрямок збільшення ймовірності у розподілі даних;
• $p(x)$: ймовірнісний розподіл даних.

Ця функція вказує моделі, у якому напрямку зображення має змінюватися, щоб стати більш схожим на реальні дані. Такі моделі використовують метод вибірки, наприклад, динаміку Ланжевена, щоб поступово переміщати зашумлені дані до областей з високою ймовірністю.

Скор-базовані моделі часто працюють у неперервному часі з використанням стохастичних диференціальних рівнянь (SDEs). Такий підхід забезпечує гнучкість і дозволяє отримувати високоякісні генерації для різних типів даних.

Застосування для генерації зображень високої роздільної здатності

Диффузійні моделі здійснили революцію у генеративних завданнях, особливо у створенні візуального контенту високої роздільної здатності. Відомі застосування включають:

• Stable Diffusion: латентна дифузійна модель, яка генерує зображення за текстовими підказками. Поєднує модель денойзингу на основі U-Net із варіаційним автокодером (VAE) для роботи у латентному просторі;
• DALL·E 2: поєднує ембеддінги CLIP та дифузійне декодування для створення надреалістичних і семантично насичених зображень за текстовим описом;
• MidJourney: платформа генерації зображень на основі дифузійних моделей, відома створенням високоякісних, художньо стилізованих візуалізацій за абстрактними чи креативними підказками.

Ці моделі використовуються для генерації мистецтва, фотореалістичного синтезу, інпейнтингу, суперроздільної здатності тощо.

Підсумок

Диффузійні моделі визначають нову епоху генеративного моделювання, розглядаючи генерацію даних як стохастичний процес у зворотному часі. Завдяки DDPM та score-based моделям вони забезпечують надійне навчання, високу якість зразків і переконливі результати у різних модальностях. Їхня основа у ймовірнісних і термодинамічних принципах робить їх як математично витонченими, так і практично потужними.