Автокодери та варіаційні автокодери

Автокодери — це нейронні мережі, призначені для навчання ефективних представлень даних за допомогою процесів кодування та декодування. Стандартний автокодер складається з двох компонентів:

1. Кодувальник: стискає вхідні дані до представлення з меншою розмірністю.
2. Декодувальник: відновлює оригінальні дані з стисненого представлення.

Традиційні автокодери навчаються детермінованим відображенням, тобто стискають дані у фіксований латентний простір. Однак їм важко генерувати різноманітні вихідні дані, оскільки їх латентний простір позбавлений структури та плавності.

Відмінності між стандартними автокодерами та VAE

Варіаційні автокодери (VAE) вдосконалюють стандартні автокодери шляхом введення ймовірнісного латентного простору, що дозволяє структуровано та осмислено генерувати нові дані.

Структура енкодера-декодера та представлення латентного простору

VAE складаються з двох основних компонентів:

1. Енкодер: Відображає вхідні дані у ймовірнісний розподіл у нижчовимірному латентному просторі $z$.
2. Декодер: Вибірка з латентного простору та реконструкція вхідних даних.

Математичне формулювання:

Енкодер генерує середнє значення та дисперсію для латентного простору:

де:

• $\mu$ позначає середнє значення розподілу латентного простору;
• $\sigma^2$ позначає дисперсію;
• $f_\mu$ та $f_\sigma$ — функції, параметризовані $\theta$, зазвичай реалізовані у вигляді нейронних мереж.

Замість прямої передачі цих параметрів у декодер, здійснюється вибірка з гаусового розподілу за допомогою трюку репараметризації:

де:

• $\odot$ позначає поелементне множення;
• $\epsilon$ — випадкова змінна, взята з стандартного нормального розподілу.

Цей прийом дозволяє градієнтам проходити через процес вибірки, що робить можливим зворотне поширення помилки. Без цього прийому стохастична операція вибірки унеможливила б навчання на основі градієнтів.

Декодер відновлює вхідні дані з $z$, навчаючись функції $g(z; \phi)$, яка видає параметри розподілу даних. Мережа декодера навчається мінімізувати різницю між відновленими та оригінальними даними, забезпечуючи високу якість реконструкцій.

Ймовірнісне моделювання у VAE

VAE базуються на байєсівському висновку, що дозволяє моделювати зв'язок між спостережуваними даними $x$ і латентними змінними $z$ за допомогою ймовірнісних розподілів. Основний принцип ґрунтується на теоремі Байєса:

Оскільки обчислення $p(x)$ вимагає інтегрування по всіх можливих прихованих змінних, що є непрактичним, VAE апроксимують апостеріорний розподіл $p(z∣x)$ простішою функцією $q(z∣x)$, що забезпечує ефективний висновок.

Нижня межа доказу (ELBO)

Замість максимізації непрактичної маргінальної ймовірності $p(x)$, VAE максимізують її нижню межу, яка називається нижньою межею доказу (ELBO):

де:

• Перший доданок, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, — це втрата реконструкції, що гарантує схожість вихідних даних на вхідні;
• Другий доданок, $D_{KL}(q(z|x)\ ||\ p(z))$, — це KL-дивергенція, яка регуляризує латентний простір, забезпечуючи близькість $q(z∣x)$ до апріорного $p(z)$.

Збалансовуючи ці два доданки, VAE досягають компромісу між точною реконструкцією та гладким представленням латентного простору.

Застосування VAE

1. Виявлення аномалій

VAE можуть навчатися нормальній структурі даних. При зустрічі з аномальними вхідними даними модель не може якісно їх реконструювати, що призводить до вищих помилок реконструкції, які можна використовувати для виявлення аномалій.

2. Синтез зображень

VAE можуть генерувати нові зображення шляхом вибірки з вивченого латентного простору. Вони широко застосовуються у таких задачах, як:

• Генерація облич (наприклад, створення нових людських облич);
• Стильовий трансфер (наприклад, поєднання художніх стилів).

3. Генерація тексту

VAE можна адаптувати для задач обробки природної мови (NLP), де вони використовуються для створення різноманітних і зв'язних текстових послідовностей.

4. Розробка лікарських засобів

VAE застосовуються в біоінформатиці та розробці лікарських засобів, де вони генерують молекулярні структури з бажаними властивостями.

Висновок

Варіаційні автокодери — це потужний клас генеративних моделей, які впроваджують ймовірнісне моделювання в автокодери. Їхня здатність генерувати різноманітні та реалістичні дані зробила їх фундаментальним компонентом сучасного генеративного ШІ.

Порівняно з традиційними автокодерами, VAE забезпечують структурований латентний простір, покращуючи генеративні можливості. З розвитком досліджень VAE продовжують відігравати ключову роль у застосуваннях ШІ, що охоплюють комп'ютерний зір, NLP та інші сфери.