Генеративні Моделі на Основі Трансформерів

Вступ до трансформерів та механізму самоуваги

Трансформери — базова архітектура сучасного штучного інтелекту, особливо в обробці природної мови (NLP) та генеративному моделюванні. Вперше представлені у статті "Attention is All You Need" (Vaswani et al., 2017), трансформери відмовляються від рекурентності на користь механізму, який називається самоувага (self-attention), що дозволяє моделям враховувати всі частини вхідної послідовності одночасно.

Механізм самоуваги

Механізм самоуваги дозволяє моделі зважувати важливість різних токенів у послідовності відносно один одного. Це здійснюється за допомогою трьох матриць, отриманих із вхідних ембеддінгів:

• Query (Q);
• Key (K);
• Value (V).

Вихід уваги обчислюється як:

Де:

• $Q$, $K$ та $V$ — матриці, отримані з вхідних даних.
• $d_k$ — розмірність векторів ключів.
• $\text{softmax}$ перетворює коефіцієнти схожості на ймовірності.

Це дозволяє кожному токену звертати увагу на всі інші токени та відповідно коригувати своє представлення.

Огляд архітектури трансформера

Модель трансформера складається з багаторівневих шарів енкодера та декодера:

• Енкодер перетворює вхідні дані у контекстуалізоване латентне представлення;
• Декодер генерує вихідні токени, використовуючи вихід енкодера та попередні токени.

Кожен шар містить:

• Мультиголовну самоувагу;
• Прямі нейронні мережі;
• Нормалізацію шару;
• Резидуальні з'єднання.

Мультиголовна самоувага

Замість обчислення однієї функції уваги, трансформер використовує декілька голів уваги. Кожна голова навчається фокусуватися на різних частинах послідовності.

Де кожна голова обчислюється як:

Де:

• $W_i^Q, W_i^K, W_i^V$ — матриці проєкцій для запитів, ключів і значень;
• $W^0$ проєктує конкатеновані голови назад у початковий розмір.

Прямі нейронні мережі (Feedforward Neural Networks)

Кожен блок трансформера містить позиційно-незалежну пряму мережу, яка застосовується окремо до кожної позиції:

• Складається з двох лінійних шарів з нелінійністю (наприклад, ReLU) між ними;
• Застосовує однакове перетворення до всіх позицій.

Нормалізація шару

Нормалізація шару виконує нормалізацію вхідних даних по ознаках (каналах), а не по батчу. Це стабілізує навчання та покращує збіжність:

Де:

• $\mu$ — середнє значення ознак;
• $\sigma$ — стандартне відхилення;
• $\gamma$ і $\beta$ — параметри, що навчаються.

Резидуальні з'єднання

Резидуальні з'єднання додають вхід кожного підшару до його виходу:

• Сприяє проходженню градієнта та дозволяє навчати глибші моделі;
• Використовується навколо шарів самоуваги та повнозв'язних шарів.

У моделях лише з декодером (наприклад, GPT) використовується лише декодер із каузальною (маскованою) самоувагою.

Генеративні попередньо навчені трансформери (GPT)

Моделі GPT — це трансформери лише з декодером, які навчаються передбачати наступний токен в авторегресивному режимі:

Ключові особливості:

• Навчання на масштабних текстових датасетах;
• Генерація зв'язного та різноманітного тексту;
• Широке застосування у чат-ботах та генерації коду.

BERT і масковане мовне моделювання

BERT (Bidirectional Encoder Representations from Transformers) використовує лише енкодер. Навчання відбувається за допомогою маскованого мовного моделювання (MLM):

• Випадкові токени замінюються на [MASK];
• Модель передбачає оригінальний токен на основі повного контексту.

Це робить BERT ефективним для задач класифікації, питань і відповідей, а також семантичної схожості.

Трансформери та LLM

Трансформери є основою великих мовних моделей (LLM), таких як GPT-3, GPT-4, PaLM, LLaMA та Claude.

LLM використовують великі набори даних і сотні мільярдів параметрів, що дозволяє їм:

• Розуміти та генерувати людську мову;
• Виконувати переклад, узагальнення, питання й відповіді, міркування;
• Забезпечувати роботу чат-ботів, аналізаторів документів і асистентів для програмування.

Масштабованість трансформерів і здатність моделювати довготривалі залежності роблять їх ідеальними для таких моделей.