Рекурентні нейронні мережі (RNN) призначені для обробки послідовних даних, зберігаючи інформацію про попередні входи у своїх внутрішніх станах. Це робить їх ідеальними для завдань, таких як мовне моделювання та прогнозування послідовностей.

• Послідовна обробка: RNN обробляє дані крок за кроком, відстежуючи попередню інформацію;
• Завершення речення: при незавершеному реченні "My favourite dish is sushi. So, my favourite cuisine is _____." RNN обробляє слова по одному. Після слова "sushi" мережа прогнозує наступне слово як "Japanese" на основі попереднього контексту;
• Пам'ять у RNN: на кожному кроці RNN оновлює свій внутрішній стан (пам'ять) новою інформацією, зберігаючи контекст для наступних кроків;
• Навчання RNN: RNN навчаються за допомогою зворотного поширення через час (BPTT), коли помилки передаються назад через кожен часовий крок для коригування ваг з метою покращення прогнозів.

Пряме поширення

Під час прямого поширення RNN обробляє вхідні дані крок за кроком:

1. Вхід на часовому кроці $t$: мережа отримує вхід $x_t$ на кожному часовому кроці;

2. Оновлення прихованого стану: поточний прихований стан $h_t$ оновлюється на основі попереднього прихованого стану $h_{t-1}$ та поточного входу $x_t$ за наступною формулою:

   $$h_t=f(W\cdot \left[\begin{array}{c}{h}_{t-1},x_t\end{array}\right]+b)$$

   • Де:
     • $W$ — матриця ваг;
     • $b$ — вектор зсуву;
     • $f$ — активаційна функція.

3. Генерація виходу: вихід $y_t$ генерується на основі поточного прихованого стану $h_t$ за формулою:

   $$y_t=g(V\cdot h_t+c)$$

   • Де:
     • $V$ — матриця ваг виходу;
     • $c$ — зсув виходу;
     • $g$ — активаційна функція, що використовується на вихідному шарі.

Процес зворотного поширення помилки

Зворотне поширення помилки в RNN є ключовим для оновлення ваг і покращення моделі. Процес модифікується з урахуванням послідовної природи RNN за допомогою зворотного поширення помилки у часі (BPTT):

1. Обчислення помилки: перший крок у BPTT — це обчислення помилки на кожному кроці часу. Зазвичай ця помилка є різницею між передбаченим виходом і фактичною ціллю;

2. Обчислення градієнта: у рекурентних нейронних мережах градієнти функції втрат обчислюються шляхом диференціювання помилки відносно параметрів мережі та поширюються назад у часі від фінального до початкового кроку, що може призводити до зникнення або вибуху градієнтів, особливо на довгих послідовностях;

3. Оновлення ваг: після обчислення градієнтів ваги оновлюються за допомогою оптимізаційної техніки, такої як стохастичний градієнтний спуск (SGD). Ваги коригуються таким чином, щоб мінімізувати помилку в майбутніх ітераціях. Формула для оновлення ваг:

   $$W:=W-\eta \frac{\partial \text{Loss}}{\partial W}$$

   • Де:
     • $\eta$ — це швидкість навчання;
     • $\frac{\partial \text{Loss}}{\partial W}$ — градієнт функції втрат відносно матриці ваг.

Підсумовуючи, RNN є потужними, оскільки можуть запам'ятовувати та використовувати попередню інформацію, що робить їх придатними для задач, пов'язаних із послідовностями.