• Sekventiel behandling: RNN behandler data trin for trin og holder styr på, hvad der er kommet før;
• Sætningsfuldførelse: givet den ufuldstændige sætning "My favourite dish is sushi. So, my favourite cuisine is _____." behandler RNN ordene én ad gangen. Efter at have set "sushi", forudsiger den det næste ord som "Japanese" baseret på tidligere kontekst;
• Hukommelse i RNN'er: ved hvert trin opdaterer RNN sin interne tilstand (hukommelse) med ny information, hvilket sikrer, at den bevarer konteksten til fremtidige trin;
• Træning af RNN: RNN'er trænes ved hjælp af backpropagation through time (BPTT), hvor fejl sendes baglæns gennem hvert tidssteg for at justere vægte for bedre forudsigelser.

Fremadrettet Propagering

Under fremadrettet propagering behandler RNN inputdata trin for trin:

1. Input ved tidssteg $t$: netværket modtager et input $x_t$ ved hvert tidssteg;

2. Opdatering af skjult tilstand: den nuværende skjulte tilstand $h_t$ opdateres baseret på den forrige skjulte tilstand $h_{t-1}$ og det nuværende input $x_t$ ved hjælp af følgende formel:

   $$h_t=f(W\cdot \left[\begin{array}{c}{h}_{t-1},x_t\end{array}\right]+b)$$

   • Hvor:
     • $W$ er vægtmatricen;
     • $b$ er biasvektoren;
     • $f$ er aktiveringsfunktionen.

3. Outputgenerering: outputtet $y_t$ genereres baseret på den nuværende skjulte tilstand $h_t$ ved hjælp af formlen:

   $$y_t=g(V\cdot h_t+c)$$

   • Hvor:
     • $V$ er outputvægtmatricen;
     • $c$ er outputbias;
     • $g$ er aktiveringsfunktionen brugt i outputlaget.

Tilbagepropageringsproces

Tilbagepropagering i RNN'er er afgørende for at opdatere vægtene og forbedre modellen. Processen er tilpasset for at tage højde for den sekventielle karakter af RNN'er gennem tilbagepropagering gennem tid (BPTT):

1. Fejlberegning: det første trin i BPTT er at beregne fejlen ved hvert tidssteg. Denne fejl er typisk forskellen mellem det forudsagte output og det faktiske mål;

2. Gradientberegning: i rekurrente neurale netværk beregnes gradienterne af tabfunktionen ved at differentiere fejlen med hensyn til netværkets parametre og propageres bagud gennem tiden fra det sidste til det første trin, hvilket kan føre til forsvindende eller eksploderende gradienter, især i lange sekvenser;

3. Vægtopdatering: når gradienterne er beregnet, opdateres vægtene ved hjælp af en optimeringsteknik som stokastisk gradientnedstigning (SGD). Vægtene justeres således, at fejlen minimeres i fremtidige iterationer. Formlen for opdatering af vægte er:

   $$W:=W-\eta \frac{\partial \text{Loss}}{\partial W}$$

   • Hvor:
     • $\eta$ er indlæringsraten;
     • $\frac{\partial \text{Loss}}{\partial W}$ er gradienten af tabfunktionen med hensyn til vægtmatricen.

Sammenfattende er RNN'er kraftfulde, fordi de kan huske og udnytte tidligere information, hvilket gør dem velegnede til opgaver, der involverer sekvenser.