Toistuvat neuroverkot (RNN:t) on suunniteltu käsittelemään sekventiaalista dataa säilyttämällä tietoa aiemmista syötteistä niiden sisäisissä tiloissa. Tämä tekee niistä ihanteellisia tehtäviin, kuten kielimallinnukseen ja sekvenssien ennustamiseen.

• Sekventiaalinen käsittely: RNN käsittelee dataa askel askeleelta, pitäen kirjaa aiemmasta tiedosta;
• Lauseen täydentäminen: kun annetaan keskeneräinen lause "My favourite dish is sushi. So, my favourite cuisine is _____.", RNN käsittelee sanat yksi kerrallaan. Kun se näkee sanan "sushi", se ennustaa seuraavaksi sanaksi "Japanese" aiemman kontekstin perusteella;
• Muisti RNN:issä: jokaisessa vaiheessa RNN päivittää sisäistä tilaansa (muistia) uudella tiedolla, varmistaen kontekstin säilymisen tulevia askeleita varten;
• RNN:n koulutus: RNN:t koulutetaan käyttämällä takaisinkytkentää ajan yli (BPTT), jossa virheet viedään taaksepäin jokaisen aikavälin läpi painojen säätämiseksi parempia ennusteita varten.

Eteenpäinlevitys

Eteenpäinlevityksen aikana RNN käsittelee syötteen vaihe vaiheelta:

1. Syöte ajanhetkellä $t$: verkko vastaanottaa syötteen $x_t$ jokaisella ajanhetkellä;

2. Piilotilan päivitys: nykyinen piilotila $h_t$ päivitetään edellisen piilotilan $h_{t-1}$ ja nykyisen syötteen $x_t$ perusteella seuraavan kaavan mukaisesti:

   $$h_t=f(W\cdot \left[\begin{array}{c}{h}_{t-1},x_t\end{array}\right]+b)$$

   • Missä:
     • $W$ on painomatriisi;
     • $b$ on bias-vektori;
     • $f$ on aktivointifunktio.

3. Ulostulon muodostus: ulostulo $y_t$ muodostetaan nykyisen piilotilan $h_t$ perusteella seuraavan kaavan mukaisesti:

   $$y_t=g(V\cdot h_t+c)$$

   • Missä:
     • $V$ on ulostulon painomatriisi;
     • $c$ on ulostulon bias;
     • $g$ on ulostulokerroksen aktivointifunktio.

Takaisinkytkentäprosessi

Takaisinkytkentä (backpropagation) RNN:issä on olennainen painojen päivittämiseksi ja mallin parantamiseksi. Prosessia muokataan huomioimaan RNN:ien sekventiaalinen luonne käyttämällä aikaan ulottuvaa takaisinkytkentää (BPTT, backpropagation through time):

1. Virheen laskeminen: Ensimmäinen vaihe BPTT:ssä on laskea virhe jokaisessa aikavälissä. Tämä virhe on tyypillisesti ennustetun tuloksen ja todellisen tavoitteen välinen ero;

2. Gradientin laskeminen: Toistuvissa neuroverkoissa (Recurrent Neural Networks) häviöfunktion gradientit lasketaan derivoimalla virhe verkon parametrien suhteen ja propagaatio tapahtuu ajassa taaksepäin viimeisestä vaiheesta alkuun, mikä voi johtaa katoaviin tai räjähtäviin gradientteihin erityisesti pitkillä sekvensseillä;

3. Painojen päivitys: Kun gradientit on laskettu, painot päivitetään käyttämällä optimointimenetelmää, kuten stokastista gradienttilaskeumaa (SGD, stochastic gradient descent). Painoja säädetään siten, että virhe pienenee tulevissa iteraatioissa. Painojen päivityksen kaava on:

   $$W:=W-\eta \frac{\partial \text{Loss}}{\partial W}$$

   • Missä:
     • $\eta$ on oppimisnopeus;
     • $\frac{\partial \text{Loss}}{\partial W}$ on häviöfunktion gradientti painomatriisin suhteen.

Yhteenvetona RNN:t ovat tehokkaita, koska ne voivat muistaa ja hyödyntää aiempaa tietoa, mikä tekee niistä sopivia tehtäviin, jotka sisältävät sekvenssejä.