Kuinka Itsehuomio Toimii

Ymmärtääksesi, miten itsehuomiointi toimii, kuvittele lukevasi lauseen: "The animal didn't cross the street because it was too tired." Kun kohtaat sanan "it", sinun täytyy ymmärtää, mihin substantiiviin "it" viittaa. Itsehuomiointi mahdollistaa mallin tarkastella kaikkia lauseen sanoja ja päättää, mitkä sanat ovat merkityksellisimpiä kunkin sanan ymmärtämisen kannalta. Tämä toteutetaan kyselyiden (queries), avainten (keys) ja arvojen (values) avulla – matemaattisia esityksiä jokaiselle sanalle, jotka auttavat mallia laskemaan, mihin sanoihin kannattaa kiinnittää huomiota.

Hyödyllinen tapa havainnollistaa itsehuomiointia on käyttää ruudukkoa, joka näyttää, kuinka paljon kukin sana "kiinnittää huomiota" jokaiseen muuhun sanaan lauseessa. Itsehuomiointia voi myös visualisoida lämpökartalla, jossa jokainen rivi ja sarake vastaa lauseen sanaa. Solun väri osoittaa, kuinka paljon yksi sana "kiinnittää huomiota" toiseen. Alla olevassa lämpökartassa tummemmat solut osoittavat vahvempaa huomiota tiettyjen sanojen välillä. Tämä visuaalinen esitys auttaa näkemään, mihin sanoihin malli muodostaa vahvimmat yhteydet käsitellessään lausetta:

Huomaa, että sanalla "it" on vahva huomioarvo sanoihin "animal" ja "tired", mikä osoittaa, että malli on oppinut "it"-sanan viittaavan sanaan "animal" ja liittyvän sanaan "tired". Nämä huomiojakautumat opitaan koulutuksen aikana ja mahdollistavat mallin kontekstin ja suhteiden ymmärtämisen riippumatta sanojen etäisyydestä lauseessa. Tämä mekanismi antaa Transformereille niiden kyvyn ymmärtää merkityksiä monimutkaisessa kielessä.