Perustiedot neuroverkoista ovat suositeltavia tämän kappaleen ymmärtämiseksi. Jos aihe ei ole entuudestaan tuttu, voit tutustua tähän kurssiin:

Edellytykset

• Johdatus neuroverkkoihin

Sekä CBoW- että Skip-gram-arkkitehtuurit oppivat sanaupotuksia neuroverkkorakenteen avulla, joka koostuu seuraavista kerroksista:

• syötekerros;
• yksi piilokerros;
• ulostulokerros.

Syöte- ja piilokerrosten välinen painomatriisi, merkittynä $W^1$ tai $E$, toimii upotusmatriisina. Jokainen tämän matriisin rivi edustaa upotusvektoria vastaavalle sanalle, ja $i$:s rivi vastaa sanastossa olevaa $i$:ttä sanaa.

Tämä matriisi sisältää $V$ (sanaston koko) upotusta, joista jokaisen koko on $N$, määrittelemämme dimensio. Kun tämän matriisin transpoosi ($N \times V$ matriisi) kerrotaan one-hot-koodatulla vektorilla ($V \times 1$ vektori), saadaan tietyn sanan upotus, joka on $N \times 1$ vektori.

Toinen painomatriisi, joka sijaitsee piilotetun ja ulostulokerroksen välillä, on kooltaan $N \times V$. Kun tämän matriisin transpoosi ($V \times N$ matriisi) kerrotaan piilotetun kerroksen $N \times 1$ vektorilla, tuloksena on $V \times 1$ vektori.

CBoW

Tarkastellaan nyt esimerkkiä CBoW-mallin käytöstä:

Ensiksi upotematriisin transpoosi kerrotaan kontekstisanojen one-hot-vektoreilla, jolloin saadaan niiden upotteet. Nämä upotteet summataan tai keskiarvoistetaan toteutuksesta riippuen, jolloin muodostuu yksi vektori. Tämä vektori kerrotaan $W^2$-matriisilla, jolloin saadaan $V \times 1$ vektori.

Lopuksi tämä vektori syötetään softmax-aktivointifunktion läpi, jolloin siitä muodostuu todennäköisyysjakauma, jossa jokainen alkio kuvaa sanaston sanan todennäköisyyttä olla kohdesana.

Tämän jälkeen lasketaan tappio, ja molempia painomatriiseja päivitetään tämän tappion minimoimiseksi. Ihannetapauksessa halutaan, että kohdesanan todennäköisyys on lähellä 1 ja kaikkien muiden sanojen todennäköisyydet lähestyvät nollaa. Tämä prosessi toistetaan jokaiselle kohdesanan ja sen kontekstisanojen yhdistelmälle.

Kun kaikki yhdistelmät on käsitelty, yksi epookki on suoritettu. Tyypillisesti neuroverkkoa koulutetaan useiden epookkien ajan, jotta oppiminen olisi tarkkaa. Lopuksi tuloksena saadun upotusmatriisin rivejä voidaan käyttää sanaupotuksina. Jokainen rivi vastaa tietyn sanan vektoriesitystä sanastossa, mikä tehokkaasti tallentaa sen semanttiset ominaisuudet koulutettuun malliin.

Skip-gram

Tarkastellaan nyt skip-gram-mallia:

Kuten huomaat, prosessi on pääosin samanlainen kuin CBoW-mallissa. Se alkaa hakemalla kohdesanan upotus, jota käytetään piilotetussa kerroksessa. Tämän jälkeen tuotetaan $V \times 1$ -vektori ulostulokerroksessa. Tämä vektori saadaan kertomalla kohdesanan upotus ulostulokerroksen painomatriisilla, minkä jälkeen softmax-aktivointifunktio muuntaa sen todennäköisyysvektoriksi.

Jokaisen kontekstisanan tappio summataan, ja painomatriiseja päivitetään vastaavasti jokaisella iteraatiolla kokonaistappion minimoimiseksi. Kun määritelty määrä epookkeja on suoritettu, upotusmatriisia voidaan käyttää sanaupotusten saamiseksi.