Et grundlæggende kendskab til neurale netværk anbefales til dette kapitel. Hvis du ikke er bekendt med emnet, er du velkommen til at udforske dette kursus:

Forudsætninger

• Introduktion til neurale netværk

Både CBoW- og Skip-gram-arkitekturer lærer word embeddings gennem en neural netværksstruktur bestående af følgende lag:

• et inputlag;
• et enkelt skjult lag;
• et outputlag.

Vægtningsmatricen mellem input- og skjult lag, betegnet som $W^1$ eller $E$, fungerer som embeddings-matrixen. Hver række i denne matrix repræsenterer en embedding-vektor for et tilsvarende ord, hvor den $i$-te række matcher det $i$-te ord i ordforrådet.

Denne matrix indeholder $V$ (ordforrådsstørrelse) embeddings, hver af størrelse $N$, en dimension vi specificerer. Multiplikation af transponeret matrix ($N \times V$ matrix) med en one-hot kodet vektor ($V \times 1$ vektor) henter embedding for et specifikt ord og producerer en $N \times 1$ vektor.

Den anden vægtmatrix, mellem det skjulte lag og outputlaget, har størrelsen $N \times V$. Multiplikation af transponeret af denne matrix ($V \times N$ matrix) med det skjulte lags $N \times 1$ vektor resulterer i en $V \times 1$ vektor.

CBoW

Her ses et eksempel på brug af en CBoW-model:

Først multipliceres transponeret af embeddings-matrixen med one-hot vektorerne for kontekstordene for at generere deres embeddings. Disse embeddings summeres eller gennemsnitsberegnes afhængigt af implementeringen for at danne en enkelt vektor. Denne vektor multipliceres med $W^2$-matrixen, hvilket resulterer i en $V \times 1$ vektor.

Til sidst passerer denne vektor gennem softmax aktiveringsfunktionen, hvilket omdanner den til en sandsynlighedsfordeling, hvor hvert element repræsenterer sandsynligheden for, at et ord i ordforrådet er målordet.

Herefter beregnes tabet, og begge vægtmatricer opdateres for at minimere dette tab. Ideelt set ønskes sandsynligheden for målordet tæt på 1, mens sandsynlighederne for alle andre ord nærmer sig nul. Denne proces gentages for hver kombination af et målord og dets kontekstord.

Når alle kombinationer er behandlet, er en epoke gennemført. Typisk trænes det neurale netværk over flere epoker for at sikre nøjagtig indlæring. Til sidst kan rækkerne i den resulterende embedding-matrix anvendes som vores word embeddings. Hver række svarer til vektorrepræsentationen af et specifikt ord i ordforrådet og indfanger effektivt dets semantiske egenskaber i den trænede model.

Skip-gram

Lad os nu se nærmere på en skip-gram-model:

Som det kan ses, ligner processen i høj grad CBoW. Den starter med at hente embedding for målordet, som derefter anvendes i det skjulte lag. Dette efterfølges af at producere en $V \times 1$ vektor i outputlaget. Denne vektor, opnået ved at multiplicere målordets embedding med outputlagets vægtmatrix, transformeres derefter af softmax-aktiveringsfunktionen til en vektor af sandsynligheder.

Tabet for hvert kontekstord summeres, og vægtmatricerne opdateres tilsvarende ved hver iteration for at minimere det samlede tab. Når det angivne antal epoker er gennemført, kan embeddings-matricen bruges til at opnå word embeddings.