How Self-Attention Works

For å forstå hvordan selvoppmerksomhet fungerer, kan du tenke deg å lese setningen: "The animal didn't cross the street because it was too tired." Når du møter ordet "it", må du forstå hvilket substantiv "it" refererer til. Selvoppmerksomhet gjør det mulig for en modell å se på alle ordene i setningen og avgjøre hvilke som er mest relevante for betydningen til hvert enkelt ord. Dette oppnås ved hjelp av spørringer (queries), nøkler (keys) og verdier (values) – matematiske representasjoner for hvert ord som hjelper modellen å beregne hvilke ord den skal fokusere på.

En nyttig måte å visualisere selvoppmerksomhet på er å bruke et rutenett som viser hvor mye hvert ord i en setning "fokuserer" på alle de andre ordene. Du kan også visualisere selvoppmerksomhet ved hjelp av et varmekart, der hver rad og kolonne tilsvarer et ord i setningen. Fargen på cellen viser hvor mye ett ord "fokuserer" på et annet. I varmekartet under indikerer mørkere celler sterkere oppmerksomhet mellom spesifikke ord. Denne visualiseringen hjelper deg å se hvilke ord modellen knytter sterkest sammen når den behandler setningen:

Legg merke til hvordan ordet "it" har en sterk oppmerksomhetsvekt mot "animal" og "tired", noe som viser at modellen har lært at "it" refererer til "animal" og er knyttet til å være "tired". Disse oppmerksomhetsfordelingene læres under trening og gjør det mulig for modellen å fange opp kontekst og relasjoner, uavhengig av avstanden mellom ordene i setningen. Denne mekanismen gir Transformer-modeller evnen til å forstå mening i komplekst språk.