Hva er multi-head attention

Multi-head attention er en kraftig mekanisme i kjernen av Transformer-arkitekturen. Hovedideen er å la modellen fokusere på ulike deler av en setning samtidig, slik at den kan fange opp et bredt spekter av relasjoner mellom ord. For å oppnå dette deler modellen hvert ords embedding opp i flere mindre vektorer, kalt "hoder." Hvert hode utfører sin egen oppmerksomhetsberegning parallelt. Dette betyr at mens ett hode kan lære å fokusere på de nærmeste naboene til et ord, kan et annet rette oppmerksomheten mot begynnelsen av setningen, og et tredje kan følge relasjoner over lengre avstander.

Denne parallelle oppmerksomheten gjør det mulig for Transformer-modellen å fange opp ulike mønstre og avhengigheter i tekstdata. For eksempel, i en setning som "The cat, which was hungry, chased the mouse," kan ett hode fokusere på hovedsubjektet og verbet ("cat" og "chased"), mens et annet kan fokusere på den beskrivende leddsetningen ("which was hungry"). Ved å kombinere utgangene fra alle hodene, bygger modellen en langt rikere forståelse av hele setningen enn det en enkelt oppmerksomhetsmekanisme kunne gitt.

For å visualisere hvordan multi-head attention fungerer, kan du se for deg et rutenett der hver rad representerer et ord i input-setningen og hver kolonne representerer et oppmerksomhetshode. Hver celle i dette rutenettet viser hvilke ord et bestemt hode retter oppmerksomheten mot for et gitt ord. For eksempel, hvis du har setningen:

"She enjoys reading books at night"

Anta at du har tre oppmerksomhetshoder. Det visuelle rutenettet kan da se slik ut:

I dette rutenettet lærer hvert hode å fokusere på ulike relasjoner. "Hode 1" kan følge den grammatiske flyten, "Hode 2" kan fokusere på subjektet, og "Hode 3" kan legge merke til sted eller tid. Denne variasjonen i fokus gir multi-head attention sin styrke i å forstå komplekse språkstrukturer.