Vad är multi-head attention

Multi-head attention är en kraftfull mekanism i kärnan av Transformer-arkitekturen. Den grundläggande idén är att modellen kan fokusera på olika delar av en mening samtidigt och fånga ett brett spektrum av relationer mellan ord. För att uppnå detta delar modellen upp varje ords inbäddning i flera mindre vektorer, kallade "huvuden." Varje huvud utför sin egen uppmärksamhetsberäkning parallellt. Det innebär att medan ett huvud kan lära sig att fokusera på de närmaste grannorden, kan ett annat rikta uppmärksamheten mot början av meningen, och ytterligare ett kan följa relationer över längre avstånd.

Denna parallella uppmärksamhet gör det möjligt för Transformer att fånga olika mönster och beroenden i textdata. Till exempel, i en mening som "The cat, which was hungry, chased the mouse," kan ett huvud fokusera på huvudsakligt subjekt och verb ("cat" och "chased"), medan ett annat kan fokusera på den beskrivande bisatsen ("which was hungry"). Genom att kombinera utdata från alla huvuden bygger modellen en mycket rikare förståelse av hela meningen än vad någon enskild uppmärksamhetsmekanism kan ge.

För att visualisera hur multi-head attention fungerar, föreställ dig ett rutnät där varje rad representerar ett ord i inmatningsmeningen och varje kolumn representerar ett uppmärksamhetshuvud. Varje cell i detta rutnät visar vilka ord ett visst huvud riktar sin uppmärksamhet mot för ett givet ord. Till exempel, om du har meningen:

"She enjoys reading books at night"

Anta att du har tre uppmärksamhetshuvuden. Det visuella rutnätet kan se ut så här:

I detta rutnät lär sig varje huvud att fokusera på olika relationer. "Huvud 1" kan följa den grammatiska strukturen, "Huvud 2" kan fokusera på subjektet och "Huvud 3" kan uppmärksamma plats eller tid. Denna mångfald i fokus är det som ger multi-head attention dess styrka i att förstå komplexa språkstrukturer.