How Self-Attention Works

För att förstå hur självuppmärksamhet fungerar, föreställ dig att du läser meningen: "The animal didn't cross the street because it was too tired." När du stöter på ordet "it" behöver du förstå vilket substantiv "it" syftar på. Självuppmärksamhet gör det möjligt för en modell att titta på alla ord i meningen och avgöra vilka som är mest relevanta för varje ords betydelse. Detta uppnås med hjälp av queries, keys och values – matematiska representationer för varje ord som hjälper modellen att räkna ut vilka ord den ska fokusera på.

Ett användbart sätt att visualisera självuppmärksamhet är att använda ett rutnät som visar hur mycket varje ord i en mening "uppmärksammar" varje annat ord. Du kan också visualisera självuppmärksamhet med en värmekarta, där varje rad och kolumn motsvarar ett ord i meningen. Färgtonen i cellen visar hur mycket ett ord "uppmärksammar" ett annat. I värmekartan nedan indikerar mörkare celler starkare uppmärksamhet mellan specifika ord. Denna visualisering hjälper dig att se vilka ord modellen kopplar starkast när den bearbetar meningen:

Observera hur ordet "it" har en stark uppmärksamhetsvikt mot "animal" och "tired", vilket visar att modellen har lärt sig att "it" syftar på "animal" och är kopplat till att vara "tired". Dessa uppmärksamhetsfördelningar lärs in under träningen och gör det möjligt för modellen att fånga kontext och relationer, oavsett avståndet mellan orden i meningen. Denna mekanism är det som ger Transformers deras förmåga att förstå betydelse i komplexa språk.