How Self-Attention Works

Om te begrijpen hoe self-attention werkt, stel je voor dat je de zin leest: "The animal didn't cross the street because it was too tired." Wanneer je het woord "it" tegenkomt, moet je begrijpen naar welk zelfstandig naamwoord "it" verwijst. Self-attention stelt een model in staat om naar alle woorden in de zin te kijken en te bepalen welke het meest relevant zijn voor de betekenis van elk woord. Dit wordt bereikt met behulp van queries, keys en values – wiskundige representaties voor elk woord die het model helpen te berekenen op welke woorden het moet letten.

Een handige manier om self-attention te visualiseren is door een raster te gebruiken dat laat zien hoeveel elk woord in een zin "aandacht" besteedt aan elk ander woord. Je kunt self-attention ook visualiseren met een heatmap, waarbij elke rij en kolom overeenkomt met een woord in de zin. De kleur van de cel geeft aan hoeveel aandacht het ene woord aan het andere besteedt. In de onderstaande heatmap geven donkerdere cellen een sterkere aandacht aan tussen specifieke woorden. Deze visualisatie helpt je te zien welke woorden het model het sterkst met elkaar verbindt tijdens het verwerken van de zin:

Let op hoe het woord "it" een sterke aandacht heeft voor "animal" en "tired," wat laat zien dat het model heeft geleerd dat "it" verwijst naar "animal" en verbonden is met "tired." Deze aandachtverdelingen worden tijdens het trainen geleerd en stellen het model in staat om context en relaties vast te leggen, ongeacht de afstand tussen woorden in de zin. Dit mechanisme geeft Transformers hun kracht om betekenis te begrijpen in complexe taal.