Come Funziona il Self-Attention

Per comprendere come funziona il self-attention, immagina di leggere la frase: "The animal didn't cross the street because it was too tired." Quando incontri la parola "it", devi capire a quale sostantivo si riferisce "it". Il self-attention permette a un modello di considerare tutte le parole della frase e decidere quali sono le più rilevanti per il significato di ciascuna parola. Questo viene realizzato utilizzando query, key e value - rappresentazioni matematiche per ogni parola che aiutano il modello a calcolare su quali parole concentrarsi.

Un modo utile per visualizzare il self-attention è utilizzare una griglia che mostra quanto ogni parola in una frase "presta attenzione" a tutte le altre parole. Puoi anche visualizzare il self-attention usando una heatmap, dove ogni riga e colonna corrisponde a una parola della frase. Il colore della cella mostra quanto una parola "presta attenzione" a un'altra. Nella heatmap qui sotto, le celle più scure indicano una maggiore attenzione tra parole specifiche. Questa visualizzazione aiuta a vedere quali parole il modello collega più fortemente mentre elabora la frase:

Nota come la parola "it" abbia un peso di attenzione elevato verso "animal" e "tired", mostrando che il modello ha appreso che "it" si riferisce a "animal" ed è collegato a "tired". Queste distribuzioni di attenzione vengono apprese durante l'addestramento e permettono al modello di catturare il contesto e le relazioni, indipendentemente dalla distanza tra le parole nella frase. Questo meccanismo è ciò che conferisce ai Transformer la loro capacità di comprendere il significato in linguaggi complessi.