Come i Transformer Classificano il Testo

I Transformer sono diventati uno strumento potente per la classificazione del testo, consentendo di elaborare e interpretare dati linguistici con notevole accuratezza. Per utilizzare un Transformer nella classificazione, si convertono prima le frasi di input in un formato comprensibile dal modello. Ogni parola o token nella frase viene associato a un identificatore univoco, e questi identificatori vengono poi trasformati in embedding. Questi embedding, combinati con le codifiche posizionali, vengono inviati attraverso gli strati encoder del Transformer.

Per la classificazione, si aggiunge tipicamente un token speciale - spesso chiamato classification token o "[CLS]" - all'inizio di ogni frase di input. L'embedding di output corrispondente a questo token viene considerato come un riassunto dell'intera frase. Dopo che il Transformer ha elaborato l'input, questo embedding riassuntivo viene passato a uno strato feed-forward o a un semplice classificatore, come una rete neurale completamente connessa, che produce una distribuzione di probabilità sulle possibili classi.

L'interpretazione dell'output del Transformer implica l'esame sia della classe predetta sia dei pesi di attenzione del modello. La classe predetta indica a quale categoria appartiene più probabilmente l'input, mentre i pesi di attenzione rivelano su quali parole o token il modello si è concentrato maggiormente durante la decisione. Questo aiuta a comprendere non solo cosa prevede il modello, ma anche perché ha fatto quella previsione.

Ogni peso di attenzione corrisponde a una parola nella frase (escludendo il token [CLS]). Pesi di attenzione più alti indicano quali parole il modello ha considerato più importanti per la classificazione. Ad esempio, nella seconda frase, la parola "not" riceve il peso di attenzione più alto, evidenziando la sua forte influenza sulla previsione negativa.