Hvordan transformere klassifiserer tekst

Transformers har blitt et kraftig verktøy for tekstklassifisering, og gjør det mulig å behandle og tolke språkdata med bemerkelsesverdig nøyaktighet. For å bruke en Transformer til klassifisering, må du først konvertere inndata-setninger til et format modellen forstår. Hvert ord eller token i setningen tilordnes en unik identifikator, og disse identifikatorene omdannes deretter til embeddinger. Disse embeddingene, kombinert med posisjonelle kodinger, sendes gjennom encoder-lagene til Transformeren.

For klassifisering legger man vanligvis til et spesielt token – ofte kalt klassifiseringstoken eller "[CLS]" – i starten av hver inndata-setning. Utdata-embeddinget som tilsvarer dette tokenet, behandles som et sammendrag av hele setningen. Etter at Transformeren har behandlet inndataene, sendes dette sammendrags-embeddinget til et feed-forward-lag eller en enkel klassifikator, som et fullt tilkoblet nevralt nettverk, som gir en sannsynlighetsfordeling over mulige klasser.

Tolkning av Transformeren sitt utdata innebærer å undersøke både forutsagt klasse og modellens oppmerksomhetsvekter. Den forutsagte klassen viser hvilken kategori inndataene mest sannsynlig tilhører, mens oppmerksomhetsvektene viser hvilke ord eller tokens modellen fokuserte mest på da den tok avgjørelsen. Dette hjelper deg å forstå ikke bare hva modellen forutsier, men også hvorfor den kom frem til denne forutsigelsen.

Hver oppmerksomhetsvekt tilsvarer et ord i setningen (unntatt [CLS]-tokenet). Høyere oppmerksomhetsvekter viser hvilke ord modellen anså som viktigst for klassifiseringen. For eksempel får ordet "not" i den andre setningen høyest oppmerksomhet, noe som fremhever dets sterke innflytelse på den negative prediksjonen.