How Transformers Classify Text

Transformers er blevet et kraftfuldt værktøj til tekstklassificering, hvilket gør det muligt at behandle og fortolke sprogdata med bemærkelsesværdig nøjagtighed. For at anvende en Transformer til klassificering konverteres indgangssætninger først til et format, som modellen forstår. Hvert ord eller token i sætningen tildeles en unik identifikator, og disse identifikatorer omdannes derefter til embeddings. Disse embeddings kombineres med positionelle kodninger og sendes gennem Transformer's encoder-lag.

Til klassificering tilføjes typisk et specielt token – ofte kaldet klassifikationstokenet eller "[CLS]" – i starten af hver indgangssætning. Output-embeddinget, der svarer til dette token, behandles som et resumé af hele sætningen. Når Transformeren har behandlet inputtet, sendes dette resumé-embedding videre til et feed-forward-lag eller en simpel klassifikator, såsom et fuldt forbundet neuralt netværk, som giver en sandsynlighedsfordeling over mulige klasser.

Fortolkning af Transformer's output indebærer at undersøge både den forudsagte klasse og modellens attention weights. Den forudsagte klasse angiver, hvilken kategori inputtet sandsynligvis tilhører, mens attention weights viser, hvilke ord eller tokens modellen fokuserede mest på under beslutningsprocessen. Dette hjælper med at forstå ikke kun, hvad modellen forudsiger, men også hvorfor den træffer denne forudsigelse.

Hver attention weight svarer til et ord i sætningen (undtagen [CLS]-tokenet). Højere attention weights viser, hvilke ord modellen anså for mest vigtige for sin klassificering. For eksempel får ordet "not" i den anden sætning den højeste attention, hvilket fremhæver dets stærke indflydelse på den negative forudsigelse.