How Transformers Classify Text

Transformer-Modelle sind ein leistungsstarkes Werkzeug für die Textklassifikation und ermöglichen die Verarbeitung und Interpretation von Sprachdaten mit hoher Genauigkeit. Um einen Transformer für die Klassifikation zu verwenden, werden die Eingabesätze zunächst in ein vom Modell verständliches Format umgewandelt. Jedes Wort oder Token im Satz wird einer eindeutigen Kennung zugeordnet, und diese Kennungen werden anschließend in Embeddings umgewandelt. Diese Embeddings werden zusammen mit Positionskodierungen durch die Encoder-Schichten des Transformers geleitet.

Für Klassifikationsaufgaben wird typischerweise ein spezielles Token – häufig als Klassifikationstoken oder "[CLS]" bezeichnet – am Anfang jedes Eingabesatzes hinzugefügt. Das Ausgabembedding, das diesem Token entspricht, wird als Zusammenfassung des gesamten Satzes betrachtet. Nachdem der Transformer die Eingabe verarbeitet hat, wird dieses Zusammenfassungs-Embedding an eine Feedforward-Schicht oder einen einfachen Klassifikator, wie beispielsweise ein vollständig verbundenes neuronales Netzwerk, weitergegeben, das eine Wahrscheinlichkeitsverteilung über die möglichen Klassen ausgibt.

Die Interpretation der Ausgabe des Transformers umfasst sowohl die vorhergesagte Klasse als auch die Attention-Gewichte des Modells. Die vorhergesagte Klasse gibt an, zu welcher Kategorie die Eingabe am wahrscheinlichsten gehört, während die Attention-Gewichte zeigen, auf welche Wörter oder Tokens das Modell bei seiner Entscheidung besonders geachtet hat. Dies ermöglicht ein Verständnis dafür, was das Modell vorhersagt und warum es zu dieser Vorhersage gelangt ist.

Jedes Attention-Gewicht entspricht einem Wort im Satz (ausgenommen das [CLS]-Token). Höhere Attention-Gewichte zeigen an, welche Wörter das Modell für die Klassifikation als besonders wichtig erachtet hat. Im zweiten Satz erhält beispielsweise das Wort "not" das höchste Attention-Gewicht, was dessen starken Einfluss auf die negative Vorhersage hervorhebt.