Hoe Transformers Tekst Classificeren

Transformers zijn uitgegroeid tot een krachtig hulpmiddel voor tekstclassificatie, waarmee taaldata met opmerkelijke nauwkeurigheid verwerkt en geïnterpreteerd kan worden. Om een Transformer voor classificatie te gebruiken, worden invoerzinnen eerst omgezet in een formaat dat het model begrijpt. Elk woord of token in de zin wordt gekoppeld aan een unieke identificatie, en deze identificaties worden vervolgens omgezet in embeddings. Deze embeddings, gecombineerd met positionele coderingen, worden door de encoderlagen van de Transformer geleid.

Voor classificatie wordt doorgaans een speciaal token toegevoegd – vaak het classificatietoken of "[CLS]" genoemd – aan het begin van elke invoerzin. De uitvoerembedding die bij dit token hoort, wordt beschouwd als een samenvatting van de hele zin. Nadat de Transformer de invoer heeft verwerkt, wordt deze samenvattende embedding doorgegeven aan een feedforward-laag of een eenvoudige classifier, zoals een volledig verbonden neuraal netwerk, die een waarschijnlijkheidsverdeling over mogelijke klassen oplevert.

Het interpreteren van de uitvoer van de Transformer omvat het bekijken van zowel de voorspelde klasse als de attention weights van het model. De voorspelde klasse geeft aan tot welke categorie de invoer waarschijnlijk behoort, terwijl de attention weights laten zien op welke woorden of tokens het model zich het meest heeft gericht bij het nemen van zijn beslissing. Dit helpt om niet alleen te begrijpen wat het model voorspelt, maar ook waarom die voorspelling is gedaan.

Elke attention weight komt overeen met een woord in de zin (met uitzondering van het [CLS]-token). Hogere attention weights geven aan welke woorden het model als het belangrijkst beschouwde voor de classificatie. In de tweede zin krijgt bijvoorbeeld het woord "not" de hoogste attention, wat de sterke invloed op de negatieve voorspelling benadrukt.