Hur Transformers Klassificerar Text

Transformers har blivit ett kraftfullt verktyg för textklassificering och möjliggör bearbetning och tolkning av språkdata med imponerande noggrannhet. För att använda en Transformer för klassificering omvandlas först inmatade meningar till ett format som modellen förstår. Varje ord eller token i meningen mappas till en unik identifierare, och dessa identifierare omvandlas sedan till inbäddningar. Dessa inbäddningar, tillsammans med positionskodningar, skickas genom Transformerns encoderlager.

För klassificering läggs vanligtvis en speciell token – ofta kallad klassificeringstoken eller "[CLS]" – till i början av varje inmatad mening. Utdata-inbäddningen som motsvarar denna token behandlas som en sammanfattning av hela meningen. Efter att Transformern har bearbetat inmatningen skickas denna sammanfattande inbäddning till ett feed-forward-lager eller en enkel klassificerare, såsom ett fullt anslutet neuralt nätverk, som ger en sannolikhetsfördelning över möjliga klasser.

Tolkning av Transformerns utdata innebär att både den förutsagda klassen och modellens attention-vikter undersöks. Den förutsagda klassen visar vilken kategori inmatningen troligen tillhör, medan attention-vikterna avslöjar vilka ord eller tokens modellen fokuserade mest på vid beslutet. Detta hjälper till att förstå inte bara vad modellen förutspår, utan även varför den gjorde den förutsägelsen.

Varje attention-vikt motsvarar ett ord i meningen (förutom [CLS]-token). Högre attention-vikter visar vilka ord modellen ansåg vara viktigast för sin klassificering. Till exempel får ordet "not" i den andra meningen den högsta attention-vikten, vilket belyser dess starka påverkan på den negativa förutsägelsen.