Como os Transformers Classificam Textos

Transformers tornaram-se uma ferramenta poderosa para classificação de texto, permitindo processar e interpretar dados de linguagem com notável precisão. Para utilizar um Transformer para classificação, primeiro é necessário converter as sentenças de entrada em um formato compreendido pelo modelo. Cada palavra ou token na sentença é mapeado para um identificador único, e esses identificadores são então transformados em embeddings. Esses embeddings, combinados com codificações posicionais, são passados pelas camadas de codificação do Transformer.

Para classificação, normalmente se adiciona um token especial – frequentemente chamado de token de classificação ou "[CLS]" – no início de cada sentença de entrada. O embedding de saída correspondente a esse token é tratado como um resumo de toda a sentença. Após o processamento da entrada pelo Transformer, esse embedding de resumo é passado para uma camada feed-forward ou para um classificador simples, como uma rede neural totalmente conectada, que gera uma distribuição de probabilidade sobre as possíveis classes.

A interpretação da saída do Transformer envolve examinar tanto a classe prevista quanto os pesos de atenção do modelo. A classe prevista indica a qual categoria a entrada provavelmente pertence, enquanto os pesos de atenção revelam quais palavras ou tokens o modelo considerou mais relevantes ao tomar sua decisão. Isso permite compreender não apenas o que o modelo prevê, mas também por que ele fez essa previsão.

Cada peso de atenção corresponde a uma palavra na sentença (excluindo o token [CLS]). Pesos de atenção mais altos indicam quais palavras o modelo considerou mais importantes para a classificação. Por exemplo, na segunda sentença, a palavra "not" recebe o maior peso de atenção, destacando sua forte influência na previsão negativa.