Comment les transformers classifient le texte

Les Transformers sont devenus un outil puissant pour la classification de texte, permettant de traiter et d’interpréter les données linguistiques avec une précision remarquable. Pour utiliser un Transformer pour la classification, il faut d’abord convertir les phrases d’entrée dans un format compréhensible par le modèle. Chaque mot ou jeton de la phrase est associé à un identifiant unique, puis ces identifiants sont transformés en représentations vectorielles (embeddings). Ces représentations, combinées aux encodages positionnels, sont transmises aux couches d’encodeur du Transformer.

Pour la classification, on ajoute généralement un jeton spécial — souvent appelé jeton de classification ou "[CLS]" — au début de chaque phrase d’entrée. La représentation vectorielle produite pour ce jeton est considérée comme un résumé de l’ensemble de la phrase. Après le traitement de l’entrée par le Transformer, ce vecteur résumé est transmis à une couche de type feed-forward ou à un classificateur simple, tel qu’un réseau de neurones entièrement connecté, qui produit une distribution de probabilité sur les classes possibles.

L’interprétation de la sortie du Transformer implique d’examiner à la fois la classe prédite et les poids d’attention du modèle. La classe prédite indique à quelle catégorie l’entrée appartient le plus probablement, tandis que les poids d’attention révèlent sur quels mots ou jetons le modèle s’est le plus concentré pour prendre sa décision. Cela permet de comprendre non seulement ce que le modèle prédit, mais aussi pourquoi il a fait ce choix.

Chaque poids d’attention correspond à un mot de la phrase (à l’exception du jeton [CLS]). Des poids d’attention plus élevés indiquent les mots que le modèle a jugés les plus importants pour sa classification. Par exemple, dans la deuxième phrase, le mot « not » reçoit le poids d’attention le plus élevé, soulignant sa forte influence sur la prédiction négative.