Le besoin de représentation numérique

Les ordinateurs ne peuvent pas interpréter le texte comme le font les humains. Alors que nous tirons le sens du langage à travers le contexte, la culture et l'expérience, les ordinateurs ne voient rien d'autre que des séquences de caractères.

Pour rendre le texte accessible aux machines, il faut le traduire dans leur langage natif : les nombres. Représenter le texte à l'aide de vecteurs et de matrices permet aux modèles mathématiques et statistiques de révéler des motifs, des relations et des informations qui resteraient autrement cachés dans le texte brut.

Comprendre les modèles d'espace vectoriel

Heureusement, des solutions efficaces pour convertir le texte en forme numérique existent déjà. L'une des approches les plus largement adoptées est l'utilisation des modèles d'espace vectoriel.

Il existe de nombreuses façons de construire de tels espaces vectoriels pour les documents textuels. Une approche simple consiste à utiliser l’ensemble du vocabulaire du corpus, en attribuant chaque dimension de l’espace à un terme unique.

Soit le vocabulaire du corpus noté $V$ et l’ensemble des documents noté $D$. Ainsi, chaque document $d_i \in D$ peut être représenté comme un vecteur dans $\R^N$ :

où :

• $N = |V|$ correspond au nombre total de termes uniques dans le vocabulaire ;
• $w_{j,i}$ désigne le poids ou l’importance du terme $W_j \in V$ dans le document $d_i$.

Voici un exemple simple avec seulement 2 documents et 2 termes uniques, visualisé dans un espace vectoriel 2D :

À l'aide de ces représentations vectorielles, il est possible de calculer un score de similarité entre des documents en mesurant l'angle entre leurs vecteurs, généralement à l'aide de la similarité cosinus.

Mots comme vecteurs

Le principe des VSM peut être étendu à la représentation individuelle des mots grâce à la technique appelée plongements de mots. Les plongements de mots reposent sur un principe mathématique similaire, mais se concentrent sur la représentation des mots individuels sous forme de vecteurs plutôt que de documents entiers. Les dimensions de ces vecteurs capturent des caractéristiques sémantiques latentes qui ne sont pas directement interprétables.

Voici un exemple avec des plongements à deux dimensions pour trois mots :

Comme illustré sur l'image, les vecteurs pour « woman » et « queen », ainsi que pour « queen » et « king », sont positionnés à proximité, indiquant une forte similarité sémantique. En revanche, l'angle plus large entre « woman » et « king » suggère une différence sémantique plus importante.

Applications des modèles d’espace vectoriel

Les modèles d’espace vectoriel sont utilisés dans une grande variété de tâches en traitement automatique du langage naturel (TAL) :

• Similarité sémantique : calcul de la similarité entre des documents textuels ou des mots à partir de leurs représentations vectorielles ;

• Recherche d’information : amélioration des moteurs de recherche et des systèmes de recommandation pour trouver du contenu pertinent par rapport à une requête utilisateur ;

• Classification et regroupement de textes : catégorisation automatique de documents dans des classes prédéfinies ou regroupement de documents similaires ;

• Compréhension du langage naturel : facilitation d’analyses linguistiques approfondies permettant des applications telles que l’analyse de sentiment, la modélisation de sujets, et bien d’autres.