De noodzaak van numerieke representatie

Computers kunnen tekst niet interpreteren zoals mensen dat doen. Waar wij betekenis halen uit taal via context, cultuur en ervaring, zien computers niets meer dan reeksen tekens.

Om tekst toegankelijk te maken voor machines, moeten we deze vertalen naar hun moedertaal: getallen. Het representeren van tekst met vectoren en matrices stelt wiskundige en statistische modellen in staat om patronen, relaties en inzichten te ontdekken die anders verborgen zouden blijven in ruwe tekst.

Inzicht in vectorruimte modellen

Gelukkig bestaan er al effectieve oplossingen om tekst om te zetten in numerieke vorm. Een van de meest gebruikte benaderingen is het gebruik van vectorruimte modellen.

Er zijn veel manieren om dergelijke vectorruimtes voor tekstdocumenten te construeren. Een eenvoudige benadering is het gebruik van de volledige corpuswoordenschat, waarbij elke dimensie van de ruimte wordt toegewezen aan een unieke term.

Laat de corpuswoordenschat aangeduid worden als $V$ en de set documenten als $D$. Dan kan elk document $d_i \in D$ worden weergegeven als een vector in $\R^N$:

waarbij:

• $N = |V|$ het totale aantal unieke termen in de woordenschat is;
• $w_{j,i}$ het gewicht of het belang van de term $W_j \in V$ in document $d_i$ aanduidt.

Hier is een eenvoudig voorbeeld met slechts 2 documenten en 2 unieke termen, gevisualiseerd in een 2D-vectorruimte:

Met behulp van deze vectorrepresentaties kunnen we een similariteitsscore tussen documenten berekenen door de hoek tussen hun vectoren te meten, doorgaans met behulp van cosinus-similariteit.

Woorden als Vectoren

Het idee achter VSM's kan worden uitgebreid naar individuele woordrepresentaties via de techniek die bekend staat als word embeddings. Word embeddings werken volgens een vergelijkbaar wiskundig principe, maar richten zich op het representeren van individuele woorden als vectoren in plaats van volledige documenten. De dimensies in deze vectoren vangen latente semantische kenmerken die niet direct interpreteerbaar zijn.

Hier is een voorbeeld met 2-dimensionale embeddings voor drie woorden:

Zoals geïllustreerd in de afbeelding liggen de vectoren voor "woman" en "queen", evenals voor "queen" en "king", dicht bij elkaar, wat wijst op een sterke semantische overeenkomst. Daarentegen suggereert de grotere hoek tussen "woman" en "king" een grotere semantische afstand.

Toepassingen van vectorruimte-modellen

Vectorruimte-modellen worden gebruikt in een breed scala aan NLP-taken:

• Semantische gelijkenis: het berekenen van de gelijkenis tussen tekstbestanden of woorden op basis van hun vectorrepresentaties;

• Informatieopvraging: het verbeteren van zoekmachines en aanbevelingssystemen om inhoud te vinden die relevant is voor de zoekopdracht van een gebruiker;

• Tekstclassificatie en clustering: het automatisch categoriseren van documenten in vooraf gedefinieerde klassen of het groeperen van vergelijkbare documenten;

• Begrip van natuurlijke taal: het faciliteren van diepgaandere linguïstische analyse die de weg vrijmaakt voor toepassingen zoals sentimentanalyse, topic modeling en meer.