Behovet for numerisk representasjon

Datamaskiner kan ikke tolke tekst slik mennesker gjør. Mens vi utleder mening fra språk gjennom kontekst, kultur og erfaring, ser datamaskiner ikke annet enn sekvenser av tegn.

For å gjøre tekst tilgjengelig for maskiner, må vi oversette den til deres morsmål: tall. Å representere tekst med vektorer og matriser gjør det mulig for matematiske og statistiske modeller å avdekke mønstre, relasjoner og innsikter som ellers ville forblitt skjult i rå tekst.

Forståelse av vektorrommodeller

Heldigvis finnes det allerede effektive løsninger for å konvertere tekst til numerisk form. En av de mest utbredte tilnærmingene er bruk av vektorrommodeller.

Det finnes mange måter å konstruere slike vektorrom for tekstbaserte dokumenter. En enkel tilnærming er å bruke hele korpusvokabularet, der hver dimensjon i rommet tilordnes et unikt begrep.

La korpusvokabularet betegnes som $V$ og dokumentmengden som $D$. Da kan hvert dokument $d_i \in D$ representeres som en vektor i $\R^N$:

hvor:

• $N = |V|$ er det totale antallet unike begreper i vokabularet;
• $w_{j,i}$ angir vekten eller viktigheten til begrepet $W_j \in V$ i dokumentet $d_i$.

Her er et enkelt eksempel med kun 2 dokumenter og 2 unike begreper, visualisert i et 2D-vektorrom:

Ved å bruke disse vektorrepresentasjonene kan vi beregne en likhetsscore mellom dokumenter ved å måle vinkelen mellom vektorene deres, vanligvis ved hjelp av cosinuslikhet.

Ord som vektorer

Ideen bak VSM-er kan utvides til individuelle ordrepresentasjoner gjennom teknikken kjent som word embeddings. Word embeddings bygger på et lignende matematisk prinsipp, men fokuserer på å representere enkeltord som vektorer i stedet for hele dokumenter. Dimensjonene i disse vektorene fanger opp latente semantiske trekk som ikke er direkte tolkbare.

Her er et eksempel med todimensjonale embeddinger for tre ord:

Som illustrert i bildet er vektorene for "woman" og "queen", samt for "queen" og "king", plassert nær hverandre, noe som indikerer sterk semantisk likhet. I kontrast antyder den større vinkelen mellom "woman" og "king" en større semantisk forskjell.

Bruksområder for vektorrommodeller

Vektorrommodeller brukes i et bredt spekter av NLP-oppgaver:

• Semantisk likhet: beregning av likhet mellom tekst-dokumenter eller ord basert på deres vektorrepresentasjoner;

• Informasjonshenting: forbedring av søkemotorer og anbefalingssystemer for å finne innhold relevant for en brukers forespørsel;

• Tekstklassifisering og klynging: automatisk kategorisering av dokumenter i forhåndsdefinerte klasser eller gruppering av lignende dokumenter;

• Forståelse av naturlig språk: muliggjør dypere språklig analyse som legger grunnlaget for applikasjoner som sentimentanalyse, emnemodellering og mer.