Oppiskele Vektoritiilamallit | Perustekstin Mallit

Tarve numeeriselle esitykselle

Tietokoneet eivät tulkitse tekstiä samalla tavalla kuin ihmiset. Siinä missä ihmiset ymmärtävät kielen merkityksen kontekstin, kulttuurin ja kokemuksen kautta, tietokoneet näkevät vain merkkijonoja.

Jotta teksti olisi koneiden käsiteltävissä, se täytyy muuntaa niiden omalle kielelle: numeroiksi. Tekstin esittäminen vektoreina ja matriiseina mahdollistaa matemaattisten ja tilastollisten mallien löytää kuvioita, suhteita ja oivalluksia, jotka muuten jäisivät piiloon raakatekstissä.

Vektoriavaruusmallien ymmärtäminen

Onneksi tehokkaita ratkaisuja tekstin muuntamiseksi numeeriseen muotoon on jo olemassa. Yksi laajimmin käytetyistä lähestymistavoista on vektoriavaruusmallien hyödyntäminen.

Määritelmä

Vektoriavaruusmalli (VSM) on matemaattinen malli, jossa tekstidokumentit, sanat tai muut kohteet esitetään vektoreina moniulotteisessa avaruudessa.

On olemassa monia tapoja rakentaa tällaisia vektoriavaruuksia tekstidokumenteille. Yksi yksinkertainen lähestymistapa on käyttää koko korpuksen sanastoa, jossa jokainen avaruuden ulottuvuus vastaa yksittäistä termiä.

Määritelmä

Sanasto on kokoelma kaikista ainutlaatuisista termeistä, jotka esiintyvät tietyssä korpuksessa.

Merkitään korpuksen sanastoa symbolilla $V$ ja dokumenttijoukkoa symbolilla $D$ . Tällöin jokainen dokumentti $d_i \in D$ voidaan esittää vektorina avaruudessa $\R^N$ :

d_i = (w_{1,i}, w_{2,i}, ..., w_{N,i})

missä:

$N = |V|$ on sanaston ainutlaatuisten termien kokonaismäärä;
$w_{j,i}$ ilmaisee termin $W_j \in V$ painon tai tärkeyden dokumentissa $d_i$ .

Tässä on yksinkertainen esimerkki, jossa on vain 2 dokumenttia ja 2 ainutlaatuista termiä, havainnollistettuna kaksiulotteisessa vektoriavaruudessa:

Näiden vektoriedustusten avulla voidaan laskea samankaltaisuuspisteet dokumenttien välillä mittaamalla niiden vektorien välistä kulmaa, tyypillisesti käyttämällä kosinietäisyyttä.

Sanat vektoreina

VSM-mallien periaatetta voidaan laajentaa yksittäisten sanojen esittämiseen tekniikalla, jota kutsutaan sanaupotuksiksi. Sanaupotukset perustuvat samankaltaiseen matemaattiseen periaatteeseen, mutta keskittyvät yksittäisten sanojen esittämiseen vektoreina koko dokumentin sijaan. Näiden vektorien ulottuvuudet kuvaavat piileviä semanttisia ominaisuuksia, joita ei voi suoraan tulkita.

Tässä on esimerkki kolmen sanan kaksiulotteisista upotuksista:

Kuvassa näkyy, että vektorit "woman" ja "queen" sekä "queen" ja "king" sijaitsevat lähellä toisiaan, mikä osoittaa vahvaa semanttista samankaltaisuutta. Sen sijaan laajempi kulma "woman" ja "king" välillä viittaa suurempaan semanttiseen eroon.

Huomio

Älä huolehdi sanaupotuksista vielä, käsittelemme niitä myöhemmin.

Vektoriavaruusmallien sovellukset

Vektoriavaruusmalleja käytetään monenlaisissa NLP-tehtävissä:

Semanttinen samankaltaisuus: tekstiasiakirjojen tai sanojen samankaltaisuuden laskeminen niiden vektoriedustusten perusteella;
Tiedonhaku: hakukoneiden ja suositusjärjestelmien parantaminen löytämään käyttäjän kyselyyn liittyvää sisältöä;
Tekstin luokittelu ja klusterointi: asiakirjojen automaattinen luokittelu ennalta määriteltyihin luokkiin tai samankaltaisten asiakirjojen ryhmittely;
Luonnollisen kielen ymmärtäminen: syvemmän kielellisen analyysin mahdollistaminen, mikä luo pohjan sovelluksille kuten sentimenttianalyysi, aiheiden mallinnus ja muille.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 3. Luku 1

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Awesome!

Completion rate improved to 3.45

Pyyhkäise näyttääksesi valikon

Tarve numeeriselle esitykselle

Vektoriavaruusmallien ymmärtäminen

Onneksi tehokkaita ratkaisuja tekstin muuntamiseksi numeeriseen muotoon on jo olemassa. Yksi laajimmin käytetyistä lähestymistavoista on vektoriavaruusmallien hyödyntäminen.

Määritelmä

Vektoriavaruusmalli (VSM) on matemaattinen malli, jossa tekstidokumentit, sanat tai muut kohteet esitetään vektoreina moniulotteisessa avaruudessa.

Määritelmä

Sanasto on kokoelma kaikista ainutlaatuisista termeistä, jotka esiintyvät tietyssä korpuksessa.

Merkitään korpuksen sanastoa symbolilla $V$ ja dokumenttijoukkoa symbolilla $D$ . Tällöin jokainen dokumentti $d_i \in D$ voidaan esittää vektorina avaruudessa $\R^N$ :

d_i = (w_{1,i}, w_{2,i}, ..., w_{N,i})

missä:

$N = |V|$ on sanaston ainutlaatuisten termien kokonaismäärä;
$w_{j,i}$ ilmaisee termin $W_j \in V$ painon tai tärkeyden dokumentissa $d_i$ .

Tässä on yksinkertainen esimerkki, jossa on vain 2 dokumenttia ja 2 ainutlaatuista termiä, havainnollistettuna kaksiulotteisessa vektoriavaruudessa:

Näiden vektoriedustusten avulla voidaan laskea samankaltaisuuspisteet dokumenttien välillä mittaamalla niiden vektorien välistä kulmaa, tyypillisesti käyttämällä kosinietäisyyttä.

Sanat vektoreina

Tässä on esimerkki kolmen sanan kaksiulotteisista upotuksista:

Huomio

Älä huolehdi sanaupotuksista vielä, käsittelemme niitä myöhemmin.

Vektoriavaruusmallien sovellukset

Vektoriavaruusmalleja käytetään monenlaisissa NLP-tehtävissä:

Semanttinen samankaltaisuus: tekstiasiakirjojen tai sanojen samankaltaisuuden laskeminen niiden vektoriedustusten perusteella;
Tiedonhaku: hakukoneiden ja suositusjärjestelmien parantaminen löytämään käyttäjän kyselyyn liittyvää sisältöä;
Tekstin luokittelu ja klusterointi: asiakirjojen automaattinen luokittelu ennalta määriteltyihin luokkiin tai samankaltaisten asiakirjojen ryhmittely;
Luonnollisen kielen ymmärtäminen: syvemmän kielellisen analyysin mahdollistaminen, mikä luo pohjan sovelluksille kuten sentimenttianalyysi, aiheiden mallinnus ja muille.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 3. Luku 1