Mikä on monipäinen huomio

Monipäinen huomiointi on tehokas mekanismi, joka on Transformer-arkkitehtuurin ytimessä. Sen perusajatuksena on mahdollistaa mallin keskittyminen samanaikaisesti eri osiin lausetta, jolloin se pystyy havaitsemaan laajan kirjon sanojen välisiä suhteita. Tämän saavuttamiseksi malli jakaa jokaisen sanan upotuksen useisiin pienempiin vektoreihin, joita kutsutaan "päiksi". Jokainen pää suorittaa oman huomiointilaskentansa rinnakkain. Tämä tarkoittaa, että kun yksi pää saattaa oppia keskittymään sanan välittömiin naapureihin, toinen voi kiinnittää huomiota lauseen alkuun ja kolmas voi seurata pidemmän matkan riippuvuuksia.

Tämä rinnakkainen huomiointi mahdollistaa Transformerille monipuolisten kuvioiden ja riippuvuuksien havaitsemisen tekstiaineistossa. Esimerkiksi lauseessa "The cat, which was hungry, chased the mouse," yksi pää voi keskittyä pääsubjektiin ja verbiin ("cat" ja "chased"), kun taas toinen voi tarkastella kuvailevaa sivulausetta ("which was hungry"). Yhdistämällä kaikkien päiden tuotokset malli rakentaa paljon rikkaamman ymmärryksen koko lauseesta kuin yksittäinen huomiointimekanismi voisi tarjota.

Monipäisen huomioinnin toimintaa voi havainnollistaa kuvitellen ruudukon, jossa jokainen rivi edustaa sanaa syötelausessa ja jokainen sarake edustaa huomiointipäätä. Jokainen solu tässä ruudukossa näyttää, mihin sanoihin tietty pää kiinnittää huomiota kyseisen sanan kohdalla. Esimerkiksi, jos lause on:

"She enjoys reading books at night"

Oletetaan, että käytössä on kolme huomiointipäätä. Visuaalinen ruudukko voisi näyttää tältä:

Tässä ruudukossa jokainen pää oppii keskittymään erilaisiin suhteisiin. "Pää 1" voi seurata kieliopillista rakennetta, "Pää 2" voi keskittyä subjektiin ja "Pää 3" voi kiinnittää huomiota sijaintiin tai aikaan. Tämä keskittymisen monipuolisuus antaa multi-head attention -mekanismille sen vahvuuden ymmärtää monimutkaisia kielen rakenteita.