Kuinka transformerit luokittelevat tekstiä

Transformerit ovat muodostuneet tehokkaaksi työkaluksi tekstin luokittelussa, mahdollistaen kielen datan käsittelyn ja tulkinnan huomattavalla tarkkuudella. Käyttääksesi Transformer-mallia luokitteluun, syötelauseet muunnetaan ensin muotoon, jonka malli ymmärtää. Jokainen sana tai token lauseessa yhdistetään yksilölliseen tunnisteeseen, ja nämä tunnisteet muunnetaan sitten upotuksiksi. Nämä upotukset yhdistetään positioenkoodauksiin ja syötetään Transformer-mallin kooderikerrosten läpi.

Luokittelua varten lisätään tyypillisesti erityinen token – usein nimeltään luokittelutoken tai "[CLS]" – jokaisen syötelauseen alkuun. Tämän tokenin ulostulo-upotus toimii koko lauseen yhteenvedon tapaan. Kun Transformer on käsitellyt syötteen, tämä yhteenveto-upotus siirretään syöttökerrokseen tai yksinkertaiseen luokittelijaan, kuten täysin kytkettyyn neuroverkkoon, joka tuottaa todennäköisyysjakauman mahdollisista luokista.

Transformerin ulostulon tulkinta sisältää sekä ennustetun luokan että mallin huomiopainotusten tarkastelun. Ennustettu luokka kertoo, mihin kategoriaan syöte todennäköisimmin kuuluu, kun taas huomiopainotukset paljastavat, mihin sanoihin tai tokeneihin malli keskittyi tehdessään päätöksensä. Tämä auttaa ymmärtämään paitsi mallin ennusteen, myös syyt sen tekemän ennusteen taustalla.

Jokainen huomiopainotus vastaa lauseen sanaa (pois lukien [CLS]-tokenin). Korkeammat huomiopainotukset osoittavat, mitkä sanat malli katsoi tärkeimmiksi luokittelun kannalta. Esimerkiksi toisessa lauseessa sana "not" saa korkeimman huomiopainotuksen, mikä korostaa sen vahvaa vaikutusta negatiiviseen ennusteeseen.