Miksi RNN:t ja CNN:t Eivät Riitä NLP:ssä

Luonnollisen kielen käsittelyssä kielen rakenne ja merkitys ulottuvat usein pitkien tekstijaksojen yli. Varhaiset syväoppimismallit, kuten rekurenttiset neuroverkot (RNNs) ja konvoluutioneuroverkot (CNNs), mukautettiin muilta aloilta käsittelemään sekventiaalista dataa, mutta molemmat lähestymistavat kohtaavat merkittäviä pullonkauloja kielitehtävissä.

RNNs käsittelevät syötesequensseja yksi merkki kerrallaan, ylläpitäen piilotilaa, jota päivitetään askel askeleelta. Tämä sekventiaalinen luonne estää laskennan rinnakkaistamisen aikasteppien yli, mikä hidastaa koulutusta ja päättelyä. Lisäksi, kun sekvenssi pitenee, takaisin kulkevat gradientit kutistuvat eksponentiaalisesti – ilmiö tunnetaan nimellä katoavan gradientin ongelma. Tämä vaikeuttaa RNNs:n kykyä oppia riippuvuuksia kaukaisista sekvenssin osista, mikä on erityisen ongelmallista tehtävissä kuten dokumenttiluokittelu tai konekäännös, joissa tekstin aiemman osan konteksti voi olla ratkaisevaa.

CNNs puolestaan soveltavat konvoluutiosuodattimia kiinteän kokoisiin syöteikkunoihin. Vaikka CNNs mahdollistavat jonkin verran rinnakkaistamista ja pystyvät tehokkaasti havaitsemaan paikallisia piirteitä, niiden paikalliset reseptiiviset kentät tarkoittavat, että kukin lähtöarvo on vain rajallisen konteksti-ikkunan vaikutuksen alainen. Pidemmän kantaman riippuvuuksien havaitsemiseksi täytyy pinota useita konvoluutiokerroksia tai kasvattaa suodattimien kokoa, mikä muuttuu nopeasti tehottomaksi ja silti vaikeuttaa kaukana toisistaan olevien sanojen välisten suhteiden mallintamista lauseessa.

Nämä pullonkaulat korostuvat erityisesti tosielämän tekstiluokittelu- tai sekvenssiprediktiotehtävissä. Esimerkiksi sentimenttianalyysissä lauseen tunne voi riippua sanasta alussa ja toisesta lopussa. RNNs saattavat vaikeuksissa yhdistää nämä sanat katoavien gradienttien vuoksi, kun taas CNNs voivat jäädä kokonaan huomaamatta pitkän kantaman yhteyden, jos se jää niiden reseptiivisen kentän ulkopuolelle.

Transformerit ratkaisevat nämä rajoitteet käyttämällä itsehuomiomekanismia, jonka avulla jokainen syötteen merkki voi suoraan huomioida kaikki muut merkit riippumatta niiden sijainnista sekvenssissä. Tämä mahdollistaa pitkän kantaman riippuvuuksien tehokkaan mallintamisen ja tekee laskennan rinnakkaistamisen mahdolliseksi kaikissa sekvenssin kohdissa, mikä nopeuttaa merkittävästi koulutusta ja päättelyä.

Seuraava taulukko tiivistää keskeiset erot RNNs-, CNNs- ja Transformers-mallien välillä NLP-tehtävien kannalta olennaisissa ominaisuuksissa:

Tämä vertailu korostaa, miksi Transformerit ovat nousseet modernien NLP-sovellusten suosituimmaksi arkkitehtuuriksi.