Varför RNN:er och CNN:er Inte Räcker Till Inom NLP

Vid arbete med naturlig språkbehandling sträcker sig språkets struktur och betydelse ofta över långa textavsnitt. Tidiga djupinlärningsmodeller som recurrent neural networks (RNNs) och convolutional neural networks (CNNs) anpassades från andra områden för att hantera sekventiell data, men båda metoderna möter kritiska flaskhalsar när de används för språk.

RNNs bearbetar inmatningssekvenser en token i taget och upprätthåller ett dolt tillstånd som uppdateras steg för steg. Denna sekventiella natur gör det omöjligt att parallellisera beräkningar över tidssteg, vilket saktar ner träning och inferens. Dessutom tenderar gradienter som skickas tillbaka genom många steg att krympa exponentiellt när sekvensen blir längre – ett fenomen känt som vanishing gradient problem. Detta gör det svårt för RNNs att lära sig beroenden från avlägsna delar av en sekvens, vilket är särskilt problematiskt för uppgifter som dokumentklassificering eller maskinöversättning, där kontext från tidigare i texten kan vara avgörande.

CNNs å andra sidan applicerar konvolutionella filter över fasta fönster av indata. Medan CNNs möjliggör viss parallellisering och effektivt kan fånga lokala mönster, innebär deras lokala receptiva fält att varje utdata endast påverkas av ett begränsat kontextfönster. För att fånga längre beroenden måste man stapla många konvolutionslager eller öka filterstorlekarna, vilket snabbt blir ineffektivt och ändå har svårt att modellera relationer mellan avlägsna ord i en mening.

Dessa flaskhalsar blir särskilt tydliga i verkliga textklassificerings- eller sekvensprediktionsuppgifter. Till exempel kan sentimentanalysens resultat bero på ett ord i början och ett annat i slutet av en mening. RNNs kan ha svårt att koppla samman dessa ord på grund av försvinnande gradienter, medan CNNs helt kan missa långdistanskopplingen om den ligger utanför deras receptiva fält.

Transformers hanterar dessa begränsningar genom att använda en self-attention-mekanism som gör det möjligt för varje token i indata att direkt uppmärksamma varje annan token, oavsett deras position i sekvensen. Detta gör att modellen effektivt kan fånga långdistansberoenden och möjliggör parallellisering av beräkningar över alla positioner i sekvensen, vilket kraftigt snabbar upp träning och inferens.

Följande tabell sammanfattar de viktigaste skillnaderna mellan RNNs, CNNs och Transformers utifrån egenskaper som är viktiga för NLP-uppgifter:

Denna jämförelse belyser varför Transformers har blivit det föredragna arkitekturen för moderna NLP-applikationer.