What Makes Up a Transformer Architecture

En Transformer består af to hoveddele: encoder og decoder. Encoderen læser og opsummerer inputteksten og indfanger betydningen og konteksten af hvert ord i forhold til de andre. Decoderen bruger derefter denne opsummering sammen med sin egen opmærksomhed på tidligere genererede ord til at producere det endelige output – såsom en oversættelse eller et resumé. Denne opbygning gør det muligt for Transformers at håndtere en bred vifte af NLP-opgaver mere effektivt og præcist end traditionelle metoder.

Opmærksomhedsmekanismen er en central del af Transformer-arkitekturen, der gør det muligt for modellen at afgøre, hvilke ord i en sekvens der er vigtigst under behandling eller generering af sprog. Opmærksomhed kan betragtes som en måde, hvorpå modellen kan "fokusere" på bestemte ord, mens den læser en sætning, ligesom man selv lægger ekstra mærke til nøgleord for at forstå en kompleks instruktion.

For eksempel hjælper opmærksomhed i sætningen "The cat sat on the mat because it was tired" modellen med at finde ud af, at "it" refererer til "the cat" ved at se på relationerne mellem ordene. Denne proces fungerer uanset ordenes placering, hvilket gør opmærksomhed central for, hvordan Transformers forstår sprog.

Nedenfor ses et forenklet diagram over den overordnede Transformer-arkitektur, der fremhæver informationsflowet mellem encoder, decoder og attention-mekanismer:

Her ses, hvordan inputtekst først indlejres og positionelt kodes, før den sendes gennem encoder-stakken. Outputtet fra encoderen føres derefter ind i decoder-stakken, som anvender både sin egen self-attention og encoder-decoder attention til at generere det endelige output.

Transformers har introduceret flere innovationer, der driver nutidens mest avancerede NLP-modeller:

• Self-attention: opfanger relationer mellem alle ord i en sekvens, så modellen forstår kontekst uanset ordstilling;
• Parallel behandling: behandler alle ord samtidigt, hvilket gør træning og inferens meget hurtigere;
• Ingen rekurrens eller konvolution: undgår begrænsningerne ved RNN'er og CNN'er, hvilket resulterer i et enklere og mere skalerbart design;
• Positionel kodning: giver modellen en fornemmelse af ordstilling, så den kan forstå sekvensstruktur.

Disse egenskaber gør Transformers til rygraden i avancerede applikationer som maskinoversættelse og tekstopsummering.