How Self-Attention Works

Щоб зрозуміти, як працює механізм самоуваги, уявіть, що ви читаєте речення: «The animal didn't cross the street because it was too tired.» Коли ви зустрічаєте слово «it», потрібно визначити, до якого іменника воно відноситься. Самоувага дозволяє моделі аналізувати всі слова в реченні та визначати, які з них є найбільш релевантними для значення кожного слова. Це досягається за допомогою запитів (queries), ключів (keys) та значень (values) — математичних представлень кожного слова, які допомагають моделі обчислювати, на які слова слід звертати увагу.

Зручний спосіб візуалізувати самоувагу — використати сітку, яка показує, наскільки кожне слово в реченні «звертає увагу» на інші слова. Також можна використати теплову карту, де кожен рядок і стовпець відповідає слову в реченні. Колір клітинки показує, наскільки одне слово «звертає увагу» на інше. На тепловій карті нижче темніші клітинки вказують на сильнішу увагу між певними словами. Така візуалізація допомагає побачити, які слова модель пов’язує найсильніше під час обробки речення:

Зверніть увагу, що слово «it» має сильну вагу уваги до «animal» і «tired», що показує: модель навчилася, що «it» відноситься до «animal» і пов’язане зі станом «tired». Такі розподіли уваги формуються під час навчання та дозволяють моделі захоплювати контекст і зв’язки незалежно від відстані між словами в реченні. Саме цей механізм надає Transformer-моделям здатність розуміти значення у складних мовних конструкціях.