Що таке багатоголова увага

Мультиголовна увага — це потужний механізм, який лежить в основі архітектури Transformer. Основна ідея полягає в тому, щоб дозволити моделі одночасно зосереджуватися на різних частинах речення, охоплюючи широкий спектр взаємозв'язків між словами. Для цього модель розділяє векторне представлення кожного слова на декілька менших векторів, які називаються "головами". Кожна голова виконує власний розрахунок уваги паралельно. Це означає, що одна голова може навчитися зосереджуватися на найближчих сусідах слова, інша — на початку речення, а ще одна — відстежувати зв'язки на більших відстанях.

Така паралельна увага дозволяє Transformer захоплювати різноманітні шаблони та залежності в текстових даних. Наприклад, у реченні "The cat, which was hungry, chased the mouse," одна голова може зосередитися на головному підметі та присудку ("cat" і "chased"), тоді як інша — на описовій частині ("which was hungry"). Об'єднуючи результати всіх голів, модель формує значно глибше розуміння всього речення, ніж це могла б забезпечити будь-яка окрема увага.

Щоб уявити, як працює мультиголовна увага, уявіть собі сітку, де кожен рядок відповідає слову у вхідному реченні, а кожен стовпець — окремій голові уваги. Кожна клітинка цієї сітки показує, на які слова певна голова звертає увагу для заданого слова. Наприклад, якщо у вас є речення:

"She enjoys reading books at night"

Припустимо, у вас є три голови уваги. Візуальна сітка може виглядати так:

У цій сітці кожна голова навчається фокусуватися на різних взаємозв'язках. «Голова 1» може відстежувати граматичний потік, «Голова 2» — зосереджуватися на підметі, а «Голова 3» — звертати увагу на місце або час. Така різноманітність фокусування і забезпечує багатоголовій увазі її ефективність у розумінні складних мовних структур.