Базове розуміння нейронних мереж рекомендується для цього розділу. Якщо ви не знайомі з цією темою, радимо ознайомитися з цим курсом:

Передумови

• Вступ до нейронних мереж

Обидві архітектури, CBoW та Skip-gram, навчають векторні подання слів за допомогою нейронної мережі, яка складається з наступних шарів:

• вхідний шар;
• один прихований шар;
• вихідний шар.

Матриця ваг між вхідним і прихованим шарами, позначена як $W^1$ або $E$, виконує роль матриці векторних подань. Кожен рядок цієї матриці відповідає вектору подання для відповідного слова, де $i$-ий рядок відповідає $i$-ому слову у словнику.

Ця матриця містить $V$ (розмір словника) векторів подань, кожен з яких має розмір $N$, який ми задаємо. Множення транспонованої цієї матриці (матриця $N \times V$) на one-hot вектор ($V \times 1$) дозволяє отримати подання конкретного слова, утворюючи вектор розміром $N \times 1$.

Друга матриця ваг, між прихованим і вихідним шарами, має розмір $N \times V$. Множення транспонованої цієї матриці (матриця $V \times N$) на вектор прихованого шару розміром $N \times 1$ дає вектор розміром $V \times 1$.

CBoW

Розгляньте приклад використання моделі CBoW:

Спочатку транспонована матриця ембеддінгів множиться на one-hot вектори контекстних слів для отримання їх ембеддінгів. Ці ембеддінги потім сумуються або усереднюються залежно від реалізації, щоб утворити один вектор. Цей вектор множиться на матрицю $W^2$, у результаті чого отримується вектор розміром $V \times 1$.

Нарешті, цей вектор проходить через активаційну функцію softmax, перетворюючись на розподіл ймовірностей, де кожен елемент відображає ймовірність того, що відповідне слово словника є цільовим словом.

Після цього обчислюється функція втрат, і обидві матриці ваг оновлюються для мінімізації цієї втрати. Ідеально, ймовірність цільового слова має бути близькою до 1, тоді як ймовірності для всіх інших слів мають наближатися до нуля. Цей процес повторюється для кожної комбінації цільового слова та його контекстних слів.

Після обробки всіх комбінацій завершується епоха. Зазвичай нейронна мережа навчається протягом кількох епох для забезпечення точного навчання. Нарешті, рядки отриманої матриці векторних представлень можна використовувати як векторні представлення слів. Кожен рядок відповідає векторному представленню певного слова у словнику, ефективно відображаючи його семантичні властивості в межах навченої моделі.

Skip-gram

Розглянемо тепер модель skip-gram:

Як видно, процес здебільшого подібний до CBoW. Він починається з отримання векторного представлення цільового слова, яке потім використовується у прихованому шарі. Далі формується вектор розміром $V \times 1$ на вихідному шарі. Цей вектор, отриманий шляхом множення векторного представлення цільового слова на матрицю ваг вихідного шару, потім перетворюється за допомогою активаційної функції softmax у вектор ймовірностей.

Втрати для кожного контекстного слова підсумовуються, і матриці ваг оновлюються відповідно на кожній ітерації для мінімізації загальної втрати. Після завершення заданої кількості епох матриця ембеддінгів може бути використана для отримання векторних представлень слів.