Перейдемо до більш складних понять: власні значення (Eigenvalues) та власні вектори (Eigenvectors). На цьому кроці потрібно обчислити власні значення та власні вектори з коваріаційної матриці, щоб отримати головні компоненти.

Першим кроком є обчислення власних значень коваріаційної матриці. Вже на основі власних значень обчислюються власні вектори.

Отримані значення є власними векторами (тобто головними компонентами), які вирішують математичну задачу пошуку напрямку осей, що максимізує дисперсію між точками даних уздовж цього напрямку. Щоб полегшити розуміння, просто уявіть, що отримані головні компоненти - це новий, більш зручний спосіб представлення даних, новий кут, під яким відмінності в даних стають для нас більш помітними.

На виході ми отримаємо стільки ж компонент, скільки спочатку було змінних у наборі даних. Наприклад, набір даних з 20 змінними на цьому етапі отримає 20 головних компонент.

Основна деталь полягає в тому, що кожен власний вектор має власну пару власних значень. Чим більше власне значення, тим вища значущість результуючої головної компоненти (власного вектора). Перша компонента зберігає найважливішу інформацію, друга - трохи менше, і так далі.

Чому власні вектори відіграють таку важливу роль у формуванні головних компонент - складне питання, відповідь на яке потребує довгого математичного доведення. Наразі нам просто потрібно знати, що це працює.

Давайте використаємо numpy для обчислення власних значень та власних векторів:

eigen_values, eigen_vectors = np.linalg.eig(cov_mat)