Вивчайте Розділення на навчальну та тестову вибірки і крос-валідація

Свайпніть щоб показати меню

У попередніх розділах ми створювали моделі та передбачали нові значення. Але ми не знаємо, наскільки добре працює модель і чи є ці передбачення надійними.

Розділення на навчальну та тестову вибірки

Щоб оцінити ефективність моделі, нам потрібна підмножина розмічених даних, яку модель не бачила. Тому ми випадковим чином розділяємо всі розмічені дані на навчальну вибірку та тестову вибірку.

Це можна зробити за допомогою функції train_test_split() з бібліотеки sklearn.

Зазвичай модель розділяють приблизно на 70-90% для навчальної вибірки та 10-30% для тестової вибірки.

Примітка

Якщо у вашому наборі даних мільйони записів, для тестування зазвичай достатньо лише кількох тисяч. У таких випадках можна виділити навіть менше 10% даних для тестування.

Тепер можна навчити модель на навчальній вибірці та оцінити її точність на тестовій вибірці.


              123456789101112131415161718192021
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

# Splitting the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

knn = KNeighborsClassifier(n_neighbors=3).fit(X_train, y_train)

# Printing the accuracy on the test set
print(knn.score(X_test, y_test))

Але цей підхід має певні недоліки:

Не використовується вся доступна інформація для навчання, що могло б покращити модель;
Оскільки оцінка точності моделі проводиться на невеликій частині даних (тестовій вибірці), цей показник може бути ненадійним для малих наборів даних. Ви можете запустити код вище кілька разів і побачити, як змінюється точність щоразу, коли вибирається нова тестова вибірка.

Крос-валідація

Крос-валідація призначена для вирішення проблеми перенавчання та забезпечення здатності моделі добре узагальнювати нові, невідомі дані. Це можна порівняти з тренуванням у класі для вашої моделі — вона допомагає моделі навчатися більш збалансовано перед фінальним тестуванням.

Суть полягає у перемішуванні всього набору даних і поділі його на n рівних частин, які називаються фолдами. Далі модель проходить n ітерацій. На кожній ітерації n-1 фолдів використовуються для навчання, а 1 фолд — для валідації. Таким чином, кожна частина даних використовується для валідації один раз, і ми отримуємо більш надійну оцінку якості моделі.

Зверніть увагу, крос-валідація не замінює тестову вибірку. Після використання крос-валідації для вибору та налаштування моделі її слід оцінити на окремій тестовій вибірці, щоб отримати неупереджену оцінку реальної ефективності.

Примітка

Зазвичай вибирають 5 фолдів. У цьому випадку один фолд використовується як тестова вибірка, а решта 4 фолди — для навчання.

Ми навчаємо п’ять моделей на трохи різних підмножинах. Для кожної моделі обчислюємо точність на тестовій вибірці:

\text{accuracy} = \frac{\text{predicted correctly}}{\text{predicted correctly} + \text{predicted incorrectly}}

Після цього можна обчислити середнє з 5 отриманих значень точності, яке й буде нашою оцінкою точності крос-валідації:

\text{accuracy}_{avg} = \frac{\text{accuracy}_1+\text{accuracy}_2+...+\text{accuracy}_5}{5}

Цей підхід є більш надійним, оскільки ми обчислювали показник точності, використовуючи всі наші дані — лише по-різному розділені у п’яти ітераціях.

Тепер, коли відома ефективність моделі, можна перенавчити її на всьому наборі даних.

На щастя, sklearn надає функцію cross_val_score() для оцінювання моделі за допомогою крос-валідації, тому не потрібно реалізовувати це самостійно:

Приклад використання крос-валідації з моделлю k-NN, навченою на датасеті оцінок Star Wars:


              12345678910111213141516171819
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import cross_val_score

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

scaler = StandardScaler()
X = scaler.fit_transform(X)

knn = KNeighborsClassifier(n_neighbors=3)

# Calculating the accuracy for each split
scores = cross_val_score(knn, X, y, cv=5)
print('Scores: ', scores)
print('Average score:', scores.mean())

Оцінка, яка використовується за замовчуванням для класифікації, — це точність.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 1. Розділ 6

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Секція 1. Розділ 6