Підсумок Моделювання
Ви вже дізналися, як створювати модель, інтегрувати її у конвеєр та налаштовувати гіперпараметри. Також розглянуто два методи оцінювання: розділення на навчальну та тестову вибірки і крос-валідацію.
Наступний крок — поєднання оцінювання моделі з налаштуванням гіперпараметрів за допомогою GridSearchCV або RandomizedSearchCV.
Оскільки наш набір даних дуже малий, ми будемо використовувати GridSearchCV, але все, що зазначено нижче, також стосується і RandomizedSearchCV.
Мета полягає в отриманні найвищого балу крос-валідації на наборі даних, оскільки крос-валідація є більш стабільною і менш залежною від способу розділення даних, ніж підхід train-test.
GridSearchCV спеціально розроблений для цієї мети: він визначає гіперпараметри, які забезпечують найкращий бал крос-валідації, створюючи оптимізовану модель, що найкраще працює на навчальних даних.
Атрибут .best_score_ зберігає найвищий бал крос-валідації, знайдений під час пошуку.
Найкращі гіперпараметри для однієї конкретної вибірки можуть не бути найкращими загалом. Якщо додати нові дані, оптимальні гіперпараметри можуть змінитися.
Відповідно, значення .best_score_, яке було досягнуто, може бути вищим за результат на повністю нових даних, оскільки гіперпараметри можуть не так добре узагальнюватися за межами навчальної вибірки.
Зазвичай набір даних спочатку розділяють на навчальну та тестову вибірки. Крос-валідацію застосовують до навчальної вибірки для налаштування моделі та визначення найкращої конфігурації. Нарешті, оптимізовану модель оцінюють на тестовій вибірці, яка містить повністю нові дані, щоб оцінити її реальну ефективність.
Підсумовуючи, повний робочий процес складається з:
- Попередньої обробки даних;
- Розділення набору даних на навчальну та тестову вибірки;
- Використання крос-валідації на навчальній вибірці для пошуку найефективнішої моделі;
- Оцінювання цієї моделі на тестовій вибірці.
Третій крок зазвичай передбачає тестування декількох алгоритмів і налаштування їхніх гіперпараметрів для визначення найкращого варіанту. Для спрощення в цьому курсі використовувався лише один алгоритм.
Перш ніж перейти до фінального завдання, важливо зазначити, що крос-валідація не є єдиним методом для тонкого налаштування моделей. Із зростанням розміру датасетів обчислення оцінок крос-валідації стає більш тривалим, а звичайний поділ на тренувальну та тестову вибірки забезпечує більшу стабільність завдяки збільшеному розміру тестової вибірки.
Відповідно, великі датасети часто поділяють на три набори: тренувальний набір, валідаційний набір та тестовий набір. Модель навчається на тренувальному наборі та оцінюється на валідаційному наборі для вибору моделі або гіперпараметрів, які показують найкращі результати.
Для цього вибору використовуються оцінки на валідаційному наборі замість оцінок крос-валідації. Нарешті, обрана модель перевіряється на тестовому наборі, який складається з повністю нових даних, щоб перевірити її ефективність.
Набір даних penguins є невеликим, містить лише 342 екземпляри. Через обмежений розмір для оцінювання в наступному розділі буде використано оцінку за допомогою крос-валідації.
Дякуємо за ваш відгук!
Запитати АІ
Запитати АІ
Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат
What is the difference between cross-validation and the train-test split?
How does GridSearchCV help in hyperparameter tuning?
Why is a validation set used for large datasets?
Awesome!
Completion rate improved to 3.13Підсумок Моделювання
Свайпніть щоб показати меню
Ви вже дізналися, як створювати модель, інтегрувати її у конвеєр та налаштовувати гіперпараметри. Також розглянуто два методи оцінювання: розділення на навчальну та тестову вибірки і крос-валідацію.
Наступний крок — поєднання оцінювання моделі з налаштуванням гіперпараметрів за допомогою GridSearchCV або RandomizedSearchCV.
Оскільки наш набір даних дуже малий, ми будемо використовувати GridSearchCV, але все, що зазначено нижче, також стосується і RandomizedSearchCV.
Мета полягає в отриманні найвищого балу крос-валідації на наборі даних, оскільки крос-валідація є більш стабільною і менш залежною від способу розділення даних, ніж підхід train-test.
GridSearchCV спеціально розроблений для цієї мети: він визначає гіперпараметри, які забезпечують найкращий бал крос-валідації, створюючи оптимізовану модель, що найкраще працює на навчальних даних.
Атрибут .best_score_ зберігає найвищий бал крос-валідації, знайдений під час пошуку.
Найкращі гіперпараметри для однієї конкретної вибірки можуть не бути найкращими загалом. Якщо додати нові дані, оптимальні гіперпараметри можуть змінитися.
Відповідно, значення .best_score_, яке було досягнуто, може бути вищим за результат на повністю нових даних, оскільки гіперпараметри можуть не так добре узагальнюватися за межами навчальної вибірки.
Зазвичай набір даних спочатку розділяють на навчальну та тестову вибірки. Крос-валідацію застосовують до навчальної вибірки для налаштування моделі та визначення найкращої конфігурації. Нарешті, оптимізовану модель оцінюють на тестовій вибірці, яка містить повністю нові дані, щоб оцінити її реальну ефективність.
Підсумовуючи, повний робочий процес складається з:
- Попередньої обробки даних;
- Розділення набору даних на навчальну та тестову вибірки;
- Використання крос-валідації на навчальній вибірці для пошуку найефективнішої моделі;
- Оцінювання цієї моделі на тестовій вибірці.
Третій крок зазвичай передбачає тестування декількох алгоритмів і налаштування їхніх гіперпараметрів для визначення найкращого варіанту. Для спрощення в цьому курсі використовувався лише один алгоритм.
Перш ніж перейти до фінального завдання, важливо зазначити, що крос-валідація не є єдиним методом для тонкого налаштування моделей. Із зростанням розміру датасетів обчислення оцінок крос-валідації стає більш тривалим, а звичайний поділ на тренувальну та тестову вибірки забезпечує більшу стабільність завдяки збільшеному розміру тестової вибірки.
Відповідно, великі датасети часто поділяють на три набори: тренувальний набір, валідаційний набір та тестовий набір. Модель навчається на тренувальному наборі та оцінюється на валідаційному наборі для вибору моделі або гіперпараметрів, які показують найкращі результати.
Для цього вибору використовуються оцінки на валідаційному наборі замість оцінок крос-валідації. Нарешті, обрана модель перевіряється на тестовому наборі, який складається з повністю нових даних, щоб перевірити її ефективність.
Набір даних penguins є невеликим, містить лише 342 екземпляри. Через обмежений розмір для оцінювання в наступному розділі буде використано оцінку за допомогою крос-валідації.
Дякуємо за ваш відгук!
