Як показано в попередніх розділах, передбачення моделі можуть змінюватися залежно від значення k (кількість сусідів). Під час побудови моделі k-NN важливо обрати таке значення k, яке забезпечує найкращу продуктивність.

Поширеним підходом є використання крос-валідації для оцінки якості моделі. Можна виконати цикл і обчислити оцінки крос-валідації для різних значень k, а потім обрати те, яке дає найвищий результат. Це найпоширеніший метод.

Для цього у sklearn є зручний інструмент: клас GridSearchCV.

Параметр param_grid приймає словник, де ключами є назви параметрів, а значеннями — списки варіантів для перевірки. Наприклад, щоб протестувати значення від 1 до 99 для n_neighbors, можна записати:

param_grid = {'n_neighbors': range(1, 100)}

Виклик методу .fit(X, y) для об'єкта GridSearchCV дозволяє здійснити пошук по сітці параметрів, знайти найкращі параметри, а потім перенавчити модель на всьому наборі даних з використанням цих параметрів.

Отримати найкращий результат можна за допомогою атрибута .best_score_, а робити передбачення оптимізованою моделлю — через метод .predict(). Також саму найкращу модель можна отримати через атрибут .best_estimator_.