Come mostrato nei capitoli precedenti, le previsioni del modello possono variare a seconda del valore di k (il numero di vicini). Quando si costruisce un modello k-NN, è importante scegliere il valore di k che offre le migliori prestazioni.

Un approccio comune consiste nell'utilizzare la validazione incrociata per valutare le prestazioni del modello. È possibile eseguire un ciclo e calcolare i punteggi di validazione incrociata per una gamma di valori di k, quindi selezionare quello con il punteggio più alto. Questo è il metodo più utilizzato.

Per eseguire questa operazione, sklearn offre uno strumento pratico: la classe GridSearchCV.

Il parametro param_grid accetta un dizionario in cui le chiavi sono i nomi dei parametri e i valori sono elenchi di opzioni da provare. Ad esempio, per testare i valori da 1 a 99 per n_neighbors, si può scrivere:

param_grid = {'n_neighbors': range(1, 100)}

Chiamando il metodo .fit(X, y) sull'oggetto GridSearchCV, verrà effettuata una ricerca nella griglia dei parametri per trovare i parametri migliori e quindi riaddestrare il modello sull'intero dataset utilizzando tali parametri ottimali.

È possibile accedere al miglior punteggio tramite l'attributo .best_score_ ed effettuare previsioni con il modello ottimizzato utilizzando il metodo .predict(). Allo stesso modo, si può recuperare il miglior modello stesso tramite l'attributo .best_estimator_.