Was Ist k-NN

Beginnen wir unser Klassifikationsabenteuer mit der einfachsten Aufgabe — der binären Klassifikation mit nur einem Merkmal.
Angenommen, wir möchten Süßigkeiten als Kekse/nicht Kekse klassifizieren, basierend nur auf ihrem Gewicht.

Eine einfache Möglichkeit, die Klasse einer neuen Instanz vorherzusagen, besteht darin, ihren nächsten Nachbarn zu betrachten. In unserem Beispiel müssen wir eine Süßigkeit finden, die am ähnlichsten zu der neuen Instanz wiegt.

Das ist die Idee hinter k-Nearest Neighbors(k-NN) - wir betrachten einfach die Nachbarn.
Der k-NN-Algorithmus geht davon aus, dass ähnliche Dinge in unmittelbarer Nähe existieren. Mit anderen Worten, ähnliche Dinge sind nah beieinander.
k im k-NN steht für die Anzahl der Nachbarn, die wir bei einer Vorhersage berücksichtigen.

Im obigen Beispiel haben wir nur 1 Nachbarn betrachtet, daher war es der 1-Nächste-Nachbar. Aber normalerweise wird k auf eine größere Zahl gesetzt. Nur einen Nachbarn zu betrachten, kann unzuverlässig sein. Betrachten Sie das Beispiel:

Wenn k (Anzahl der Nachbarn) größer als eins ist, wählen wir die häufigste Klasse in der Nachbarschaft als Vorhersage.

Hier ist ein Beispiel für die Vorhersage von zwei neuen Instanzen mit k=3.

Wie Sie sehen können, kann das Ändern des k zu unterschiedlichen Vorhersagen führen. Wir werden in den späteren Kapiteln darüber sprechen, wie man das beste k auswählt.
Sie haben sich vielleicht gefragt, was passiert, wenn eine identische Anzahl von Klassen in der Nachbarschaft existiert? Zum Beispiel, wenn k=2 und die Nachbarn unterschiedliche Klassen sind. In der Praxis ist der Wert von k normalerweise größer, und Gleichstände kommen selten vor. Die Scikit-learn-Implementierung behandelt diesen Fall nicht einmal separat. Sie wählt einfach basierend auf der Reihenfolge.