Lernen Train-Test-Split und Kreuzvalidierung

Swipe um das Menü anzuzeigen

In den vorherigen Kapiteln haben wir die Modelle erstellt und neue Werte vorhergesagt. Allerdings wissen wir nicht, wie gut das Modell tatsächlich arbeitet und ob diese Vorhersagen verlässlich sind.

Train-Test-Split

Um die Leistung des Modells zu messen, benötigen wir einen Teil der gelabelten Daten, den das Modell noch nicht gesehen hat. Daher teilen wir alle gelabelten Daten zufällig in Trainingsmenge und Testmenge auf.

Dies lässt sich mit der Funktion train_test_split() aus sklearn erreichen.

In der Regel wird das Modell zu 70-90 % für den Trainingssatz und zu 10-30 % für den Testsatz aufgeteilt.

Hinweis

Wenn Ihr Datensatz Millionen von Instanzen enthält, reicht es in der Regel aus, nur einige Tausend für den Test zu verwenden. In solchen Fällen kann sogar weniger als 10 % der Daten für den Test reserviert werden.

Nun kann das Modell mit dem Trainingssatz trainiert und seine Genauigkeit am Testsatz bewertet werden.


              123456789101112131415161718192021
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

# Splitting the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

knn = KNeighborsClassifier(n_neighbors=3).fit(X_train, y_train)

# Printing the accuracy on the test set
print(knn.score(X_test, y_test))

Dieses Vorgehen weist jedoch einige Schwächen auf:

Es wird nicht der gesamte verfügbare Datensatz für das Training genutzt, was das Modell verbessern könnte;
Da die Genauigkeit des Modells nur an einem kleinen Teil der Daten (Testmenge) bewertet wird, kann dieser Genauigkeitswert bei kleineren Datensätzen unzuverlässig sein. Sie können den obigen Code mehrfach ausführen und beobachten, wie sich die Genauigkeit jedes Mal ändert, wenn eine neue Testmenge ausgewählt wird.

Kreuzvalidierung

Kreuzvalidierung wurde entwickelt, um das Problem des Overfittings zu adressieren und sicherzustellen, dass das Modell gut auf neue, unbekannte Daten generalisieren kann. Man kann sie sich als Klassenzimmertraining für das Modell vorstellen — sie hilft dem Modell, auf ausgewogenere Weise zu lernen, bevor es dem eigentlichen Abschlusstest begegnet.

Die Idee ist, den gesamten Datensatz zu mischen und in n gleich große Teile, sogenannte Folds, zu unterteilen. Anschließend durchläuft das Modell n Iterationen. In jeder Iteration werden n-1 Folds für das Training und 1 Fold für die Validierung verwendet. So wird jeder Teil der Daten einmal zur Validierung genutzt und es entsteht eine zuverlässigere Schätzung der Modellleistung.

Beachten Sie, dass Kreuzvalidierung nicht den Testdatensatz ersetzt. Nachdem Sie mit Kreuzvalidierung Ihr Modell ausgewählt und optimiert haben, sollten Sie es auf einem separaten Testdatensatz bewerten, um eine unverfälschte Einschätzung der realen Leistungsfähigkeit zu erhalten.

Hinweis

Eine gängige Wahl für die Anzahl der Faltungen ist 5. In diesem Fall wird eine Faltung als Testmenge verwendet und die verbleibenden 4 Faltungen dienen dem Training.

Es werden fünf Modelle mit leicht unterschiedlichen Teilmengen trainiert. Für jedes Modell wird die Testgenauigkeit berechnet:

\text{accuracy} = \frac{\text{predicted correctly}}{\text{predicted correctly} + \text{predicted incorrectly}}

Nachdem dies durchgeführt wurde, kann der Durchschnitt dieser 5 Genauigkeitswerte berechnet werden, welcher als Cross-Validation-Genauigkeit dient:

\text{accuracy}_{avg} = \frac{\text{accuracy}_1+\text{accuracy}_2+...+\text{accuracy}_5}{5}

Es ist zuverlässiger, da wir die Genauigkeit mit allen unseren Daten berechnet haben – nur in fünf Durchläufen unterschiedlich aufgeteilt.

Jetzt, da wir wissen, wie gut das Modell abschneidet, können wir es mit dem gesamten Datensatz erneut trainieren.

Glücklicherweise stellt sklearn die Funktion cross_val_score() zur Verfügung, um das Modell mithilfe von Cross-Validation zu bewerten, sodass Sie dies nicht selbst implementieren müssen:

Hier ist ein Beispiel, wie Cross-Validation mit einem k-NN-Modell durchgeführt wird, das auf dem Star Wars-Bewertungsdatensatz trainiert wurde:


              12345678910111213141516171819
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import cross_val_score

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

scaler = StandardScaler()
X = scaler.fit_transform(X)

knn = KNeighborsClassifier(n_neighbors=3)

# Calculating the accuracy for each split
scores = cross_val_score(knn, X, y, cv=5)
print('Scores: ', scores)
print('Average score:', scores.mean())

Die standardmäßig für die Klassifikation verwendete Kennzahl ist die Genauigkeit.

War alles klar?

Danke für Ihr Feedback!

Abschnitt 1. Kapitel 6

Fragen Sie AI

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen

Abschnitt 1. Kapitel 6