Bagging-Modelle

Bagging (Bootstrap-Aggregation) Modell - ein Ensemble-Lernmodell, das aus identischen Basismodellen besteht und deren Ergebnisse durch Abstimmung aggregiert. Abstimmung bedeutet in diesem Fall, dass das Ensemble den Ergebniswert liefert, für den die Mehrheit der schwachen Lerner stimmt. Im Detail werden wir zwei Arten der Abstimmung besprechen, Soft Voting und Hard Voting.

Hard Voting

Angenommen, wir lösen ein binäres Klassifikationsproblem mit einer Anzahl von schwachen Lernern (zum Beispiel logistische Regression oder SVM). In diesem Szenario betrachten wir die endgültige Vorhersage als die Klasse, die die Mehrheit der Stimmen von den schwachen Lernern erhält.

Warum ist dieser Ansatz besser als die Verwendung eines einzelnen Modells?

1. Betrachten wir zunächst ein Szenario, in dem ein einfaches Modell das korrekte Ergebnis 51 Prozent der Zeit liefert. Ein solches Ergebnis ist nur geringfügig besser als zufälliges Raten.
2. Berechnen wir die Wahrscheinlichkeit, das korrekte Ergebnis mit einem Ensemble von 1000 dieser schwachen Modelle zu erhalten. Wenn wir Hard Voting verwenden, entspricht die Wahrscheinlichkeit, das korrekte Ergebnis zu erhalten, der Wahrscheinlichkeit, dass mehr als 500 Modelle das korrekte Ergebnis liefern.

Angenommen, die Ergebnisse aller schwachen Lerner sind unabhängig, können wir den Zentralen Grenzwertsatz verwenden, um die Wahrscheinlichkeit zu berechnen, die richtige Antwort zu erhalten (Sie können sich mit dem Zentralen Grenzwertsatz in diesen Kapiteln vertraut machen: Kapitel 1 , Kapitel 2 :

ξi - das Ergebnis des binären Klassifikators i. Dieses Ergebnis ist 1 mit einer Wahrscheinlichkeit von 0.51 und 0 mit einer Wahrscheinlichkeit von 0.49. Mit dem CLT können wir die Wahrscheinlichkeit berechnen, mehr als 500 richtige Ergebnisse unter 1000 Modellen zu erhalten, wie folgt:

Welche Schlussfolgerung können wir aus diesen Berechnungen ziehen?

Also kommen wir zu einer ziemlich erstaunlichen Schlussfolgerung: Mit einem schwachen Modell erhalten wir nur in 51% der Fälle die richtige Antwort, während wir durch die Verwendung der Ergebnisse von Tausenden solcher Modelle und die Aggregation ihrer Ergebnisse durch hartes Abstimmen eine Genauigkeit von mehr als 90% erreichen!

Es gibt jedoch eine wesentliche Nuance zu beachten. Alle oben genannten Schlussfolgerungen gelten nur, wenn die Ergebnisse jedes spezifischen Modells unabhängig von den Ergebnissen anderer Modelle sind. In der Praxis stellt diese Bedingung oft erhebliche Herausforderungen dar. Wenn wir mehrere Modelle mit denselben Daten trainieren, neigen sie dazu, identische Ergebnisse zu produzieren und verlieren dadurch ihre Unabhängigkeit.

Was ist Bootstrap?

Bootstrap-Technologie wird verwendet, um dieses Problem beim Training von Ensembles mit der Bagging-Methode zu überwinden.
Die Kernidee der Methode besteht darin, jedes einzelne schwache Modell nicht auf dem gesamten Trainingssatz, sondern auf einer zufälligen Teilmenge der Trainingsdaten zu trainieren. Dadurch erhalten wir eine Menge von Modellen, die jeweils auf einem anderen Datensubset trainiert wurden und als unabhängig voneinander betrachtet werden können.

Soft Voting

Soft Voting ist eine Aggregationstechnik, bei der die Vorhersagen der Basismodelle kombiniert werden, indem die Wahrscheinlichkeiten (Vertrauensniveaus), die jedem Klassenlabel zugewiesen werden, berücksichtigt werden, anstatt nur die Mehrheitsabstimmung zu betrachten.
So funktioniert Soft Voting:

1. Für jedes Basismodell im Ensemble weist das Modell jedem möglichen Klassenlabel für eine gegebene Eingabestichprobe Klassenwahrscheinlichkeiten zu. Diese Wahrscheinlichkeiten repräsentieren das Vertrauen des Modells in seine Vorhersagen.
2. Um eine endgültige Vorhersage mit Soft Voting zu treffen, nimmt das Ensemble den Durchschnitt der vorhergesagten Wahrscheinlichkeiten über alle Basismodelle für jedes Klassenlabel.
3. Das Klassenlabel mit der höchsten durchschnittlichen Wahrscheinlichkeit wird dann als endgültige Vorhersage für das Ensemble ausgewählt.

Hinweis

Die Soft Voting Aggregationstechnik kann nur für Basis-Schätzer angewendet werden, die die Methode .predict_proba() haben.