Frontière de Décision

Traçons les résultats de la régression logistique. Considérons l'exemple suivant à deux caractéristiques :

Une fois que nous avons construit une Régression Logistique, nous pouvons tracer une frontière de décision. Elle montre la région de chaque classe où de nouvelles instances sont prédites comme appartenant à cette classe. Par exemple, voici la frontière de décision de la Régression Logistique appliquée aux données ci-dessus.

Nous pouvons voir que la ligne sépare parfaitement deux classes ici. Lorsque cela se produit, le jeu de données est appelé linéairement séparable. Cependant, ce n'est pas toujours le cas. Que se passerait-il si le jeu de données était comme ceci :

Ci-dessus se trouve une frontière de décision pour un ensemble de données légèrement différent. Ici, les données ne sont pas linéairement séparables ; par conséquent, les prédictions faites par la régression logistique sont imparfaites.
Malheureusement, par défaut, la régression logistique ne peut pas prédire des frontières de décision plus complexes, donc c'est la meilleure prédiction que nous puissions obtenir.
Mais rappelez-vous que la régression logistique est dérivée de la régression linéaire qui a une solution à un problème avec le modèle étant trop simple. Cette solution est une régression polynomiale, et nous pouvons utiliser son équation pour calculer z afin d'obtenir une forme de frontière de décision plus complexe !

Tout comme dans la régression polynomiale, nous avons seulement besoin d'appliquer un transformateur PolynomialFeatures à notre X. Voici la syntaxe :

Il utilise l'équation d'une régression polynomiale de second degré. Vous pouvez obtenir des frontières de décision encore plus complexes en augmentant le degré, mais comme montré dans le chapitre suivant, le modèle peut souffrir de surapprentissage.