Qu'est-ce Que la Régression Logistique

Bien que la régression logistique ait le mot "régression" dans son nom, qui est une tâche différente, c'est un algorithme de classification.
Pourquoi est-il appelé ainsi ? Il est dérivé de la régression linéaire et modifié pour effectuer une tâche de classification au lieu de régression. Comment cela est-il réalisé ? Regardons l'exemple !

Remarque

Cette section contient des références à une régression linéaire. Si vous n'êtes pas familier avec la régression linéaire, vous pouvez consulter notre cours de régression linéaire avec Python, bien que vous devriez vous en sortir même sans comprendre toutes les références.

Supposons que vous vouliez prédire si une personne fera défaut sur un premier prêt (aucun historique de crédit disponible). Dans la régression linéaire, nous avons construit une équation pour prédire des valeurs numériques. Nous pouvons utiliser la même équation pour calculer un "score de fiabilité". Il prendra en compte des caractéristiques telles que le revenu, la durée de l'emploi actuel, le ratio dette/revenu, etc. Un score de fiabilité plus élevé signifie une probabilité plus faible de défaut.

β sont les paramètres que l'ordinateur apprendra pendant l'entraînement. Le prochain chapitre couvrira l'apprentissage des paramètres. Pour l'instant, disons que nous avons déjà les meilleures valeurs de β. L'étape suivante consisterait à calculer un score de fiabilité pour chaque instance dans l'ensemble d'entraînement et à les tracer.

Maintenant, nous devons convertir ce score en classes, 0 ou 1. La méthode de la régression logistique pour le faire est d'appliquer une fonction sigmoïde. Elle réduit les prédictions à une plage de 0 à 1.

Maintenant, la ligne de prédiction que nous obtenons est une probabilité d'appartenir à la classe "1".
Pour convertir la prédiction en 0 ou 1 au lieu d'une probabilité, nous pouvons utiliser le seuil (généralement fixé à 0,5). Si la probabilité prédite est supérieure au seuil, nous classons l'instance comme 1, sinon comme 0.

Nous n'entrerons pas dans les détails mathématiques du choix de la fonction sigmoïde, et vous n'avez pas nécessairement besoin de comprendre son équation. Cependant, en regardant le graphique, vous pouvez voir pourquoi elle convient à notre tâche. Elle prédit avec confiance la classe pour un score de fiabilité très bas ou très élevé. Et au milieu, où nous avons des instances des deux classes et où nous ne pouvons pas être sûrs, elle prédit une probabilité autour de 0,5 qui augmente lentement à mesure que le z devient plus grand.

Donc, c'est l'idée derrière la Régression Logistique. Évidemment, cette approche peut être généralisée pour de nombreuses tâches différentes, par exemple calculer un "score de biscuit" pour classer les sucreries comme biscuit/pas un biscuit :). Mais pour que tout ce concept de Régression Logistique fonctionne bien, nous devons correctement trouver les paramètres β. C'est ce que vous apprendrez dans le prochain chapitre !