Logistisk regression er faktisk en klassifikationsalgoritme, på trods af ordet "Regression" i navnet.

Den har fået sit navn, fordi den er baseret på lineær regression, men den anvender en logistisk (sigmoid) funktion til at omdanne output til sandsynligheder, hvilket gør det muligt at klassificere data i kategorier i stedet for at forudsige kontinuerlige værdier.

Antag, at du ønsker at forudsige, om en person vil misligholde et første lån (ingen kredit historik tilgængelig).

Ved lineær regression opstiller vi en ligning for at forudsige numeriske værdier. Vi kan bruge den samme ligning til at beregne en "pålidelighedsscore". Den vil tage højde for egenskaber som indkomst, varighed af nuværende ansættelse, gæld-i-forhold-til-indkomst-forhold osv. En højere pålidelighedsscore betyder en lavere sandsynlighed for misligholdelse.

$\beta$-værdierne er de parametre, som modellen skal lære. Under træningen justerer computeren disse værdier for at opnå bedre forudsigelser. Dette sker ved at forsøge at minimere forskellen mellem de forudsagte resultater og de faktiske etiketter – denne forskel måles ved hjælp af noget, der kaldes tab-funktionen.

For at omdanne modellens rå output til en klasselabel (0 eller 1), anvender logistisk regression en sigmoidfunktion. Denne funktion tager et vilkårligt reelt tal og presser det ind i et interval mellem 0 og 1, hvilket gør det fortolkeligt som en sandsynlighed.

Sigmoidfunktionen er defineret som:

Her er $z$ scoren (også kaldet logit), som vi tidligere har beregnet.

Givet to klasser: 1 (en person vil misligholde et første lån) og 0 (en person vil ikke misligholde et første lån), får vi efter anvendelse af sigmoidfunktionen sandsynligheden for, at instansen tilhører klasse 1.

For at træffe en endelig beslutning (0 eller 1), sammenlignes sandsynligheden med en tærskel – typisk 0,5:

• Hvis sandsynligheden er større end 0,5, forudsiges 1;
• Hvis den er mindre end eller lig med 0,5, forudsiges 0.