Logistisk regression är faktiskt en klassificeringsalgoritm, trots ordet "Regression" i dess namn.

Den har fått sitt namn eftersom den baseras på linjär regression, men använder en logistisk (sigmoid) funktion för att omvandla resultatet till sannolikheter, vilket gör det möjligt att klassificera data i kategorier istället för att förutsäga kontinuerliga värden.

Anta att du vill förutsäga om en person kommer att få betalningsinställelse på ett första lån (ingen kredithistorik tillgänglig).

Vid linjär regression bygger vi en ekvation för att förutsäga numeriska värden. Vi kan använda samma ekvation för att beräkna ett "tillförlitlighetsbetyg". Det kommer att ta hänsyn till faktorer som inkomst, anställningstid, skuldkvot med mera. Ett högre tillförlitlighetsbetyg innebär en lägre risk för betalningsinställelse.

Värdena $\beta$ är de parametrar som modellen behöver lära sig. Under träningen justerar datorn dessa värden för att göra bättre förutsägelser. Detta görs genom att försöka minimera skillnaden mellan de förutsagda resultaten och de faktiska etiketterna – denna skillnad mäts med något som kallas förlustfunktion.

För att omvandla modellens råa utdata till en klassetikett (0 eller 1) använder logistisk regression en sigmoidfunktion. Denna funktion tar ett godtyckligt reellt tal och pressar det till ett intervall mellan 0 och 1, vilket gör det tolkningsbart som en sannolikhet.

Sigmoidfunktionen definieras som:

Här är $z$ poängen (även kallad logit) som vi tidigare beräknade.

Givet två klasser: 1 (en person kommer att få betalningsinställelse på ett första lån) och 0 (en person kommer inte att få betalningsinställelse på ett första lån), får vi efter att ha applicerat sigmoiden sannolikheten för att instansen tillhör klass 1.

För att fatta ett slutgiltigt beslut (0 eller 1) jämför vi sannolikheten med en tröskel – vanligtvis 0,5:

• Om sannolikheten är större än 0,5 förutsäger vi 1;
• Om den är mindre än eller lika med 0,5 förutsäger vi 0.