Logistisk regresjon krever bare at datamaskinen lærer de beste parameterne $β$. For dette må vi definere hva "beste parametere" betyr. La oss minne oss på hvordan modellen fungerer; den predikerer $p$ – sannsynligheten for å tilhøre klasse 1:

Hvor

Åpenbart er en modell med gode parametere en som predikerer høy (nær 1) $p$ for observasjoner som faktisk tilhører klasse 1, og lav (nær 0) $p$ for observasjoner med faktisk klasse 0.

For å måle hvor dårlig eller god modellen er, bruker vi en kostnadsfunksjon. I lineær regresjon brukte vi MSE (mean squared error) som kostnadsfunksjon. Denne gangen brukes en annen funksjon:

Her representerer $p$ sannsynligheten for å tilhøre klasse 1, slik modellen har forutsagt, mens $y$ angir den faktiske målverdien.

Denne funksjonen straffer ikke bare feilaktige prediksjoner, men tar også hensyn til modellens selvtillit i sine prediksjoner. Som illustrert i bildet over, når verdien av $p$ ligger nær $y$ (den faktiske målverdien), forblir kostnadsfunksjonen relativt liten, noe som indikerer at modellen trygt valgte riktig klasse. Omvendt, hvis prediksjonen er feil, øker kostnadsfunksjonen eksponentielt etter hvert som modellens selvtillit i feil klasse vokser.

I konteksten av binær klassifisering med en sigmoid-funksjon, brukes kostnadsfunksjonen som spesifikt kalles binær kryssentropitap, som vist ovenfor. Det er viktig å merke seg at det også finnes en generell form kjent som kryssentropitap (eller kategorisk kryssentropi) som brukes for flerklasses klassifiseringsproblemer.

Det kategoriske kryssentropitapet for én treningsinstans beregnes som følger:

Hvor

• $C$ er antall klasser;
• $y_i$ er den faktiske målverdien (1 hvis klassen er korrekt, 0 ellers);
• $p_i$ er den predikerte sannsynligheten for at instansen tilhører klasse $i$.

Vi beregner tapfunksjonen for hver treningsinstans og tar gjennomsnittet. Dette gjennomsnittet kalles kostnadsfunksjonen. Logistisk regresjon finner parameterne $\beta$ som minimerer kostnadsfunksjonen.