La regresión logística solo requiere que el ordenador aprenda los mejores parámetros $β$. Para ello, es necesario definir qué significa "mejores parámetros". Recordemos cómo funciona el modelo: predice la $p$ - probabilidad de pertenecer a la clase 1:

Donde

Evidentemente, el modelo con buenos parámetros es aquel que predice una $p$ alta (cercana a 1) para instancias que realmente pertenecen a la clase 1 y una $p$ baja (cercana a 0) para instancias cuya clase real es 0.

Para medir qué tan bueno o malo es el modelo, se utiliza una función de coste. En la regresión lineal, se utilizó MSE (error cuadrático medio) como función de coste. En este caso, se emplea una función diferente:

Aquí, $p$ representa la probabilidad de pertenecer a la clase 1, según lo predicho por el modelo, mientras que $y$ denota el valor real del objetivo.

Esta función no solo penaliza las predicciones incorrectas, sino que también considera la confianza del modelo en sus predicciones. Como se ilustra en la imagen anterior, cuando el valor de $p$ coincide estrechamente con $y$ (el objetivo real), la función de costo permanece relativamente pequeña, lo que indica que el modelo seleccionó con confianza la clase correcta. Por el contrario, si la predicción es incorrecta, la función de costo aumenta exponencialmente a medida que crece la confianza del modelo en la clase incorrecta.

En el contexto de la clasificación binaria con una función sigmoide, la función de costo utilizada se denomina específicamente pérdida de entropía cruzada binaria, que se mostró anteriormente. Es importante señalar que también existe una forma general conocida como pérdida de entropía cruzada (o entropía cruzada categórica) utilizada para problemas de clasificación multiclase.

La pérdida de entropía cruzada categórica para una sola instancia de entrenamiento se calcula de la siguiente manera:

Donde

• $C$ es el número de clases;
• $y_i$ es el valor real del objetivo (1 si la clase es la correcta, 0 en caso contrario);
• $p_i$ es la probabilidad predicha de que la instancia pertenezca a la clase $i$.

Calculamos la función de pérdida para cada instancia de entrenamiento y tomamos el promedio. Este promedio se denomina función de costo. La regresión logística encuentra los parámetros $\beta$ que minimizan la función de costo.