Resumen de Modelado
Ahora sabes cómo construir un modelo, utilizar pipelines y ajustar hiperparámetros. También aprendiste dos métodos de evaluación: división de entrenamiento-prueba y validación cruzada.
El siguiente paso es combinar la evaluación y el ajuste utilizando GridSearchCV o RandomizedSearchCV.
Dado que nuestro conjunto de datos es pequeño, utilizaremos GridSearchCV, pero todo lo mencionado a continuación también se aplica a RandomizedSearchCV.
Dado que la validación cruzada es más estable que una sola división entrenamiento-prueba, el objetivo es lograr la mayor puntuación de validación cruzada.
GridSearchCV busca entre los hiperparámetros y encuentra aquellos que maximizan esta puntuación. La mejor puntuación se almacena en .best_score_.
Los hiperparámetros que funcionan mejor para un conjunto de datos pueden no generalizarse cuando llegan nuevos datos.
Por lo tanto, .best_score_ puede ser mayor que el rendimiento del modelo en datos completamente no vistos.
Un flujo de trabajo común: dividir en conjuntos de entrenamiento y prueba; ejecutar validación cruzada en el conjunto de entrenamiento para ajustar el modelo; luego evaluar el modelo optimizado en el conjunto de prueba para medir el rendimiento en el mundo real.
En resumen:
- Preprocesar los datos;
- Dividir en conjuntos de entrenamiento y prueba;
- Utilizar validación cruzada en el conjunto de entrenamiento para encontrar la mejor configuración;
- Evaluar en el conjunto de prueba.
El tercer paso generalmente implica probar múltiples algoritmos y ajustar sus hiperparámetros para identificar la mejor opción. Por simplicidad, en este curso solo se utilizó un único algoritmo.
La validación cruzada no siempre es la mejor opción. Para conjuntos de datos grandes, calcular los puntajes de validación cruzada resulta costoso, mientras que una división en entrenamiento y prueba se vuelve más estable gracias al gran conjunto de prueba.
Los conjuntos de datos grandes suelen dividirse en entrenamiento, validación y prueba. Los hiperparámetros se eligen en función del rendimiento en el conjunto de validación. Finalmente, el modelo seleccionado se evalúa en el conjunto de prueba para verificar su capacidad de generalización.
El conjunto de datos de pingüinos es pequeño, con solo 342 instancias. Debido a este tamaño limitado, la puntuación de validación cruzada se utilizará para la evaluación en el próximo capítulo.
¡Gracias por tus comentarios!
Pregunte a AI
Pregunte a AI
Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla
What is the difference between GridSearchCV and RandomizedSearchCV?
Can you explain how cross-validation works in more detail?
Why is cross-validation preferred for small datasets?
Awesome!
Completion rate improved to 3.13Resumen de Modelado
Desliza para mostrar el menú
Ahora sabes cómo construir un modelo, utilizar pipelines y ajustar hiperparámetros. También aprendiste dos métodos de evaluación: división de entrenamiento-prueba y validación cruzada.
El siguiente paso es combinar la evaluación y el ajuste utilizando GridSearchCV o RandomizedSearchCV.
Dado que nuestro conjunto de datos es pequeño, utilizaremos GridSearchCV, pero todo lo mencionado a continuación también se aplica a RandomizedSearchCV.
Dado que la validación cruzada es más estable que una sola división entrenamiento-prueba, el objetivo es lograr la mayor puntuación de validación cruzada.
GridSearchCV busca entre los hiperparámetros y encuentra aquellos que maximizan esta puntuación. La mejor puntuación se almacena en .best_score_.
Los hiperparámetros que funcionan mejor para un conjunto de datos pueden no generalizarse cuando llegan nuevos datos.
Por lo tanto, .best_score_ puede ser mayor que el rendimiento del modelo en datos completamente no vistos.
Un flujo de trabajo común: dividir en conjuntos de entrenamiento y prueba; ejecutar validación cruzada en el conjunto de entrenamiento para ajustar el modelo; luego evaluar el modelo optimizado en el conjunto de prueba para medir el rendimiento en el mundo real.
En resumen:
- Preprocesar los datos;
- Dividir en conjuntos de entrenamiento y prueba;
- Utilizar validación cruzada en el conjunto de entrenamiento para encontrar la mejor configuración;
- Evaluar en el conjunto de prueba.
El tercer paso generalmente implica probar múltiples algoritmos y ajustar sus hiperparámetros para identificar la mejor opción. Por simplicidad, en este curso solo se utilizó un único algoritmo.
La validación cruzada no siempre es la mejor opción. Para conjuntos de datos grandes, calcular los puntajes de validación cruzada resulta costoso, mientras que una división en entrenamiento y prueba se vuelve más estable gracias al gran conjunto de prueba.
Los conjuntos de datos grandes suelen dividirse en entrenamiento, validación y prueba. Los hiperparámetros se eligen en función del rendimiento en el conjunto de validación. Finalmente, el modelo seleccionado se evalúa en el conjunto de prueba para verificar su capacidad de generalización.
El conjunto de datos de pingüinos es pequeño, con solo 342 instancias. Debido a este tamaño limitado, la puntuación de validación cruzada se utilizará para la evaluación en el próximo capítulo.
¡Gracias por tus comentarios!
