Oppsummering av Modellering
Du har nå lært hvordan du bygger en modell, integrerer den i en pipeline, og tuner hyperparametere. To evalueringsmetoder er også dekket: train-test-splitt og kryssvalidering.
Neste steg er å kombinere modellevaluering med hyperparametertuning ved bruk av GridSearchCV eller RandomizedSearchCV.
Siden datasettet vårt er lite, vil vi bruke GridSearchCV, men alt som nevnes nedenfor gjelder også for RandomizedSearchCV.
Målet er å oppnå høyest mulig kryssvalideringsscore på datasettet, siden kryssvalidering er mer stabilt og mindre avhengig av hvordan dataene deles enn train-test-metoden.
GridSearchCV er spesielt utviklet for dette formålet: den identifiserer hyperparametere som gir best kryssvalideringsscore, og produserer en finjustert modell som presterer optimalt på treningsdataene.
Attributtet .best_score_ lagrer den høyeste kryssvalideringsscoren som ble funnet under søket.
De beste hyperparametrene for ett spesifikt datasett er ikke nødvendigvis de beste generelt. Hvis nye data legges til, kan de optimale hyperparametrene endres.
Dermed kan .best_score_ som oppnås være høyere enn ytelsen på helt ukjente data, siden hyperparametrene kanskje ikke generaliserer like godt utover treningsdatasettet.
Vanligvis deles datasettet først inn i trenings- og testsett. Kryssvalidering brukes deretter på treningssettet for å finjustere modellen og identifisere den beste konfigurasjonen. Til slutt evalueres den optimaliserte modellen på testsettet, som inneholder helt ukjente data, for å vurdere dens reelle ytelse.
Oppsummert består hele arbeidsflyten av:
- Forbehandling av data;
- Deling av datasettet i trenings- og testsett;
- Bruk av kryssvalidering på treningssettet for å finne den best presterende modellen;
- Evaluering av denne modellen på testsettet.
Det tredje steget innebærer vanligvis å teste flere algoritmer og justere deres hyperparametre for å identifisere det beste alternativet. For enkelhets skyld ble kun én algoritme brukt i dette kurset.
Før du går videre til den siste utfordringen, er det viktig å merke seg at kryssvalidering ikke er den eneste metoden for å finjustere modeller. Etter hvert som datasett blir større, tar det mer tid å beregne kryssvalideringsscore, og det vanlige trenings-/test-splittet gir mer stabilitet på grunn av den økte størrelsen på testsettet.
Derfor deles store datasett ofte inn i tre sett: et treningssett, et valideringssett og et testsett. Modellen trenes på treningssettet og evalueres på valideringssettet for å velge modellen eller hyperparametrene som presterer best.
Dette valget bruker valideringssettets score i stedet for kryssvalideringsscore. Til slutt vurderes den valgte modellen på testsettet, som består av helt ukjente data, for å verifisere ytelsen.
Pingvindatasettet er lite, med kun 342 forekomster. På grunn av denne begrensede størrelsen vil kryssvalideringsscore bli brukt til evaluering i neste kapittel.
Takk for tilbakemeldingene dine!
Spør AI
Spør AI
Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår
What is the difference between cross-validation and the train-test split?
How does GridSearchCV help in hyperparameter tuning?
Why is a validation set used for large datasets?
Awesome!
Completion rate improved to 3.13Oppsummering av Modellering
Sveip for å vise menyen
Du har nå lært hvordan du bygger en modell, integrerer den i en pipeline, og tuner hyperparametere. To evalueringsmetoder er også dekket: train-test-splitt og kryssvalidering.
Neste steg er å kombinere modellevaluering med hyperparametertuning ved bruk av GridSearchCV eller RandomizedSearchCV.
Siden datasettet vårt er lite, vil vi bruke GridSearchCV, men alt som nevnes nedenfor gjelder også for RandomizedSearchCV.
Målet er å oppnå høyest mulig kryssvalideringsscore på datasettet, siden kryssvalidering er mer stabilt og mindre avhengig av hvordan dataene deles enn train-test-metoden.
GridSearchCV er spesielt utviklet for dette formålet: den identifiserer hyperparametere som gir best kryssvalideringsscore, og produserer en finjustert modell som presterer optimalt på treningsdataene.
Attributtet .best_score_ lagrer den høyeste kryssvalideringsscoren som ble funnet under søket.
De beste hyperparametrene for ett spesifikt datasett er ikke nødvendigvis de beste generelt. Hvis nye data legges til, kan de optimale hyperparametrene endres.
Dermed kan .best_score_ som oppnås være høyere enn ytelsen på helt ukjente data, siden hyperparametrene kanskje ikke generaliserer like godt utover treningsdatasettet.
Vanligvis deles datasettet først inn i trenings- og testsett. Kryssvalidering brukes deretter på treningssettet for å finjustere modellen og identifisere den beste konfigurasjonen. Til slutt evalueres den optimaliserte modellen på testsettet, som inneholder helt ukjente data, for å vurdere dens reelle ytelse.
Oppsummert består hele arbeidsflyten av:
- Forbehandling av data;
- Deling av datasettet i trenings- og testsett;
- Bruk av kryssvalidering på treningssettet for å finne den best presterende modellen;
- Evaluering av denne modellen på testsettet.
Det tredje steget innebærer vanligvis å teste flere algoritmer og justere deres hyperparametre for å identifisere det beste alternativet. For enkelhets skyld ble kun én algoritme brukt i dette kurset.
Før du går videre til den siste utfordringen, er det viktig å merke seg at kryssvalidering ikke er den eneste metoden for å finjustere modeller. Etter hvert som datasett blir større, tar det mer tid å beregne kryssvalideringsscore, og det vanlige trenings-/test-splittet gir mer stabilitet på grunn av den økte størrelsen på testsettet.
Derfor deles store datasett ofte inn i tre sett: et treningssett, et valideringssett og et testsett. Modellen trenes på treningssettet og evalueres på valideringssettet for å velge modellen eller hyperparametrene som presterer best.
Dette valget bruker valideringssettets score i stedet for kryssvalideringsscore. Til slutt vurderes den valgte modellen på testsettet, som består av helt ukjente data, for å verifisere ytelsen.
Pingvindatasettet er lite, med kun 342 forekomster. På grunn av denne begrensede størrelsen vil kryssvalideringsscore bli brukt til evaluering i neste kapittel.
Takk for tilbakemeldingene dine!
