Opsummering af Modellering
Du har nu lært, hvordan man opbygger en model, integrerer den i en pipeline, og tuner hyperparametre. To evalueringsmetoder er også blevet gennemgået: train-test split og krydsvalidering.
Næste skridt er at kombinere modelevaluering med hyperparametertuning ved hjælp af GridSearchCV eller RandomizedSearchCV.
Da vores datasæt er meget lille, vil vi bruge GridSearchCV, men alt nævnt nedenfor gælder også for en RandomizedSearchCV.
Målet er at opnå den højeste krydsvalideringsscore på datasættet, da krydsvalidering er mere stabil og mindre afhængig af, hvordan dataene opdeles, end train-test metoden.
GridSearchCV er specifikt designet til dette formål: den identificerer de hyperparametre, der opnår den bedste krydsvalideringsscore, og producerer en fintunet model, der præsterer optimalt på træningsdataene.
Attributten .best_score_ gemmer den højeste krydsvalideringsscore, der blev fundet under søgningen.
De bedste hyperparametre for ét specifikt datasæt er ikke nødvendigvis de bedste generelt. Hvis nye data tilføjes, kan de optimale hyperparametre ændre sig.
Derfor kan .best_score_ være højere end præstationen på fuldstændigt usete data, da hyperparametrene muligvis ikke generaliserer lige så godt uden for træningsdatasættet.
Typisk deles datasættet først op i trænings- og testdatasæt. Krydsvalidering anvendes derefter på træningsdatasættet for at finjustere modellen og identificere den bedste konfiguration. Til sidst evalueres den optimerede model på testdatasættet, som kun indeholder usete data, for at vurdere dens reelle præstation.
Sammenfattende består hele arbejdsgangen af:
- Forbehandling af data;
- Opdeling af datasættet i trænings- og testdatasæt;
- Anvendelse af krydsvalidering på træningsdatasættet for at finde den bedst præsterende model;
- Evaluering af denne model på testdatasættet.
Det tredje trin indebærer normalt test af flere algoritmer og justering af deres hyperparametre for at identificere den bedste mulighed. For enkelhedens skyld blev kun én algoritme anvendt i dette kursus.
Før du går videre til den afsluttende udfordring, er det vigtigt at bemærke, at krydsvalidering ikke er den eneste metode til finjustering af modeller. Når datasæt bliver større, bliver beregning af krydsvalideringsscore mere tidskrævende, og det almindelige trænings-test split giver mere stabilitet på grund af den øgede størrelse af testdatasættet.
Derfor opdeles store datasæt ofte i tre sæt: et træningssæt, et valideringssæt og et testsæt. Modellen trænes på træningssættet og evalueres på valideringssættet for at vælge den model eller de hyperparametre, der klarer sig bedst.
Dette valg bruger valideringssættets score i stedet for krydsvalideringsscore. Til sidst vurderes den valgte model på testsættet, som består af helt usete data, for at verificere dens ydeevne.
Penguins-datasættet er lille, med kun 342 forekomster. På grund af denne begrænsede størrelse vil krydsvalideringsscoren blive brugt til evaluering i næste kapitel.
Tak for dine kommentarer!
Spørg AI
Spørg AI
Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat
Awesome!
Completion rate improved to 3.13Opsummering af Modellering
Stryg for at vise menuen
Du har nu lært, hvordan man opbygger en model, integrerer den i en pipeline, og tuner hyperparametre. To evalueringsmetoder er også blevet gennemgået: train-test split og krydsvalidering.
Næste skridt er at kombinere modelevaluering med hyperparametertuning ved hjælp af GridSearchCV eller RandomizedSearchCV.
Da vores datasæt er meget lille, vil vi bruge GridSearchCV, men alt nævnt nedenfor gælder også for en RandomizedSearchCV.
Målet er at opnå den højeste krydsvalideringsscore på datasættet, da krydsvalidering er mere stabil og mindre afhængig af, hvordan dataene opdeles, end train-test metoden.
GridSearchCV er specifikt designet til dette formål: den identificerer de hyperparametre, der opnår den bedste krydsvalideringsscore, og producerer en fintunet model, der præsterer optimalt på træningsdataene.
Attributten .best_score_ gemmer den højeste krydsvalideringsscore, der blev fundet under søgningen.
De bedste hyperparametre for ét specifikt datasæt er ikke nødvendigvis de bedste generelt. Hvis nye data tilføjes, kan de optimale hyperparametre ændre sig.
Derfor kan .best_score_ være højere end præstationen på fuldstændigt usete data, da hyperparametrene muligvis ikke generaliserer lige så godt uden for træningsdatasættet.
Typisk deles datasættet først op i trænings- og testdatasæt. Krydsvalidering anvendes derefter på træningsdatasættet for at finjustere modellen og identificere den bedste konfiguration. Til sidst evalueres den optimerede model på testdatasættet, som kun indeholder usete data, for at vurdere dens reelle præstation.
Sammenfattende består hele arbejdsgangen af:
- Forbehandling af data;
- Opdeling af datasættet i trænings- og testdatasæt;
- Anvendelse af krydsvalidering på træningsdatasættet for at finde den bedst præsterende model;
- Evaluering af denne model på testdatasættet.
Det tredje trin indebærer normalt test af flere algoritmer og justering af deres hyperparametre for at identificere den bedste mulighed. For enkelhedens skyld blev kun én algoritme anvendt i dette kursus.
Før du går videre til den afsluttende udfordring, er det vigtigt at bemærke, at krydsvalidering ikke er den eneste metode til finjustering af modeller. Når datasæt bliver større, bliver beregning af krydsvalideringsscore mere tidskrævende, og det almindelige trænings-test split giver mere stabilitet på grund af den øgede størrelse af testdatasættet.
Derfor opdeles store datasæt ofte i tre sæt: et træningssæt, et valideringssæt og et testsæt. Modellen trænes på træningssættet og evalueres på valideringssættet for at vælge den model eller de hyperparametre, der klarer sig bedst.
Dette valg bruger valideringssættets score i stedet for krydsvalideringsscore. Til sidst vurderes den valgte model på testsættet, som består af helt usete data, for at verificere dens ydeevne.
Penguins-datasættet er lille, med kun 342 forekomster. På grund af denne begrænsede størrelse vil krydsvalideringsscoren blive brugt til evaluering i næste kapitel.
Tak for dine kommentarer!
