Oppiskele Train-Test-Jako ja Ristiinvalidointi

Pyyhkäise näyttääksesi valikon

Aiemmissa luvuissa rakensimme mallit ja ennustimme uusia arvoja. Emme kuitenkaan tiedä, kuinka hyvin malli suoriutuu ja ovatko nämä ennusteet luotettavia.

Train-Test Split

Mallin suorituskyvyn mittaamiseksi tarvitsemme osan merkittyä dataa, jota malli ei ole nähnyt. Siksi jaamme kaikki merkityt tiedot satunnaisesti opetusjoukkoon ja testijoukkoon.

Tämä on mahdollista käyttämällä train_test_split()-kirjaston sklearn-funktiota.

Yleensä mallista jaetaan noin 70-90 % koulutusjoukolle ja 10-30 % testijoukolle.

Huomio

Kun tietoaineistossasi on miljoonia havaintoja, muutaman tuhannen käyttäminen testaukseen on yleensä enemmän kuin riittävästi. Tällöin voit varata jopa alle 10 % datasta testaukseen.

Nyt voimme kouluttaa mallin koulutusjoukolla ja arvioida sen tarkkuuden testijoukolla.


              123456789101112131415161718192021
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

# Splitting the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

knn = KNeighborsClassifier(n_neighbors=3).fit(X_train, y_train)

# Printing the accuracy on the test set
print(knn.score(X_test, y_test))

Mutta tässä lähestymistavassa on joitakin puutteita:

Kaikkea saatavilla olevaa dataa ei käytetä mallin kouluttamiseen, mikä voisi parantaa mallin suorituskykyä;
Koska mallin tarkkuutta arvioidaan vain pienellä osalla dataa (testijoukko), tämä tarkkuus voi olla epäluotettava pienillä aineistoilla. Voit suorittaa yllä olevan koodin useita kertoja ja havaita, kuinka tarkkuus muuttuu joka kerta, kun uusi testijoukko arvotaan.

Ristiinvalidointi

Ristiinvalidointi on suunniteltu ratkaisemaan ylisovittamisen ongelmaa ja varmistamaan, että malli yleistyy hyvin uuteen, aiemmin näkemättömään dataan. Voit ajatella sitä kuin luokkahuonekoulutuksena mallillesi — se auttaa mallia oppimaan tasapainoisemmin ennen varsinaista lopputestiä.

Ajatuksena on sekoittaa koko aineisto ja jakaa se n yhtä suureen osaan, joita kutsutaan taitoksiksi (folds). Tämän jälkeen malli käy läpi n iteraatiota. Jokaisessa iteraatiossa n-1 taitosta käytetään koulutukseen ja 1 taitos validointiin. Näin jokainen osa datasta toimii validointina kerran, ja saadaan luotettavampi arvio mallin suorituskyvystä.

Huomioi, että ristiinvalidointi ei korvaa testijoukkoa. Kun ristiinvalidointia on käytetty mallin valintaan ja hienosäätöön, se tulee arvioida erillisellä testijoukolla puolueettoman arvion saamiseksi mallin todellisesta suorituskyvystä.

Huomio

Yleinen valinta taitosten määräksi on 5. Tällöin yksi taitos toimii testijoukkona ja jäljelle jäävät 4 taitosta käytetään koulutukseen.

Koulutamme viisi mallia hieman erilaisilla osajoukoilla. Jokaiselle mallille lasketaan testijoukon tarkkuus:

\text{accuracy} = \frac{\text{predicted correctly}}{\text{predicted correctly} + \text{predicted incorrectly}}

Kun tämä on tehty, voidaan laskea näiden viiden tarkkuuden keskiarvo, joka toimii ristiinvalidoinnin tarkkuutena:

\text{accuracy}_{avg} = \frac{\text{accuracy}_1+\text{accuracy}_2+...+\text{accuracy}_5}{5}

Tämä menetelmä on luotettavampi, koska laskimme tarkkuusluvun käyttäen kaikkia tietojamme – vain jaettuna eri tavalla viidessä iteraatiossa.

Nyt kun tiedämme, kuinka hyvin malli suoriutuu, voimme kouluttaa sen uudelleen koko aineistolla.

Onneksi sklearn tarjoaa cross_val_score()-funktion mallin arviointiin ristivalidoinnilla, joten sinun ei tarvitse toteuttaa sitä itse:

Tässä on esimerkki siitä, miten ristivalidointia käytetään k-NN-mallin kanssa, joka on koulutettu Star Wars -arviointiaineistolla:


              12345678910111213141516171819
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import cross_val_score

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

scaler = StandardScaler()
X = scaler.fit_transform(X)

knn = KNeighborsClassifier(n_neighbors=3)

# Calculating the accuracy for each split
scores = cross_val_score(knn, X, y, cv=5)
print('Scores: ', scores)
print('Average score:', scores.mean())

Luokittelussa oletusarvoisesti käytetty pistemittari on tarkkuus.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 1. Luku 6

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Osio 1. Luku 6