Neuroverkon kouluttaminen on iteraatiivinen prosessi, jossa malli parantaa suoritustaan vähitellen säätämällä painoja ja bias-arvoja minimoidakseen häviöfunktion. Tätä prosessia kutsutaan gradienttipohjaiseksi optimoinniksi, ja se noudattaa jäsenneltyä algoritmia.

Yleinen algoritmi

Aineisto syötetään ensin verkon läpi useita kertoja silmukassa, jossa jokaista täyttä läpikäyntiä kutsutaan epookiksi. Jokaisen epookin aikana data sekoitetaan, jotta malli ei opi esimerkkien järjestykseen perustuvia kaavoja. Sekoittaminen lisää satunnaisuutta, mikä johtaa kestävämpään malliin.

Jokaiselle koulutusesimerkille malli suorittaa eteenpäinlevityksen, jossa syötteet kulkevat verkon läpi kerros kerrokselta ja tuottavat ulostulon. Tämä ulostulo verrataan todelliseen tavoitearvoon, jolloin lasketaan häviö.

Seuraavaksi malli soveltaa takaisinkytkentää ja päivittää painot ja bias-arvot jokaisessa kerroksessa häviön pienentämiseksi.

Tämä prosessi toistetaan useiden epookkien ajan, jolloin verkko voi vähitellen hioa parametrejaan. Koulutuksen edetessä verkko oppii tekemään yhä tarkempia ennusteita. Hyperparametrien, kuten oppimisnopeuden, huolellinen säätäminen on kuitenkin ratkaisevan tärkeää vakaan ja tehokkaan koulutuksen varmistamiseksi.

Oppimisnopeus ($\alpha$) määrittää askelkoon painojen päivityksissä. Jos arvo on liian suuri, malli voi ohittaa optimaaliset arvot eikä välttämättä konvergoi. Jos arvo on liian pieni, koulutus hidastuu ja voi jumittua epäoptimaaliseen ratkaisuun. Sopivan oppimisnopeuden valinta tasapainottaa nopeuden ja vakautta koulutuksessa. Tyypilliset arvot vaihtelevat 0.001 ja 0.1 välillä ongelmasta ja verkon koosta riippuen.

Alla oleva kuvaaja osoittaa, kuinka sopiva oppimisnopeus mahdollistaa tappion tasaisen pienenemisen optimaalisella tahdilla:

Lopuksi, stokastinen gradienttimenetelmä (SGD) on keskeisessä roolissa koulutuksen tehokkuudessa. Sen sijaan, että painopäivitykset laskettaisiin koko aineiston käsittelyn jälkeen, SGD päivittää parametrit jokaisen yksittäisen esimerkin jälkeen. Tämä tekee koulutuksesta nopeampaa ja tuo päivityksiin pieniä vaihteluita, jotka voivat auttaa mallia pääsemään pois paikallisista minimistä ja saavuttamaan paremman kokonaisratkaisun.

fit()-metodi

fit()-metodi Perceptron-luokassa vastaa mallin kouluttamisesta käyttäen stokastista gradienttimenetelmää.

def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...