Perceptroni on yksinkertaisin neuroverkko, joka koostuu vain yhdestä neuronista. Kuitenkin monimutkaisempien ongelmien ratkaisemiseksi luomme mallin nimeltä monikerroksinen perceptroni (MLP). Monikerroksinen perceptroni koostuu yhdestä tai useammasta piilokerroksesta. Monikerroksisen perceptronin rakenne on seuraava:

1. Syötekerros: vastaanottaa syötedatan;
2. Piilokerrokset: käsittelevät dataa ja tunnistavat kuvioita.
3. Lähtökerros: tuottaa lopullisen ennusteen tai luokituksen.

Yleisesti ottaen jokainen kerros koostuu useista neuroneista, ja yhden kerroksen ulostulo toimii seuraavan kerroksen syötteenä.

Kerroksen painot ja biasit

Ennen kerroksen toteuttamista on tärkeää ymmärtää, miten jokaisen neuronin painot ja biasit tallennetaan. Edellisessä luvussa opit, kuinka yksittäisen neuronin painot voidaan tallentaa vektorina ja sen bias skalaarina (yksittäinen luku).

Koska kerros koostuu useista neuroneista, on luontevaa esittää painot matriisina, jossa jokainen rivi vastaa tietyn neuronin painoja. Vastaavasti biasit voidaan esittää vektorina, jonka pituus on yhtä suuri kuin neuronien määrä.

Kun kerroksessa on $3$ syötettä ja $2$ neuronia, sen painot tallennetaan $2 \times 3$ matriisiin $W$ ja biasit tallennetaan $2 \times 1$ vektoriin $b$, jotka näyttävät seuraavilta:

Tässä alkio $W_{ij}$ edustaa $j$:nnen syötteen painoa $i$:nnelle neuronille, joten ensimmäinen rivi sisältää ensimmäisen neuronin painot ja toinen rivi toisen neuronin painot. Alkio $b_i$ edustaa $i$:nnen neuronin biasia (kaksi neuronia – kaksi biasia).

Eteenpäin suuntautuva laskenta

Eteenpäin suuntautuvan laskennan suorittaminen jokaiselle kerrokselle tarkoittaa jokaisen neuronin aktivointia laskemalla syötteiden painotettu summa, lisäämällä bias ja soveltamalla aktivointifunktiota.

Aiemmin yksittäisen neuronin kohdalla toteutit syötteiden painotetun summan laskemalla pistetulon syötevektorin ja painovektorin välillä sekä lisäämällä biasin.

Koska jokainen painomatriisin rivi sisältää tietyn neuronin painovektorin, sinun tarvitsee nyt vain suorittaa pistetulo jokaisen rivin ja syötevektorin välillä. Onneksi juuri tämän matriisikertolasku tekee:

Lisätäksesi biasit kunkin neuronin ulostuloon, tulee lisätä myös bias-vektori:

Lopuksi aktivointifunktio sovelletaan tulokseen — sigmoid tai ReLU tässä tapauksessa. Tuloksena oleva kaava eteenpäin suuntautuvalle laskennalle kerroksessa on seuraava:

missä $a$ on neuronien aktivaatioiden (ulostulojen) vektori.

Kerrosluokka

Perceptronin keskeisiä rakennuspalikoita ovat sen kerrokset, joten on järkevää luoda erillinen Layer-luokka. Sen attribuutteihin kuuluvat:

• inputs: syötteiden vektori (n_inputs on syötteiden määrä);
• outputs: neuronien raakaulostuloarvojen vektori (ennen aktivointifunktion soveltamista) (n_neurons on neuronien määrä);
• weights: painomatriisi;
• biases: bias-vektori;
• activation_function: kerroksessa käytettävä aktivointifunktio.

Kuten yksittäisen neuronin toteutuksessa, weights ja biases alustetaan satunnaisilla arvoilla väliltä -1 ja 1, jotka on poimittu tasaisesta jakaumasta.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Attribuutteja inputs ja outputs käytetään myöhemmin takaisinkytkennässä, joten ne kannattaa alustaa NumPy-nollavektoreina.

Eteenpäin kulku voidaan toteuttaa forward()-metodissa, jossa outputs lasketaan inputs-vektorin perusteella käyttäen NumPy-kirjastoa, yllä olevan kaavan mukaisesti:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs
    self.outputs = ...
    # Applying the activation function
    return ...