Random Forest on algoritmi, jota käytetään laajasti luokittelu- ja regressio-ongelmissa. Se rakentaa useita erilaisia päätöspuita ja käyttää niiden enemmistöpäätöstä luokittelussa ja keskiarvoa regressiossa.

Sen sijaan, että käytettäisiin vain yhtä parasta puuta, Random Forest rakentaa monta "heikompaa" puuta. Tämä voi kuulostaa epäloogiselta – miksi käyttäisimme malleja, jotka ovat huonompia?

Ajattele sitä näin: yksittäinen päätöspuu on kuin yleisasiantuntija – se yrittää huomioida kaikki ominaisuudet ja antaa kokonaiskuvan. Se voi kuitenkin tulla liian itsevarmaksi ja tehdä virheitä ylisovittamalla datan kohinaan.

Random Forest taas on kuin asiantuntijatiimi. Jokainen puu opetetaan eri osilla dataa ja keskittyy eri näkökulmiin ongelmassa. Yksinään kukin puu ei välttämättä ole kovin vahva – se voi jopa ohittaa kokonaisuuden. Mutta yhdessä, kun yhdistetään niiden "äänet", ne paikkaavat toistensa heikkouksia ja tarjoavat tasapainoisemman ja tarkemman ennusteen.

Tätä voi verrata siihen, että kysytään 100 pätevältä opiskelijalta yhden professorin sijaan. Vaikka professori saattaa olla asiantuntevampi, jopa asiantuntijat voivat olla puolueellisia tai harhautua. Mutta jos enemmistö opiskelijoista päätyy itsenäisesti samaan vastaukseen, tämä konsensus on usein kestävämpi.

Käytännössä monien heikompien päätöspuiden yhdistäminen yhdeksi vahvaksi Random Forestiksi toimii erittäin hyvin ja usein ylittää säädetyn yksittäisen päätöspuun suorituskyvyn suurilla aineistoilla. Random Forestin päätösraja on tasaisempi ja yleistyy paremmin uuteen dataan kuin yksittäisen päätöspuun, joten Random Forestit ovat vähemmän alttiita ylisovitukselle.

Tarkkuus ei kuitenkaan parane, jos yhdistämme monta mallia, jotka tekevät samat virheet. Jotta tämä lähestymistapa olisi tehokas, mallien tulisi olla mahdollisimman erilaisia toisistaan, jotta ne tekevät erilaisia virheitä.