Random Forest er en algoritme som brukes mye i klassifiserings- og regresjonsproblemer. Den bygger mange forskjellige beslutningstrær og tar deres flertallsstemme for klassifisering og gjennomsnitt i tilfelle regresjon.

I stedet for å bruke ett enkelt beste tre, bygger Random Forest mange "svakere" trær. Det kan høres motstridende ut – hvorfor bruke modeller som er dårligere?

Tenk på det slik: Et enkelt beslutningstre er som en generalist – det prøver å ta hensyn til alle egenskaper og gi et komplett bilde. Men det kan bli for selvsikkert og gjøre feil ved å overtilpasse seg støy i dataene.

En Random Forest, derimot, er som et team av spesialister. Hvert tre trenes på ulike deler av dataene og fokuserer på forskjellige aspekter av problemet. Alene er kanskje ikke hvert tre så sterkt – det kan til og med gå glipp av helheten. Men sammen, når du kombinerer deres "stemmer", dekker de hverandres svakheter og gir en mer balansert og nøyaktig prediksjon.

Du kan også sammenligne det med å spørre 100 kompetente studenter i stedet for å stole på en eneste professor. Selv om professoren kanskje er mer kunnskapsrik, kan selv eksperter være partiske eller bli villedet. Men hvis flertallet av studentene uavhengig kommer frem til samme svar, er denne konsensusen ofte mer robust.

I praksis fungerer det svært godt å kombinere mange svakere beslutningstrær til en sterk Random Forest, og det overgår ofte et justert individuelt beslutningstre på store datasett. Beslutningsgrensen til en Random Forest er jevnere og generaliserer bedre til nye data enn et enkelt beslutningstre, så Random Forests er mindre utsatt for overtilpasning.

Nøyaktigheten vil imidlertid ikke forbedres hvis vi kombinerer mange modeller som gjør de samme feilene. For at denne tilnærmingen skal være effektiv, bør modellene være så forskjellige fra hverandre som mulig, slik at de gjør ulike feil.