Kuvataan logistisen regressiomallin tulokset. Tarkastellaan seuraavaa kahden ominaisuuden esimerkkiä:

Kun logistinen regressiomalli on rakennettu, voidaan piirtää päätösraja. Se osoittaa kunkin luokan alueen, jossa uudet havainnot ennustetaan kuuluvaksi kyseiseen luokkaan. Esimerkiksi tässä on logistisen regressiomallin päätösraja yllä olevalle aineistolle:

Voidaan havaita, että viiva erottaa tässä kaksi luokkaa täydellisesti. Kun näin tapahtuu, aineistoa kutsutaan lineaarisesti erotettavaksi. Tämä ei kuitenkaan aina toteudu. Entä jos aineisto olisi seuraavanlainen:

Yllä on päätösraja hieman erilaiselle aineistolle. Tässä aineistossa data ei ole lineaarisesti eroteltavissa; siksi logistisen regressiomallin tekemät ennusteet eivät ole täydellisiä. Valitettavasti oletuksena logistinen regressio ei pysty ennustamaan monimutkaisempia päätösrajoja, joten tämä on paras mahdollinen ennuste.

Muista kuitenkin, että logistinen regressio pohjautuu lineaariseen regressioon, jolla on ratkaisu liian yksinkertaisen mallin ongelmaan. Tämä ratkaisu on polynomiregressio, ja voimme käyttää sen yhtälöä $z$:n laskemiseen saadaksemme monimutkaisemman päätösrajan muodon:

Aivan kuten polynomiregressiossa, voimme käyttää PolynomialFeatures-muunninta lisätäksemme polynomisia termejä piirteisiin – tämä auttaa mallia oppimaan monimutkaisempia rakenteita.

from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)

Tämä rivi muuntaa alkuperäiset syötepiirteet X lisäämällä:

• Neliötermit (esim. $x^2$);
• Interaktiotermit (esim. $x_1 \cdot x_2$, jos piirteitä on useampia).

Jos esimerkiksi X:ssä on alun perin kaksi piirrettä: $[x_1, x_2]$, niin PolynomialFeatures(2, include_bias=False)-muunnoksen jälkeen saat: $[x_1, x_{2}, x_{1}\\^{2} , x_{1} x_{2}, x_{2}\\^{2}]$

Tämä mahdollistaa esimerkiksi logistisen regression mallien oppia ei-lineaarisia riippuvuuksia ja tuottaa joustavampia, kaarevia päätösrajoja. Kuitenkin asteen kasvattaminen liikaa voi johtaa malliin, joka sopii liiaksi harjoitusaineistoon – ilmiö tunnetaan nimellä ylisovittaminen. Siksi yleensä kokeillaan ensin pienempiä asteita ja arvioidaan mallia huolellisesti.