二次回帰

線形回帰の問題点

多項式回帰を定義する前に、これまで学習した線形回帰ではうまく対応できないケースについて見ていきます。

ここでは、単純な線形回帰モデルがうまく機能していないことがわかります。これは、データ点に直線を当てはめようとしているためです。しかし、放物線を当てはめる方が、これらの点にははるかに適していることがわかります。

二次回帰方程式

直線モデルを構築するためには、直線の方程式（y=ax+b）を使用しました。したがって、放物線モデルを構築するには、放物線の方程式が必要です。それが二次方程式：y=ax²+bx+c です。a、b、c を β に置き換えることで、二次回帰方程式 になります。

この方程式で表されるモデルは二次回帰と呼ばれます。これまでと同様に、データポイントに最適なパラメータを見つける必要があります。

正規方程式とX̃

いつものように、正規方程式は最適なパラメータの探索を担います。ただし、X̃を正しく定義する必要があります。

X̃行列の構築方法は重回帰分析ですでに学びました。実は、多項式回帰におけるX̃行列も同様に作成されます。x²を2つ目の特徴量と考えることができます。このため、X̃に新しい列を追加する必要があります。この列には、前の列の値を2乗したものが格納されます。

下の動画では、X̃の構築方法を示しています。