このチャレンジでは、従来の住宅データセットが与えられていますが、今回は `'age'` 特徴量のみが含まれています。

import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b22d1166-efda-45e8-979e-6c3ecfc566fc/houses_poly.csv')
print(df.head())

次に、このデータの散布図を作成します。

import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b22d1166-efda-45e8-979e-6c3ecfc566fc/houses_poly.csv')
X = df['age']
y = df['price']
plt.scatter(X, y, alpha=0.4)
plt.show()

直線はここでは適切なフィットではありません。価格は非常に新しい家と非常に古い家の両方で上昇しています。この傾向には放物線の方が適しています。このチャレンジではそのモデルを構築します。

始める前に、`PolynomialFeatures` クラスを思い出してください。

`fit_transform(X)` は2次元配列またはDataFrameが必要。`df[['col']]`を使用するか、1次元配列の場合は `.reshape(-1, 1)` を適用して2次元に変換。

`PolynomialFeatures` と `OLS` を用いた2次の多項式回帰モデルの構築。

import unittest
import numpy as np
import pandas as pd
import statsmodels.api as sm
from sklearn.preprocessing import PolynomialFeatures


# Codefinity helper for dynamic names
def _dynamic_test(test_case, condition, ok_msg, fail_msg):
    if condition:
        test_case._testMethodName = ok_msg
        test_case.assertTrue(True)
    else:
        test_case._testMethodName = fail_msg
        test_case.fail(fail_msg)


class TestUserCode(unittest.TestCase):

    # 1. X contains only "age"
    def test_X_contains_age(self):
        import user_code

        cond = False
        try:
            X = user_code.X
            cond = isinstance(X, pd.DataFrame) and list(X.columns) == ["age"]
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X is correctly assigned from the 'age' column.",
            "Expected X = df[['age']]."
        )

    # 2. PolynomialFeatures used to create X_tilde
    def test_X_tilde_polynomial_preprocessing(self):
        import user_code

        cond = False
        try:
            X = user_code.X
            n = user_code.n
            X_tilde = user_code.X_tilde

            expected = PolynomialFeatures(n).fit_transform(X)

            cond = (
                isinstance(X_tilde, np.ndarray)
                and X_tilde.shape == expected.shape
                and np.allclose(X_tilde, expected)
            )
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X_tilde is correctly generated using PolynomialFeatures.",
            "Expected X_tilde = PolynomialFeatures(n).fit_transform(X)."
        )

    # 3. Model is fitted using sm.OLS
    def test_model_fitted(self):
        import user_code
        from statsmodels.regression.linear_model import RegressionResultsWrapper

        cond = isinstance(user_code.model, RegressionResultsWrapper)

        _dynamic_test(
            self,
            cond,
            "The model is correctly fitted using sm.OLS.",
            "Expected model = sm.OLS(y, X_tilde).fit()."
        )

    # 4. X_new reshaped to 2D array via reshape(-1,1)
    def test_X_new_shape(self):
        import user_code

        cond = False
        try:
            X_new = user_code.X_new
            cond = isinstance(X_new, np.ndarray) and len(X_new.shape) == 2 and X_new.shape[1] == 1
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X_new is correctly reshaped to (-1, 1).",
            "Expected X_new = np.linspace(...).reshape(-1, 1)."
        )

    # 5. X_new_tilde preprocessed with PolynomialFeatures(n)
    def test_X_new_tilde_polynomial(self):
        import user_code

        cond = False
        try:
            n = user_code.n
            X_new = user_code.X_new
            X_new_tilde = user_code.X_new_tilde

            expected = PolynomialFeatures(n).fit_transform(X_new)

            cond = (
                isinstance(X_new_tilde, np.ndarray)
                and X_new_tilde.shape == expected.shape
                and np.allclose(X_new_tilde, expected)
            )
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X_new_tilde is correctly processed using PolynomialFeatures.",
            "Expected X_new_tilde = PolynomialFeatures(n).fit_transform(X_new)."
        )

    # 6. model.params exists and is printed in student code
    def test_model_params_printed(self):
        cond = False
        try:
            with open("user_code.py", "r") as f:
                src = f.read().replace(" ", "")
            cond = "model.params" in src
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "Model parameters are printed using model.params.",
            "Expected print(model.params)."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

線形回帰は予測分析において重要な概念です。データサイエンティスト、データアナリスト、統計学者によって広く利用されており、構築と解釈が容易でありながら、多くのタスクに十分な強力さを持っています。

最も単純な線形回帰モデルから始めましょう。線形回帰の基本的な考え方と、Pythonで予測を行う方法について学びます。

ほとんどの実世界の予測タスクは複数の特徴量を含みます。複数の特徴量を用いた線形回帰の扱い方を学びます。

直線は常にデータを適切に表現するとは限りません。より複雑な予測モデルの構築方法を学びましょう。これが多項式回帰の適用分野です。

多くの線形回帰モデルを構築できるようになった今、最適なモデルを選択する方法が必要です。これは指標を使用することで実現可能です。本セクションでは、最もよく使われる指標と、それらを使用する際に直面する可能性のある課題について説明します。

チャレンジ：モデルの評価

解答