Summary
This chapter explains how to convert categorical variables into binary dummy features using pandas’ get_dummies function.

General domain of usage
Data preprocessing for machine learning

In this video, you will learn how to manage categorical variables in pandas using the Titanic dataset. Discover what categorical variables are and why they matter in data preprocessing. See how the pandas `.get_dummies()` function transforms columns like `'Sex'` and `'Embarked'` into dummy variables, making them suitable for analysis and machine learning. Follow along with practical examples as you convert these columns and interpret the resulting data, understanding how each category is represented by a new column with values of `1` or `0`. By the end, you will know how to efficiently handle categorical data using pandas and apply these techniques to your own datasets.

Nun arbeiten Sie mit dem Datensatz, der keine fehlenden Werte enthält. Die `NaN`-Werte aus der Spalte `'Age'` wurden durch den **Mittelwert** der Spalte ersetzt, und der `NaN`-Wert aus der Spalte `'Fare'` wurde entfernt.
Jetzt ist es an der Zeit zu lernen, wie kategoriale Variablen verwaltet werden. Kategorial bedeutet, dass sie bestimmte Kategorien haben. Zum Beispiel gibt es in der Spalte `'Sex'` die Werte `'male'` und `'female'`; oder in der Spalte `'Embarked'` die Werte `'Q'`, `'S'` und `'C'`.

**Was sollten wir tun, um die Anzahl der Werte in jeder Kategorie zu berechnen oder Informationen darüber zu erhalten?**

Sie kennen bereits `.loc[]`, `.isin()`, `.between()` und viele weitere Funktionen, aber in pandas gibt es eine noch elegantere und bequemere Möglichkeit. Verwenden Sie die Funktion `.get_dummies()`. Als Beispiel wenden wir sie auf die Spalte `'Embarked'` an. Sehen Sie sich die Implementierung und das Ergebnis an (wir geben die Namen von 5 zufällig ausgewählten Passagieren und die neu erstellten Spalten aus).

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic3.csv', index_col = 0)
data = pd.get_dummies(data, columns = ['Embarked'])
print(data[['Name', 'Embarked_C', 'Embarked_Q', 'Embarked_S']].sample(5))

Untersuchen wir eine der möglichen Ausgaben, insbesondere eine der möglichen Kombinationen von **fünf zufällig ausgewählten Zeilen**. Sie können horizontal durch die Tabelle scrollen, um alle Spalten zu sehen:



**Erläuterung:**

Als Ergebnis hat unsere Funktion die Spalte `'Embarked'` in drei Spalten aufgeteilt: `'Embarked_C'`, `'Embarked_Q'` und `'Embarked_S'`. Insgesamt gibt es drei Kategorien. Jeder Passagier hat seine Kategorie in der Spalte `'Embarked'`. Unsere Funktion erstellt somit drei Spalten, die jeweils einer Kategorie entsprechen, und füllt für jeden Passagier die entsprechende Spalte mit `1`, wenn die Person ursprünglich dieser Geografie zugeordnet war; andernfalls steht dort `0`. Somit steht die `1` immer nur in einer Spalte.

```python
pd.get_dummies(data, columns = ['Embarked'])
```
- `pd.get_dummies()` – diese Funktion wandelt **kategorische** Variablen in **Dummy-Variablen** (1 oder 0) um;
- `data` – das DataFrame, das verwendet werden soll;
- `columns = ['Embarked']` – Spalten mit kategorischen Variablen, die in Dummy-Variablen umgewandelt werden sollen. Beachten Sie, dass die Spaltennamen zwingend in einer Liste angegeben werden müssen.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDummyVariables(unittest.TestCase):
    def test_dummies_created_and_sums_correct(self):
        """
        1. Check that 'Sex' column was converted to dummy variables and sums are correct.
        """
        import user_code

        # reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic3.csv"
        df_ref = pd.read_csv(url, index_col=0)
        dummies_ref = pd.get_dummies(df_ref, columns=["Sex"])
        ref_sum_male = dummies_ref["Sex_male"].sum()
        ref_sum_female = dummies_ref["Sex_female"].sum()

        # user result
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        # check dummy columns exist and sums match
        condition = (
            "Sex_male" in df_user.columns
            and "Sex_female" in df_user.columns
            and abs(df_user["Sex_male"].sum() - ref_sum_male) < 1e-9
            and abs(df_user["Sex_female"].sum() - ref_sum_female) < 1e-9
        )

        _dynamic_test(
            self,
            condition,
            "The dummy variables 'Sex_male' and 'Sex_female' were created correctly and their sums are accurate.",
            "The dummy variable transformation or the calculated sums are incorrect."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        2. Check that both sums are printed in the output.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.sex_male, user_code.sex_female)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        # make sure both values appear in output
        parts = output_text.split()
        condition = len(parts) >= 2
        _dynamic_test(
            self,
            condition,
            "The sums of dummy variables are printed correctly.",
            "The output is missing or incorrect. Ensure you print both values: sex_male and sex_female."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Dieser Kurs enthält viele nützliche Funktionen für angehende Data Analysts. Sie lernen verschiedene Methoden zur Extraktion von Daten kennen und können sogar Bedingungen darauf anwenden. Anschließend werden Sie mit Methoden zur Gruppierung von Daten vertraut gemacht. Außerdem lernen Sie, wie man Daten vorverarbeitet. Jeder Abschnitt verfügt über einen eigenen Datensatz, sodass der Kurs spannend bleibt.

In diesem Abschnitt lernen Sie, wie Sie bestimmte Spalten anhand ihrer Titel oder Indizes ausgeben. Außerdem machen Sie sich mit den Methoden vertraut, mit denen Sie Zeilen anhand von Indizes auswählen können.

Hier lernen Sie, wie man Daten extrahiert, die bestimmte Bedingungen erfüllen. Außerdem lernen Sie, wie man diese kombiniert und sogar eigene Bedingungen erstellt.

In diesem Abschnitt erweitern Sie Ihr Wissen über das Festlegen verschiedener Datenbedingungen. Sie lernen, zu überprüfen, ob Ihre Daten in einer definierten Werteliste oder zwischen zwei Werten liegen. Sie erfahren außerdem, wie Sie die größten und kleinsten Werte finden.

Dieser Abschnitt ist einer der faszinierendsten des Kurses. Hier lernen Sie, wie Sie Daten auf verschiedene Arten gruppieren können. Dies wird Ihnen als Data Analyst helfen, Informationen über bestimmte Datengruppen zu ermitteln.

Dieser Abschnitt ist einer der wichtigsten für Datenanalysten, da es unmöglich ist, mit Daten zu arbeiten, wenn sie fehlende Werte oder ein falsches Format enthalten. Daher lernen Sie hier, wie man mit solchen ungeeigneten Werten umgeht.

Verwaltung Kategorialer Variablen

Lösung