Summary
Detecting missing values in tabular data by generating a boolean mask using methods like isna() or isnull().

General domain of usage
Data analysis

DataFrames bevatten vaak **ontbrekende waarden**, weergegeven als `None` of `NaN`. Bij het werken met DataFrames is het essentieel om deze ontbrekende waarden te identificeren, omdat ze berekeningen kunnen verstoren, tot onnauwkeurige analyses kunnen leiden en de betrouwbaarheid van resultaten kunnen aantasten.

Het aanpakken hiervan waarborgt de **gegevensintegriteit** en verbetert de prestaties van taken zoals **statistische analyse** en **machine learning**. Hiervoor biedt pandas specifieke methoden.

De eerste hiervan is `isna()`, die een **booleaanse DataFrame** retourneert. In deze context geeft een `True`-waarde een ontbrekende waarde binnen de DataFrame aan, terwijl een `False`-waarde suggereert dat de waarde aanwezig is.

Ter verduidelijking, pas deze methode toe op de DataFrame `animals`. De methode `isna()` retourneert een `DataFrame` met `True`/`False`-waarden, waarbij elke `True` een ontbrekende waarde in de DataFrame `animals` aangeeft.


import pandas as pd
import numpy as np

animals_data = {'animal': [np.NaN, 'Dog', np.NaN, 'Cat','Parrot', None],
'name': ['Dolly', None, 'Erin', 'Kelly', None, 'Odie']}
animals = pd.DataFrame(animals_data)
# Find missing values
missing_values = animals.isna()
print(missing_values)

De tweede methode is `isnull()`. Deze werkt identiek aan de vorige, zonder merkbaar verschil tussen beide.

import unittest
import importlib
import pandas as pd


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_missing_values_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'missing_values'),
            "The `missing_values` variable is declared.",
            "Expected `missing_values` to be declared."
        )

    def test_missing_values_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.missing_values, pd.DataFrame)
            failure_message = f"Expected `missing_values` to be a `DataFrame`, but got `{type(user_code.missing_values).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `missing_values` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `missing_values` is a `DataFrame`.",
            failure_message
        )

    def test_missing_values_has_correct_values(self):
        import user_code
        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine_with_nan.csv')
        expected_df = wine_data.isnull()

        variable = 'missing_values'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` correctly identifies missing values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas is een uiterst gebruiksvriendelijke bibliotheek voor data-analyse. Het is ook ontworpen om grote datasets te verwerken, met behulp van datastructuren zoals DataFrame en Series. Dit maakt het een onmisbaar hulpmiddel voor Data Science. In deze gids maak je kennis met diverse statistische functies, waaronder het vinden van correlaties, modi, medianen en maximale en minimale waarden binnen een dataset. Je leert ook hoe je omgaat met ontbrekende waarden en specifieke waarden kunt manipuleren of verwijderen.

Verdiep je in de basisprincipes van de pandas-bibliotheek. Leer het aanmaken en manipuleren van Series en DataFrames, onderzoek hun structuur en ontwikkel vertrouwen in het uitvoeren van essentiële data-operaties.

Beheers het laden en beheren van gegevens uit CSV- en TXT-bestanden. Praktische ervaring opdoen met het importeren van datasets en het voorbereiden ervan voor verdere analyse met behulp van pandas-tools.

Leer gegevens effectief te verkennen, opschonen en samenvatten. Begrijp hoe ontbrekende waarden te behandelen, inzichten te verkrijgen en basisstatistische bewerkingen uit te voeren met pandas.

Nullwaarden Vinden

Oplossing

Awesome!

Nullwaarden Vinden

Oplossing