Summary
This chapter explains how to detect null or missing values in tabular data structures by using methods that return boolean masks indicating where entries are absent.

General domain of usage
data analysis

DataFrames indeholder ofte **manglende værdier**, repræsenteret som `None` eller `NaN`. Når man arbejder med DataFrames, er det vigtigt at identificere disse manglende værdier, da de kan forvride beregninger, føre til unøjagtige analyser og kompromittere pålideligheden af resultaterne.

Håndtering af dem sikrer **dataintegritet** og forbedrer ydeevnen ved opgaver som **statistisk analyse** og **maskinlæring**. Til dette formål tilbyder pandas specifikke metoder.

Den første af disse er `isna()`, som returnerer en **boolesk DataFrame**. I denne sammenhæng angiver en `True`-værdi en manglende værdi i DataFrame, mens en `False`-værdi antyder, at værdien er til stede.

For klarhedens skyld anvendes denne metode på DataFrame'en `animals`. Metoden `isna()` returnerer en `DataFrame` med `True`/`False`-værdier, hvor hver `True` angiver en manglende værdi i `animals` DataFrame'en.


import pandas as pd
import numpy as np

animals_data = {'animal': [np.nan, 'Dog', np.nan, 'Cat','Parrot', None],
'name': ['Dolly', None, 'Erin', 'Kelly', None, 'Odie']}
animals = pd.DataFrame(animals_data)
# Find missing values
missing_values = animals.isna()
print(missing_values)

Den anden metode er `isnull()`. Den fungerer identisk med den foregående, uden nogen mærkbar forskel imellem dem.

import unittest
import importlib
import pandas as pd


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_missing_values_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'missing_values'),
            "The `missing_values` variable is declared.",
            "Expected `missing_values` to be declared."
        )

    def test_missing_values_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.missing_values, pd.DataFrame)
            failure_message = f"Expected `missing_values` to be a `DataFrame`, but got `{type(user_code.missing_values).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `missing_values` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `missing_values` is a `DataFrame`.",
            failure_message
        )

    def test_missing_values_has_correct_values(self):
        import user_code
        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine_with_nan.csv')
        expected_df = wine_data.isnull()

        variable = 'missing_values'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` correctly identifies missing values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas er et yderst brugervenligt bibliotek til dataanalyse. Det er også designet til at håndtere store datasæt ved hjælp af datastrukturer som DataFrame og Series. Dette gør det til et uvurderligt værktøj inden for Data Science. I denne guide bliver du introduceret til en række statistiske funktioner, herunder hvordan man finder korrelationer, typetal, medianer samt maksimum- og minimumværdier i et datasæt. Du lærer også, hvordan man håndterer manglende værdier og manipulerer specifikke værdier, samt hvordan man fjerner dem.

Dyk ned i grundlæggende elementer i pandas-biblioteket. Opret og manipulér Series og DataFrames, udforsk deres struktur, og opbyg fortrolighed med at udføre essentielle dataoperationer.

Bliv fortrolig med at indlæse og håndtere data fra CSV- og TXT-filer. Opnå praktisk erfaring med import af datasæt og forberedelse til videre analyse ved hjælp af pandas-værktøjer.

Lær at udforske, rense og opsummere data effektivt. Forstå hvordan man håndterer manglende værdier, udtrækker indsigter og udfører grundlæggende statistiske operationer med pandas.

Finde Null-Værdier

Løsning

Finde Null-Værdier

Løsning