Summary  
This chapter shows how to compute the number of missing values in each column of a DataFrame by chaining the isna()/isnull() methods with sum().  

General domain of usage  
Data analysis

Il convient de noter qu'il n'est pas pratique de vérifier chaque valeur du jeu de données pour détecter les NaN. Il est plus pratique de visualiser le nombre de valeurs manquantes afin d’identifier les colonnes contenant des NaN.
Comme rappelé précédemment, deux fonctions permettent de vérifier la présence de valeurs manquantes. Pour calculer la somme, il suffit d'utiliser la fonction `.sum()`. Ainsi, de manière générale, deux options existent pour afficher le nombre de NaN par colonne :

```python
data.isna().sum()
# Or
data.isnull().sum()
```

Aucune complexité particulière ici. Passons à l’exercice suivant.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def series_equal(s1, s2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ Series Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ ÑÐ¾ÑÑÑÐ²Ð°Ð½Ð½Ñ ÑÐ½Ð´ÐµÐºÑÑ."""
    try:
        s1_sorted = s1.sort_index()
        s2_sorted = s2.sort_index()
        return s1_sorted.equals(s2_sorted)
    except Exception:
        return False


class TestMissingValues(unittest.TestCase):
    def test_missing_values_count(self):
        """
        1. Calculate the number of missing values for the dataset.
        """
        import user_code

        # reference
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_0.csv"
        df = pd.read_csv(url)
        ref = df.isna().sum()

        # Ð·Ð½Ð°Ð¹Ð´ÐµÐ¼Ð¾ Series ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°ÑÐ°
        user_series = None
        for var_name, var_val in user_code.__dict__.items():
            if isinstance(var_val, pd.Series) and var_val.shape == ref.shape:
                if series_equal(var_val, ref):
                    user_series = var_val
                    break

        assert user_series is not None, "No Series with correct missing values count found."

        _dynamic_test(
            self,
            True,
            "The number of missing values for each column is calculated correctly.",
            "The missing values count is incorrect. Use data.isna().sum() or similar."
        )


class TestOutput(unittest.TestCase):
    def test_print_output(self):
        """
        2. Output the result of missing values calculation.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output

        # find printed Series
        if hasattr(user_code, "Nan"):
            print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The missing values count is printed correctly.",
            "The output is missing. Use print(...) to display the result."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Ce cours contient de nombreuses fonctions utiles pour un futur analyste de données. Vous découvrirez différentes méthodes d'extraction de données et pourrez même y appliquer des conditions. Ensuite, vous vous familiariserez avec les méthodes de regroupement des données. Vous apprendrez également à prétraiter les données. Chaque section dispose de son propre jeu de données, rendant le cours captivant.

Cette section vous apprendra à afficher des colonnes spécifiques par leurs titres ou indices. Vous découvrirez également les différentes méthodes de sélection des lignes par indices.

Ici, vous apprendrez à extraire des données répondant à des conditions spécifiques. Vous découvrirez également comment les combiner et même créer vos propres conditions.

Dans cette section, vous approfondirez vos connaissances sur la définition de différentes conditions de données. Vous apprendrez à vérifier si vos données figurent dans une liste de valeurs définies ou se situent entre deux valeurs. Vous découvrirez également comment identifier les valeurs les plus grandes et les plus petites.

Cette section est l'une des plus fascinantes du cours. Vous apprendrez ici à regrouper les données de différentes manières. Cela vous aidera à travailler en tant qu'analyste de données pour obtenir des informations sur des groupes de données spécifiques.

Cette section est l'une des plus importantes pour un analyste de données, car si les données contiennent des valeurs manquantes ou sont dans un format incorrect, il sera impossible de les exploiter. Ainsi, vous apprendrez ici comment traiter de telles valeurs inappropriées.

Calcul du Nombre de Valeurs Manquantes

Solution

Awesome!

Calcul du Nombre de Valeurs Manquantes

Solution