Summary  
This chapter explains how to remove rows that contain any NaN values from a dataset using the pandas DataFrame method `.dropna()` with `inplace=True`.  

General domain of usage  
Data preprocessing in data analysis

Vous avez déjà exploré une méthode pour traiter les valeurs NaN, mais réfléchissons à ce que nous pouvons faire avec les autres. Examinez à nouveau le nombre de valeurs aberrantes dans chaque colonne :

Dans le chapitre précédent, vous avez obtenu le résultat :

|||
|---|---|
|PassengerId|0|
|Survived|0|
|Pclass|0|
|Name|0|
|Sex|0|
|Age|86|
|SibSp|0|
|Parch|0|
|Ticket|0|
|Fare|1|
|Embarked|0|


La méthode la plus simple consiste à supprimer toutes les lignes contenant des valeurs manquantes. Par exemple, `86` lignes avec des âges sont manquantes, ainsi qu'une (`1`) ligne dans la colonne `'Fare'`. Voyons comment les supprimer. Dans pandas, cela peut être réalisé à l'aide d'une méthode simple, similaire à celle du chapitre précédent, appelée ` .dropna()` :
```python
data.dropna(inplace=True)
```

Ici, il est possible d'utiliser `inplace=True` pour enregistrer toutes les modifications. Examinons la fonction. Si une ligne dans la colonne `'Age'` contient une valeur NaN, cette méthode supprimera toutes les valeurs de cette même ligne. Toute la ligne sera supprimée si au moins une valeur de la ligne est manquante.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDropna(unittest.TestCase):
    def test_no_missing_values(self):
        """
        1. After dropping NaN values, DataFrame should contain no missing values.
        """
        import user_code

        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        condition = df_user.isna().sum().sum() == 0
        _dynamic_test(
            self,
            condition,
            "All missing values were successfully removed from the DataFrame.",
            "The DataFrame still contains NaN values. Use data.dropna(inplace=True)."
        )


class TestCountNaN(unittest.TestCase):
    def test_nan_count_series(self):
        """
        2. The Series with NaN counts should contain all zeros.
        """
        import user_code
        assert hasattr(user_code, "Nan"), "Variable 'Nan' not found."

        nan_series = user_code.Nan
        condition = isinstance(nan_series, pd.Series) and nan_series.sum() == 0
        _dynamic_test(
            self,
            condition,
            "The Series with NaN counts contains only zeros â no missing values remain.",
            "The NaN count is not zero for all columns. Check your dropna() operation."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. The output of the NaN count should be printed.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count is printed correctly.",
            "No output detected. Ensure you print the NaN count Series."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Ce cours contient de nombreuses fonctions utiles pour un futur analyste de données. Vous découvrirez différentes méthodes d'extraction de données et pourrez même y appliquer des conditions. Ensuite, vous vous familiariserez avec les méthodes de regroupement des données. Vous apprendrez également à prétraiter les données. Chaque section dispose de son propre jeu de données, rendant le cours captivant.

Cette section vous apprendra à afficher des colonnes spécifiques par leurs titres ou indices. Vous découvrirez également les différentes méthodes de sélection des lignes par indices.

Ici, vous apprendrez à extraire des données répondant à des conditions spécifiques. Vous découvrirez également comment les combiner et même créer vos propres conditions.

Dans cette section, vous approfondirez vos connaissances sur la définition de différentes conditions de données. Vous apprendrez à vérifier si vos données figurent dans une liste de valeurs définies ou se situent entre deux valeurs. Vous découvrirez également comment identifier les valeurs les plus grandes et les plus petites.

Cette section est l'une des plus fascinantes du cours. Vous apprendrez ici à regrouper les données de différentes manières. Cela vous aidera à travailler en tant qu'analyste de données pour obtenir des informations sur des groupes de données spécifiques.

Cette section est l'une des plus importantes pour un analyste de données, car si les données contiennent des valeurs manquantes ou sont dans un format incorrect, il sera impossible de les exploiter. Ainsi, vous apprendrez ici comment traiter de telles valeurs inappropriées.

Comment Supprimer Uniquement Les Valeurs NaN ?

Solution

Awesome!

Comment Supprimer Uniquement Les Valeurs NaN ?

Solution


PassengerId	0
Survived	0
Pclass	0
Name	0
Sex	0
Age	86
SibSp	0
Parch	0
Ticket	0
Fare	1
Embarked	0