Summary  
This chapter explains how to remove rows that contain any NaN values from a dataset using the pandas DataFrame method `.dropna()` with `inplace=True`.  

General domain of usage  
Data preprocessing in data analysis

Hai già gestito un modo per trattare i valori NaN, ma riflettiamo su cosa possiamo fare con gli altri. Osserva ancora una volta il numero di valori anomali in ciascuna colonna:

Nel capitolo precedente, hai ottenuto il seguente risultato:

|||
|---|---|
|PassengerId|0|
|Survived|0|
|Pclass|0|
|Name|0|
|Sex|0|
|Age|86|
|SibSp|0|
|Parch|0|
|Ticket|0|
|Fare|1|
|Embarked|0|


Il modo più semplice è eliminare tutte le righe che contengono valori mancanti. Ad esempio, mancano i dati relativi all'età in `86` righe, così come `1` riga nella colonna `'Fare'`. Vediamo come possiamo eliminarli. In pandas, puoi farlo utilizzando un semplice metodo, simile a quello visto nel capitolo precedente, chiamato ` .dropna()`:
```python
data.dropna(inplace=True)
```

Qui puoi utilizzare `inplace=True` per salvare tutte le modifiche. Analizziamo la funzione. Se una riga nella colonna `'Age'` contiene un valore NaN, questo metodo eliminerà tutti i valori nella stessa riga. L'intera riga verrà eliminata se almeno un valore nella riga è mancante.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDropna(unittest.TestCase):
    def test_no_missing_values(self):
        """
        1. After dropping NaN values, DataFrame should contain no missing values.
        """
        import user_code

        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        condition = df_user.isna().sum().sum() == 0
        _dynamic_test(
            self,
            condition,
            "All missing values were successfully removed from the DataFrame.",
            "The DataFrame still contains NaN values. Use data.dropna(inplace=True)."
        )


class TestCountNaN(unittest.TestCase):
    def test_nan_count_series(self):
        """
        2. The Series with NaN counts should contain all zeros.
        """
        import user_code
        assert hasattr(user_code, "Nan"), "Variable 'Nan' not found."

        nan_series = user_code.Nan
        condition = isinstance(nan_series, pd.Series) and nan_series.sum() == 0
        _dynamic_test(
            self,
            condition,
            "The Series with NaN counts contains only zeros â no missing values remain.",
            "The NaN count is not zero for all columns. Check your dropna() operation."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. The output of the NaN count should be printed.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count is printed correctly.",
            "No output detected. Ensure you print the NaN count Series."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Questo corso contiene molte funzioni utili per un futuro data analyst. Imparerai diversi modi per estrarre dati e persino impostare condizioni su di essi. Successivamente, acquisirai familiarità con i metodi di raggruppamento dei dati. Inoltre, apprenderai come preprocessare i dati. Ogni sezione dispone del proprio set di dati, rendendo il corso coinvolgente.

Questa sezione ti insegnerà come visualizzare colonne specifiche tramite i loro titoli o indici. Inoltre, verranno illustrate le modalità di selezione delle righe tramite indici.

Qui imparerai come estrarre dati che soddisfano condizioni specifiche. Inoltre, apprenderai come combinarle e persino crearne di proprie.

In questa sezione, amplierai le tue conoscenze sull'impostazione di diverse condizioni sui dati. Imparerai a verificare se i tuoi dati sono in un elenco definito di valori o compresi tra due valori. Imparerai inoltre come individuare i valori massimi e minimi.

Questa sezione è una delle più affascinanti del corso. Qui verrà illustrato come raggruppare i dati in modi diversi. Sarà utile per lavorare come data analyst e ottenere informazioni su gruppi di dati specifici.

Questa sezione è una delle più significative per un data analyst, poiché se i dati contengono valori mancanti o in formato errato, sarà impossibile lavorarci. Pertanto, qui si apprenderà come gestire tali valori inappropriati.

Come Eliminare Solo i Valori NaN?

Soluzione

Come Eliminare Solo i Valori NaN?

Soluzione


PassengerId	0
Survived	0
Pclass	0
Name	0
Sex	0
Age	86
SibSp	0
Parch	0
Ticket	0
Fare	1
Embarked	0