Summary  
This chapter covers how to read delimited text files into a pandas DataFrame using `pd.read_csv()` with the `sep`, `header`, and `names` parameters to control parsing, and how to extract individual rows via `.iloc[]`.  

General domain of usage  
Data analysis

Watch this video for a step-by-step explanation of how to read TXT files using pandas. You'll see how to use the `pd.read_csv()` function, set the correct `sep` parameter for text files, and handle files without column headers. This visual guide will reinforce the concepts from the chapter and help you confidently read and process TXT data in your own projects.

For å lese **tekstfiler** i `pandas`, kan du bruke den samme funksjonen, `pd.read_csv()`. For å sikre at tekstfilen leses riktig, er det imidlertid viktig å bruke en ekstra parameter kalt `sep`, som står for **separator** eller **avgrenser** i teksten.

```python
# Importing pandas library
import pandas as pd

# Reading a text file into a DataFrame
text_data = pd.read_csv('file.txt', sep='\r', header=None)
```

Hvis tekstfilen din ikke har en **overskriftsrad** med kolonnenavn, sett parameteren `header` til `None`. Dette informerer `pandas` om å ikke tolke den første raden som kolonnenavn.

For å bruke linjeskift som separator i en fil, noe som er vanlig i tekstfiler, sett `sep='\r'`. Her står `'\r'` for carriage return, som er et spesialtegn brukt for å indikere et linjeskift.

Merk

### Hente ut en enkelt rad

Når tekstfilen din er lastet inn i en `DataFrame`, kan du få tilgang til individuelle rader ved å bruke `.iloc[]`, og sende inn posisjonen til raden du ønsker:

```python
# Extracting the first row
first_row = text_data.iloc[0]
```



Når du velger en enkelt rad (eller en enkelt kolonne) fra en `DataFrame`, returnerer ikke `pandas` en ny `DataFrame` — det returnerer en **`Series`**. En `Series` er et endimensjonalt merket array, noe som betyr at den inneholder en enkelt sekvens av verdier sammen med en indeks, men ingen separat kolonstruktur. Dette er grunnen til at `first_row` vil se og oppføre seg litt annerledes enn `text_data`: den har ikke `.columns`, og når du skriver den ut vil du se indeksen sammen med hver verdi i stedet for et tabelloppsett.

import unittest
import importlib
import pandas as pd


# Helper function to dynamically generate test names and assertions
def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


class TestUserCode(unittest.TestCase):

    def test_text_data_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'text_data'),
            "The `text_data` variable is declared.",
            "Expected `text_data` to be declared."
        )

    def test_text_data_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.text_data, pd.DataFrame)
            failure_message = f"Expected `text_data` to be a `DataFrame`, but got `{type(user_code.text_data).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `text_data` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `text_data` is a `DataFrame`.",
            failure_message
        )

    def test_text_data_is_correct(self):
        import user_code
        row_1 = 'pandas is a software library written for the Python programming language for data manipulation and analysis. In particular, it offers data structures and operations for manipulating numerical tables and time series. It is free software released under the three-clause BSD license.[2] The name is derived from the term "panel data", an econometrics term for data sets that include observations over multiple time periods for the same individuals.[3] Its name is a play on the phrase "Python data analysis" itself.[4] Wes McKinney started building what would become pandas at AQR Capital while he was a researcher there from 2007 to 2010.[5]'
        row_2 = "taken from the site:"
        row_3 = "https://en.wikipedia.org/wiki/Pandas_(software)"
        expected_df = pd.DataFrame([row_1, row_2, row_3])

        variable = 'text_data'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` contains the correct data.",
            failure_message
        )

    def test_first_row_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'first_row'),
            "The `first_row` variable is declared.",
            "Expected `first_row` to be declared."
        )

    def test_first_row_is_series(self):
        import user_code

        try:
            condition = isinstance(user_code.first_row, pd.Series)
            failure_message = f"Expected `first_row` to be a `Series`, but got `{type(user_code.first_row).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `first_row` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `first_row` is a `Series`.",
            failure_message
        )

    def test_first_row_is_correct(self):
        import user_code
        row_1 = 'pandas is a software library written for the Python programming language for data manipulation and analysis. In particular, it offers data structures and operations for manipulating numerical tables and time series. It is free software released under the three-clause BSD license.[2] The name is derived from the term "panel data", an econometrics term for data sets that include observations over multiple time periods for the same individuals.[3] Its name is a play on the phrase "Python data analysis" itself.[4] Wes McKinney started building what would become pandas at AQR Capital while he was a researcher there from 2007 to 2010.[5]'
        row_2 = "taken from the site:"
        row_3 = "https://en.wikipedia.org/wiki/Pandas_(software)"
        expected_df = pd.DataFrame([row_1, row_2, row_3])
        expected_value = expected_df.iloc[0]

        variable = 'first_row'
        actual_value = getattr(user_code, variable, None)
        if actual_value is None:
            condition = False
            failure_message = f"The `{variable}` variable is not declared."
        elif isinstance(actual_value, pd.Series):
            condition = actual_value.equals(expected_value)
            if actual_value.empty:
                failure_message = f"`{variable}` is empty."
            else:
                failure_message = f"Expected `{variable}` to contain `{expected_value.values}`, but got `{actual_value.values}`."
        else:
            condition = False
            failure_message = f"`{variable}` is not a `Series`."

        _dynamic_test(
            self,
            condition,
            f"`first_row` contains the correct values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas er et svært brukervennlig bibliotek for dataanalyse. Det er også utviklet for å håndtere store datasett ved hjelp av datastrukturer som DataFrame og Series. Dette gjør det til et uvurderlig verktøy innen Data Science. I denne veiledningen blir du kjent med ulike statistiske funksjoner, inkludert hvordan du finner korrelasjoner, typetall, medianer samt maksimums- og minimumsverdier i et datasett. Du lærer også hvordan du håndterer manglende verdier og manipulerer spesifikke verdier, samt hvordan du fjerner dem.

Fordyp deg i grunnleggende konsepter i pandas-biblioteket. Lær å opprette og manipulere Series og DataFrames, utforsk deres struktur, og bygg selvtillit i å utføre essensielle dataoperasjoner.

Lær å laste inn og håndtere data fra CSV- og TXT-filer. Få praktisk erfaring med å importere datasett og forberede dem for videre analyse ved hjelp av pandas-verktøy.

Lær å utforske, rense og oppsummere data på en effektiv måte. Forstå hvordan man håndterer manglende verdier, trekker ut innsikt og utfører grunnleggende statistiske operasjoner med pandas.

TXT-Filer

Hente ut en enkelt rad

Løsning