Summary  
Demonstrates how to use regular expressions in code to automate data cleaning operations such as removing redundant delimiters, trimming whitespace from fields, and filtering out empty entries.

General domain of usage  
Data cleaning

## Tarefas Comuns de Limpeza de Dados Resolvíveis com Regex

Ao trabalhar com dados do mundo real, frequentemente surgem inconsistências, caracteres indesejados e formatações imprevisíveis. **Expressões regulares** (**regex**) são ferramentas poderosas que auxiliam na automação de tarefas de limpeza de dados, tornando grandes conjuntos de dados gerenciáveis e prontos para análise.

Tarefas comuns de limpeza de dados que podem ser resolvidas com regex incluem:

- Remoção de caracteres indesejados, como pontuação ou símbolos extras;
- Padronização de formatos, como números de telefone ou datas;
- Extração de dados estruturados, como endereços de e-mail ou códigos de produto a partir de texto não estruturado.

Ao dominar regex, é possível transformar rapidamente dados desorganizados em informações limpas e estruturadas, adequadas para processamento posterior.

import re

# Messy CSV line with extra commas and spaces
line = "  John  ,  Doe , ,  29 ,  New York ,, "

# Step 1: Remove extra commas (replace multiple commas with a single comma)
line = re.sub(r',\s*,+', ',', line)

# Step 2: Remove leading/trailing whitespace from each field
fields = [re.sub(r'^\s+|\s+$', '', field) for field in line.split(',')]

# Step 3: Remove any empty fields
clean_fields = [field for field in fields if field]

print(clean_fields)
# Output: ['John', 'Doe', '29', 'New York']

### Explicação do Processo de Limpeza

Neste exemplo, inicia-se com uma linha CSV que contém vírgulas extras e espaçamento inconsistente. O processo de limpeza utiliza regex em várias etapas:

- **Remover vírgulas extras:** o padrão `',\s*,+'` encontra sequências de vírgulas possivelmente separadas por espaços em branco e as substitui por uma única vírgula, reduzindo a redundância;
- **Remover espaços em branco:** o padrão `r'^\s+|\s+$'` remove espaços em branco no início e no final de cada campo, garantindo que apenas o conteúdo real permaneça;
- **Remover campos vazios:** campos vazios são eliminados, resultando em uma lista limpa de valores.

Os padrões regex são construídos identificando os elementos indesejados nos dados (como múltiplas vírgulas ou espaços soltos) e escrevendo padrões que correspondam a esses elementos para substituição ou remoção. Essa abordagem permite transformar dados desorganizados e inconsistentes em um formato fácil de manipular de maneira eficiente.

Qual padrão de regex remove todos os caracteres não alfanuméricos de uma string?

Um curso abrangente sobre expressões regulares em Python, desenvolvido para alunos com conhecimentos básicos em Python. Este curso aborda a sintaxe de regex, correspondência de padrões, recursos avançados e aplicações práticas por meio de teoria e exercícios práticos.

Aprenda os fundamentos das expressões regulares em Python, incluindo sintaxe básica, correspondência de padrões e funções regex essenciais.

Aprofunde-se em regex com agrupamento, quantificadores, âncoras e técnicas de substituição.

Domínio de recursos avançados de regex, como lookahead/lookbehind, correspondência não gananciosa, e aplicação de regex em problemas reais de processamento de texto.

Aplicações Práticas de Regex na Limpeza de Dados

Tarefas Comuns de Limpeza de Dados Resolvíveis com Regex

Explicação do Processo de Limpeza