Aplicaciones Prácticas de Expresiones Regulares en la Limpieza de Datos
Desliza para mostrar el menú
Tareas comunes de limpieza de datos que se pueden resolver con expresiones regulares
Al trabajar con datos del mundo real, a menudo se encuentran inconsistencias, caracteres no deseados y formatos impredecibles. Las expresiones regulares (regex) son herramientas potentes que ayudan a automatizar tareas de limpieza de datos, haciendo que grandes conjuntos de datos sean manejables y estén listos para el análisis.
Las tareas comunes de limpieza de datos que se pueden resolver con regex incluyen:
- Eliminación de caracteres no deseados como puntuación adicional o símbolos;
- Estandarización de formatos como números de teléfono o fechas;
- Extracción de datos estructurados como direcciones de correo electrónico o códigos de producto a partir de texto no estructurado.
Al dominar regex, es posible transformar rápidamente datos desordenados en información limpia y estructurada adecuada para su procesamiento posterior.
12345678910111213141516import re # Messy CSV line with extra commas and spaces line = " John , Doe , , 29 , New York ,, " # Step 1: Remove extra commas (replace multiple commas with a single comma) line = re.sub(r',\s*,+', ',', line) # Step 2: Remove leading/trailing whitespace from each field fields = [re.sub(r'^\s+|\s+$', '', field) for field in line.split(',')] # Step 3: Remove any empty fields clean_fields = [field for field in fields if field] print(clean_fields) # Output: ['John', 'Doe', '29', 'New York']
Explicación del proceso de limpieza
En este ejemplo, se parte de una línea CSV que contiene comas adicionales y espacios en blanco inconsistentes. El proceso de limpieza utiliza regex en varios pasos:
- Eliminar comas adicionales: el patrón
',\s*,+'encuentra secuencias de comas posiblemente separadas por espacios en blanco y las reemplaza por una sola coma, reduciendo la redundancia; - Eliminar espacios en blanco: el patrón
r'^\s+|\s+$'elimina los espacios en blanco al inicio y al final de cada campo, asegurando que solo permanezca el contenido real; - Eliminar campos vacíos: se eliminan los campos vacíos, obteniendo como resultado una lista limpia de valores.
Los patrones regex se construyen identificando los elementos no deseados en los datos (como múltiples comas o espacios sueltos) y escribiendo patrones que coincidan con esos elementos para su reemplazo o eliminación. Este enfoque permite transformar de manera eficiente datos desordenados e inconsistentes en un formato fácil de manejar.
¡Gracias por tus comentarios!
Pregunte a AI
Pregunte a AI
Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla