Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.
Apprendre Utilisation de la Division Conditionnelle et du Filtrage dans ADF | Flux de Données et Transformations dans ADF
Introduction à l'Ingénierie des Données avec Azure
course content

Contenu du cours

Introduction à l'Ingénierie des Données avec Azure

Introduction à l'Ingénierie des Données avec Azure

1. Commencer avec Azure et les Outils de Base
2. Fondations de l'Azure Data Factory
3. Flux de Données et Transformations dans ADF
4. Résolution de Problèmes Pratiques avec ADF

book
Utilisation de la Division Conditionnelle et du Filtrage dans ADF

Ce chapitre explore comment utiliser Conditional Split et Filter Transformations dans les flux de données d'Azure Data Factory (ADF) pour organiser et affiner les données pour les processus en aval. Vous apprendrez à diviser les données en fonction de conditions et à filtrer efficacement les enregistrements indésirables.

Dans Azure Data Factory, une transformation Conditional Split peut être utilisée pour diriger les enregistrements en fonction de conditions, telles que la division des données en catégories "High" et "Low" basées sur un montant de vente. Par exemple, si le montant des ventes est supérieur à 1000, l'enregistrement est envoyé à la sortie "High Sales", sinon, il est envoyé à la sortie "Low Sales" pour un traitement ultérieur.

Par exemple, si vous souhaitez filtrer les enregistrements avec des adresses e-mail nulles ou invalides, vous pouvez appliquer un filtre qui supprime les enregistrements où l'e-mail est soit nul, soit ne correspond pas à un format d'e-mail valide.

Comment utiliser les transformations de division conditionnelle et de filtrage dans ADF

  1. Créez un nouveau flux de données ou utilisez-en un existant dans la section Auteur de Azure Data Factory Studio;
  2. Faites glisser une transformation de source sur le canevas du flux de données et configurez-la pour ingérer des données, telles que des tables SQL ou Blob Storage;
  3. Ajoutez une transformation de division conditionnelle depuis la boîte à outils et connectez-la à votre source de données;
  4. Dans les paramètres de division conditionnelle, définissez des conditions pour diviser les données en plusieurs flux. Dans notre cas, nous avons utilisé les suivants :
    • LowRisk: DeathRate < 5;
    • HighRisk: DeathRate > 10;
    • MediumRisk: DeathRate >= 5 and <= 10;
  5. Ajoutez une transformation de filtrage et connectez-la au flux de données que vous souhaitez filtrer;
  6. Dans les paramètres de filtrage, définissez la condition de filtrage pour ne conserver que les enregistrements nécessaires. Dans notre cas, nous avons conservé uniquement les enregistrements où la WeekEndingDate est après/avant '2021-09-01';
  7. Connectez chaque flux de sortie à des transformations de destination séparées pour stocker les données divisées dans différentes destinations (par exemple, une pour le faible risque, une pour le risque élevé et une pour le risque moyen);
  8. Validez la configuration du flux de données pour vous assurer que tout fonctionne correctement.
Quel est le but de connecter plusieurs transformations de destination après avoir utilisé la division conditionnelle et le filtrage dans ADF ?

Quel est le but de connecter plusieurs transformations de destination après avoir utilisé la division conditionnelle et le filtrage dans ADF ?

Sélectionnez la réponse correcte

Tout était clair ?

Comment pouvons-nous l'améliorer ?

Merci pour vos commentaires !

Section 3. Chapitre 4
We're sorry to hear that something went wrong. What happened?
some-alt