Qu'est-ce Qu'un Pipeline ADF ?

Dans Azure Data Factory, les pipelines sont l'épine dorsale des flux de travail d'intégration de données. Ils agissent comme des conteneurs pour les activités, définissant la séquence des tâches nécessaires pour déplacer, transformer et traiter les données. Les pipelines simplifient le processus de travail avec des sources de données diverses, permettant une intégration et une automatisation des tâches sans faille. Pensez-y comme à une recette pour le déplacement et la transformation des données, où chaque activité représente une étape du processus.

Dans les prochains chapitres, nous examinerons les activités de pipeline les plus importantes et commençons maintenant par la plus couramment utilisée - Activité de copie.

Qu'est-ce que l'Activité de copie ?

L'Activité de copie est comme un camion de livraison pour les données. Elle extrait des données d'une source (par exemple, Azure Blob Storage, Amazon S3 ou une base de données locale) et les charge dans une destination (par exemple, Azure SQL Database ou Data Lake). Elle gère le transfert de données tout en assurant précision et efficacité.

Comment créer une activité de copie

1. Créez un nouveau pipeline dans la section Auteur de Azure Data Factory Studio;
2. Faites glisser l'activité de copie de données du volet Activités vers le canevas du pipeline;
3. Configurez la source en sélectionnant un service lié et un ensemble de données existants pour les données que vous souhaitez déplacer. Facultativement, appliquez des filtres ou spécifiez des requêtes pour extraire des données spécifiques en utilisant l'option Query;
4. Configurez la destination (Sink) en choisissant un service lié et un ensemble de données où les données seront stockées;
5. Alignez les champs source et destination dans l'onglet Mapping si nécessaire;
6. Validez le pipeline en appuyant sur le bouton Debug.