Contenu du cours

Introduction à l'Ingénierie des Données avec Azure

1. Commencer avec Azure et les Outils de Base

Commencer Comprendre les Abonnements Azure Organisation des Ressources Avec des Groupes de Ressources Utilisation du Stockage Blob Azure pour le Stockage de Données Configuration de la Base de Données SQL Azure Gestion des Identifiants avec Azure Key Vault Introduction à Azure Data Factory

2. Fondations de l'Azure Data Factory

Services Liés Jeux de Données Qu'est-ce Qu'un Pipeline ADF ?Activité de Script Activité de Recherche Paramètres du Jeu de Données Activité Foreach Exécuter l'Activité de Pipeline

3. Flux de Données et Transformations dans ADF

Comprendre les Flux de Données dans Azure Data Factory Transformation de Colonne Dérivée Combiner des Données avec des Jointures Utilisation de la Division Conditionnelle et du Filtrage dans ADF Regroupement, Sélection et Tri des Transformations dans ADF

4. Résolution de Problèmes Pratiques avec ADF

Défi : Chargement des Données dans Plusieurs Tables Résoudre le Défi de Chargement des Données Défi : Réaliser une Analyse des Transactions Résolution du Défi d'Analyse de Conduite

Comprendre les Flux de Données dans Azure Data Factory

Par exemple, imaginez un scénario où vous devez nettoyer, enrichir et agréger des données de ventes provenant de plusieurs régions. Au lieu d'écrire des scripts SQL ou Python étendus, vous pouvez utiliser un flux de données pour cartographier visuellement ces transformations et les exécuter de manière transparente au sein d'ADF.

Composants clés des flux de données

Transformation de la source : définit l'origine des données, comme le stockage Blob ou une base de données SQL ;
Transformations : incluent des outils tels que le filtrage, la jonction, l'agrégation ou la dérivation de nouvelles colonnes pour manipuler les données ;
Transformation de la destination : spécifie la destination des données traitées, comme une autre base de données SQL, un lac de données ou un stockage de fichiers.

Nous commencerons notre travail en créant un flux de données simple avec des transformations de source et de destination.

Comment configurer une transformation de source

Ajoutez un nouveau flux de données dans la section Auteur de Azure Data Factory Studio ;
Faites glisser une transformation de source depuis la boîte à outils vers le canevas du flux de données ;
Dans les paramètres de transformation de source, sélectionnez un service lié, tel que Azure SQL Database ou Azure Blob Storage, pour vous connecter à votre source de données ;
Choisissez un ensemble de données existant ou créez un nouvel ensemble de données qui représente les données à ingérer ;
Configurez les options de format de fichier si vous vous connectez à Blob Storage, ou fournissez une requête SQL pour filtrer ou structurer les données entrantes pour les bases de données ;
Validez la configuration et prévisualisez les données pour vous assurer que la source est correctement configurée.

Transformation de destination pour les données traitées

Après avoir défini les transformations, utilisez une transformation de destination pour spécifier où les données transformées seront stockées. Par exemple, vous pourriez enregistrer les données agrégées dans la base de données SQL ou les exporter sous forme de fichier CSV vers Blob Storage.

Tout était clair ?

Merci pour vos commentaires !

Section 3. Chapitre 1