Preparation for Data Science

4.5+

11 avis

Intermediate

In this section we will get acquainted with what the NumPy library is, as well as learn how to create an array.

In this section we will get acquainted with arrays of different dimensions, and understand the difference between them.

In this section we should recall what slices are and learn how to make them for arrays of different dimensions. We shall also learn to refer to elements in an array using their indexes.

In this section we will learn how to reshape arrays and also how to concatenate an array. Moreover we will learn how to sort an array. Also we will learn about such an interesting method that is often used for arrays, namely: copy().

Dans ce projet, nous allons plonger dans les fondamentaux de NumPy, explorer ses fonctionnalités principales et découvrir les raisons de son impact significatif sur le calcul scientifique.

Dans cette section, nous explorerons les bases des structures Series et DataFrame. Vous apprendrez également les distinctions entre ces deux types de structures.

Les données peuvent être obtenues dans divers formats, tels que CSV, JSON, SQL, HTML, et plus encore. Avec Pandas, vous n'êtes pas limité à un seul format — vous pouvez travailler avec des données provenant de nombreux types de fichiers. Dans ce chapitre, nous nous concentrerons spécifiquement sur les formats CSV et TXT.

Ici, vous apprendrez à traiter les données brutes en supprimant les informations superflues et en gérant les valeurs nulles dans un ensemble de données.

Cette section vous apprendra à afficher des colonnes spécifiques par leurs titres ou indices. De plus, vous vous familiariserez avec les façons de sélectionner des lignes par indices.

Ici, vous apprendrez à extraire des données qui ont des conditions spécifiques. De plus, vous apprendrez à les combiner et même à créer les vôtres.

Dans cette section, vous allez approfondir vos connaissances sur la définition de différentes conditions de données. Vous apprendrez à vérifier si vos données se trouvent dans une liste de valeurs définie ou entre deux valeurs. Vous apprendrez également à trouver les plus grandes et les plus petites valeurs.

Cette section est l'une des plus fascinantes du cours. Ici, vous apprendrez à regrouper les données de différentes manières. Cela vous aidera à travailler en tant qu'analyste de données pour découvrir des informations sur des groupes de données spécifiques.

Cette section est l'une des plus importantes pour un analyste de données car si les données contiennent des valeurs manquantes dans un format incorrect, il sera impossible de travailler avec. Ainsi, vous apprendrez ici comment gérer ces valeurs inappropriées.

In this project, we are going to understand what Pandas is and why it is so powerful.

Commençons par quelques définitions et concepts de base que nous utiliserons plus tard. Considérez l'idée d'une fonction, d'une séquence numérique et de sa somme, et comprenez également ce qu'est la base d'un système de coordonnées.

Le type de relation le plus simple et le plus couramment utilisé est la relation linéaire. L'algèbre linéaire est une branche des mathématiques supérieures entièrement consacrée aux fonctions linéaires et aux espaces linéaires. Examinons certains des sujets les plus importants en algèbre linéaire : vecteurs, matrices, résolution d'équations linéaires et résolution du problème spectral pour les matrices.

L'analyse mathématique est une discipline qui vous permet d'analyser des fonctions selon divers critères. Considérez comment vérifier la convergence des suites numériques, trouver les valeurs maximales/minimales des fonctions, résoudre des équations non linéaires et utiliser des intégrales pour résoudre des problèmes appliqués.

Nous commencerons notre apprentissage de la théorie des probabilités en examinant quelques définitions et règles de base : qu'est-ce qu'une expérience stochastique et un événement aléatoire, qu'est-ce que l'indépendance et l'incompatibilité des événements dans le contexte de la théorie des probabilités, qu'est-ce que la probabilité et comment pouvons-nous calculer les probabilités de différents événements élémentaires.

Dans les tâches de la vie réelle, nous devons souvent faire face à des relations complexes et, par conséquent, calculer les probabilités de plusieurs événements ou d'événements qui dépendent les uns des autres. Voyons comment nous pouvons le faire en utilisant la théorie des probabilités.

Pour résoudre de nombreux problèmes réels en théorie des probabilités, des modèles spéciaux ont été créés pour décrire une situation particulière. Considérons certains des modèles les plus utilisés qui peuvent être utilisés pour décrire certains résultats discrets d'expériences stochastiques.

Que se passe-t-il si le résultat d'une expérience stochastique ne peut pas être décrit par une valeur discrète ? Pour cela, on utilise des modèles qui fonctionnent avec des valeurs continues. Considérons les plus populaires de ces modèles.

Souvent, nous sommes confrontés à la tâche de vérifier la dépendance des résultats de différentes expériences stochastiques les unes par rapport aux autres. De plus, il est nécessaire non seulement d'évaluer la présence de dépendances, mais aussi de quantifier d'une manière ou d'une autre le degré de ces dépendances. Pour résoudre ces problèmes, nous pouvons utiliser la covariance et la corrélation.

Cette section nous aidera à traiter le premier cas statistique réel : trouver des intervalles de confiance. Elle nécessite la connaissance des bibliothèques NumPy, pandas, Matplotlib et Seaborn pour calculer des formules mathématiques et créer des visualisations ! Pour vous encourager à passer cette section, je tiens à souligner que vous rencontrerez une petite quantité de théorie mais une quantité significative de pratique !

Une partie inséparable de la vie d'un analyste de données est de réaliser des tests d'hypothèses. Après avoir terminé cette section, vous comprendrez l'idée derrière les tests en statistiques et serez capable de réaliser un t-test en utilisant Python.

Nous allons maintenant comprendre certains concepts théoriques fondamentaux utilisés dans la résolution de tâches réelles : variables aléatoires absolument continues et discrètes, fonction de densité de probabilité, fonction de répartition cumulative, les caractéristiques d'une variable aléatoire, etc.

Les théorèmes limites de la théorie des probabilités sont des lois fondamentales de la théorie des probabilités souvent utilisées en pratique dans une grande variété de domaines, tels que : la construction d'intervalles de confiance, l'estimation des paramètres de distribution, la réalisation de tests A/B, la création d'ensembles de modèles ML, etc. Nous allons maintenant examiner deux des plus couramment utilisés : la Loi des Grands Nombres et le Théorème Central Limite.

Lorsque nous travaillons avec des données réelles, nous ne savons généralement pas de quelle distribution ces données ont été obtenues. Pour déterminer cela, nous devons être capables d'estimer correctement les paramètres de cette distribution et le type de distribution, ce que nous apprendrons à faire dans cette section.

Nous avons déjà appris à estimer les paramètres de la population. Mais pour estimer le paramètre, nous faisons une hypothèse sur la distribution de la population. Pouvons-nous dire que notre hypothèse est correcte ? Comment prouver que les paramètres estimés sont les vrais paramètres de la population ? Pouvons-nous montrer que deux ensembles d'échantillons sont indépendants ? Pour répondre à ces questions, il est nécessaire de considérer le concept de test d'hypothèse.