Preparation for Data Science

In this section we will get acquainted with what the NumPy library is, as well as learn how to create an array.

In this section we will get acquainted with arrays of different dimensions, and understand the difference between them.

In this section we should recall what slices are and learn how to make them for arrays of different dimensions. We shall also learn to refer to elements in an array using their indexes.

In this section we will learn how to reshape arrays and also how to concatenate an array. Moreover we will learn how to sort an array. Also we will learn about such an interesting method that is often used for arrays, namely: copy().

In this project, we will delve into the fundamentals of NumPy, exploring its core features and uncovering the reasons behind its significant impact on scientific computing.

Nesta seção, exploraremos os fundamentos das estruturas Series e DataFrame. Você também aprenderá sobre as distinções entre esses dois tipos de estruturas.

Os dados podem ser obtidos em vários formatos, como CSV, JSON, SQL, HTML e mais. Com o Pandas, você não está limitado a um único formato — você pode trabalhar com dados em uma variedade de tipos de arquivos. Neste capítulo, vamos nos concentrar especificamente nos formatos CSV e TXT.

Aqui, você aprenderá a processar dados brutos removendo informações desnecessárias e gerenciando valores nulos em um conjunto de dados.

This section will teach you how to output specific columns by their titles or indices. Also, you will get acquainted with the ways you can select rows by indices.

Here, you will learn how to extract data that has specific conditions. Also, you will learn how to combine them and even create your own.

In this section, you will expand your knowledge on setting different data conditions. You will learn to check if your data is in a defined list of values or between two values. You will also learn how to find the largest and smallest values.

This section is one of the most fascinating of the course. Here, you will learn how to group data in different ways. It will help you work as a data analyst to find out information on specific data groups.

This section is one of the most significant for a data analyst because if the data contains missing data values in the incorrect format, it will be impossible to work with. Thus, you will learn how to deal with such inappropriate values here.

In this project, we are going to understand what Pandas is and why it is so powerful.

Let's start with some basic definitions and concepts we'll use later. Consider the idea of a function, a numerical sequence, and its sum, and also understand what a coordinate system's basis is.

The simplest and most commonly used type of relationship is the linear relationship. Linear algebra is a branch of higher mathematics entirely devoted to linear functions and linear spaces. Let's look at some of the most important topics in linear algebra: vectors, matrices, solving linear equations, and solving the spectral problem for matrices.

Mathematical analysis is a discipline that allows you to analyze functions according to various criteria. Consider how to check numerical sequences for convergence, find the maximum/minimum values of functions, solve nonlinear equations, and use integrals to solve applied problems.

Iniciaremos nosso estudo da teoria das probabilidades considerando algumas definições e regras básicas: o que é um experimento estocástico e um evento aleatório, o que significa independência e incompatibilidade de eventos no contexto da teoria das probabilidades, o que é probabilidade e como podemos calcular as probabilidades de diferentes eventos elementares.

Em tarefas do cotidiano, frequentemente lidamos com relações complexas e, consequentemente, calculamos probabilidades de vários eventos ou de eventos que dependem uns dos outros. Vamos analisar como podemos fazer isso utilizando a teoria das probabilidades.

Para resolver muitos problemas reais em teoria das probabilidades, foram criados modelos especiais que descrevem uma situação específica. Vamos considerar alguns dos modelos mais utilizados que podem ser empregados para descrever certos resultados discretos de experimentos estocásticos.

E se o resultado de um experimento estocástico não puder ser descrito por um valor discreto? Para isso, são utilizados modelos que trabalham com valores contínuos. Considere os modelos mais populares desse tipo.

Frequentemente, enfrentamos a tarefa de verificar a dependência dos resultados de diferentes experimentos estocásticos entre si. Além disso, é necessário não apenas avaliar a presença de dependências, mas também quantificar de alguma forma o grau dessas dependências. Para resolver esses problemas, podemos utilizar covariância e correlação.

Esta seção abordará nosso primeiro caso estatístico real: encontrar intervalos de confiança. É necessário conhecimento das bibliotecas NumPy, pandas, Matplotlib e Seaborn para calcular fórmulas matemáticas e construir visualizações. Para incentivá-lo a concluir esta seção, destaco que haverá uma pequena quantidade de teoria, mas uma quantidade significativa de prática!

Uma parte inseparável da vida de um analista de dados é a realização de testes de hipóteses. Após concluir esta seção, você compreenderá o conceito por trás dos testes em estatística e será capaz de realizar um teste t utilizando Python.

Now we will understand some fundamental theoretical concepts which are used in solving real live tasks: absolutely continuous and discrete random variables, probability density function, cumulative distribution function, the characteristics of a random variable, etc.

The limit theorems of probability theory are fundamental laws of probability theory that are often used in practice in a wide variety of areas, such as: building confidence intervals, estimating distribution parameters, providing A/B testings, creating ensembles of ML models, etc. Now we will consider two of the most commonly used: the Law of Large Numbers and the Central Limit Theorem.

When we work with real data we usually do not know from which distribution this data was obtained. In order to determine this, we must be able to correctly estimate the parameters of this distribution and the type of distribution, which we will learn to do in this section.

We have already learned how to estimate the parameters of the population. But to estimate the parameter, we make an assumption about the population distribution. Can we say that our assumption is correct? How do we prove that the estimated parameters are the real parameters of the population? Can we show that two sets of samples are independent? To answer these questions, it is necessary to consider the concept of hypothesis testing.