Preparation for Data Science

У цьому розділі ми познайомимося з тим, що таке бібліотека NumPy, а також навчимося створювати масив.

У цьому розділі ми познайомимося з масивами різної розмірності і зрозуміємо різницю між ними.

У цьому розділі ми згадаємо, що таке зрізи і навчимося використовувати їх для масивів різної розмірності. Ми також навчимося звертатися до елементів масиву за їхніми індексами.

У цьому розділі ми дізнаємося, як змінювати форму масивів, а також як конкатенувати масив. Крім того, ми навчимося сортувати масив. Також ми дізнаємося про такий цікавий метод, який часто використовується для масивів, а саме: copy().

In this project, we will delve into the fundamentals of NumPy, exploring its core features and uncovering the reasons behind its significant impact on scientific computing.

У цьому розділі ми дослідимо основи структур Series та DataFrame. Ви також дізнаєтеся про відмінності між цими двома типами структур.

Дані можуть бути отримані у різних форматах, таких як CSV, JSON, SQL, HTML та інші. З Pandas ви не обмежені одним форматом — ви можете працювати з даними з різних типів файлів. У цьому розділі ми зосередимося на форматах CSV та TXT.

Тут ви дізнаєтеся, як обробляти необроблені дані, видаляючи зайву інформацію та керуючи нульовими значеннями в наборі даних.

This section will teach you how to output specific columns by their titles or indices. Also, you will get acquainted with the ways you can select rows by indices.

Here, you will learn how to extract data that has specific conditions. Also, you will learn how to combine them and even create your own.

In this section, you will expand your knowledge on setting different data conditions. You will learn to check if your data is in a defined list of values or between two values. You will also learn how to find the largest and smallest values.

This section is one of the most fascinating of the course. Here, you will learn how to group data in different ways. It will help you work as a data analyst to find out information on specific data groups.

This section is one of the most significant for a data analyst because if the data contains missing data values in the incorrect format, it will be impossible to work with. Thus, you will learn how to deal with such inappropriate values here.

In this project, we are going to understand what Pandas is and why it is so powerful.

Let's start with some basic definitions and concepts we'll use later. Consider the idea of a function, a numerical sequence, and its sum, and also understand what a coordinate system's basis is.

The simplest and most commonly used type of relationship is the linear relationship. Linear algebra is a branch of higher mathematics entirely devoted to linear functions and linear spaces. Let's look at some of the most important topics in linear algebra: vectors, matrices, solving linear equations, and solving the spectral problem for matrices.

Mathematical analysis is a discipline that allows you to analyze functions according to various criteria. Consider how to check numerical sequences for convergence, find the maximum/minimum values of functions, solve nonlinear equations, and use integrals to solve applied problems.

Ми розпочнемо вивчення теорії ймовірностей з розгляду основних визначень і правил: що таке стохастичний експеримент і випадкова подія, що таке незалежність і несумісність подій у контексті теорії ймовірностей, що таке ймовірність і як можна обчислювати ймовірності різних елементарних подій.

У реальних завданнях часто доводиться мати справу зі складними взаємозв'язками та, відповідно, обчислювати ймовірності кількох подій або подій, що залежать одна від одної. Розглянемо, як це можна зробити за допомогою теорії ймовірностей.

Для розв’язання багатьох реальних задач теорії ймовірностей створено спеціальні моделі, які описують певні ситуації. Розглянемо деякі з найбільш уживаних моделей, які можна застосовувати для опису дискретних результатів стохастичних експериментів.

Що робити, якщо результат стохастичного експерименту не можна описати дискретним значенням? Для цього використовують моделі, які працюють з неперервними значеннями. Розглянемо найпопулярніші з цих моделей.

Часто виникає завдання перевірки залежності результатів різних стохастичних експериментів один від одного. Більше того, необхідно не лише оцінити наявність залежностей, а й кількісно визначити ступінь цих залежностей. Для вирішення цих задач використовують коваріацію та кореляцію.

У цьому розділі ми розглянемо перший реальний статистичний випадок: знаходження довірчих інтервалів. Для цього необхідно знати бібліотеки NumPy, pandas, Matplotlib та Seaborn для обчислення математичних формул і побудови візуалізацій. Звертаю вашу увагу, що теорії буде небагато, а практики — значно більше!

Невід’ємною частиною роботи аналітика даних є проведення перевірки гіпотез. Після завершення цього розділу ви зрозумієте ідею тестування у статистиці та зможете виконувати t-тест за допомогою Python.

Now we will understand some fundamental theoretical concepts which are used in solving real live tasks: absolutely continuous and discrete random variables, probability density function, cumulative distribution function, the characteristics of a random variable, etc.

The limit theorems of probability theory are fundamental laws of probability theory that are often used in practice in a wide variety of areas, such as: building confidence intervals, estimating distribution parameters, providing A/B testings, creating ensembles of ML models, etc. Now we will consider two of the most commonly used: the Law of Large Numbers and the Central Limit Theorem.

When we work with real data we usually do not know from which distribution this data was obtained. In order to determine this, we must be able to correctly estimate the parameters of this distribution and the type of distribution, which we will learn to do in this section.

We have already learned how to estimate the parameters of the population. But to estimate the parameter, we make an assumption about the population distribution. Can we say that our assumption is correct? How do we prove that the estimated parameters are the real parameters of the population? Can we show that two sets of samples are independent? To answer these questions, it is necessary to consider the concept of hypothesis testing.