Що таке логістична регресія

Логістична регресія насправді є алгоритмом класифікації, незважаючи на слово «регресія» у назві.

Свою назву вона отримала тому, що базується на лінійній регресії, але використовує логістичну (сигмоїдну) функцію для перетворення вихідних даних у ймовірності, що дозволяє класифікувати дані за категоріями замість прогнозування неперервних значень.

Припустимо, потрібно передбачити, чи особа допустить прострочення за першою позикою (кредитна історія відсутня).

У лінійній регресії будується рівняння для прогнозування числових значень. Це ж рівняння можна використати для обчислення «рейтингу надійності». Він враховує такі ознаки, як дохід, тривалість поточного працевлаштування, співвідношення боргу до доходу тощо. Вищий рейтинг надійності означає меншу ймовірність прострочення.

Значення $\beta$ — це параметри, які модель повинна навчитися визначати. Під час навчання комп’ютер коригує ці значення для покращення прогнозів. Це відбувається шляхом мінімізації різниці між передбаченими результатами та фактичними мітками — ця різниця вимірюється за допомогою так званої функції втрат.

Щоб перетворити сирий вихід моделі на мітку класу (0 або 1), логістична регресія використовує сигмоїдальну функцію. Ця функція приймає будь-яке дійсне число і стискає його в діапазон від 0 до 1, що дозволяє трактувати його як ймовірність.

Сигмоїдальна функція визначається так:

Тут $z$ — це оцінка (також називається логітом), яку ми обчислили раніше.

Для двох класів: 1 (особа не поверне перший кредит) і 0 (особа поверне перший кредит), після застосування сигмоїди отримуємо ймовірність належності об'єкта до класу 1.

Щоб прийняти фінальне рішення (0 або 1), порівнюємо ймовірність із порогом — зазвичай 0.5:

• Якщо ймовірність більша за 0.5, прогнозуємо 1;
• Якщо вона менша або дорівнює 0.5, прогнозуємо 0.