Логістична регресія насправді є алгоритмом класифікації, незважаючи на слово "регресія" у назві.

Свою назву вона отримала тому, що базується на лінійній регресії, але використовує логістичну (сигмоїдну) функцію для перетворення результату у ймовірності, що дозволяє класифікувати дані за категоріями замість прогнозування неперервних значень.

Припустимо, потрібно передбачити, чи особа не виконає зобов'язання за першою позикою (відсутня кредитна історія).

У лінійній регресії будується рівняння для прогнозування числових значень. Це ж рівняння можна використати для обчислення "рейтингу надійності". Він враховує такі характеристики, як дохід, тривалість поточного працевлаштування, співвідношення боргу до доходу тощо. Вищий рейтинг надійності означає менший ризик невиконання зобов'язань.

Значення $\beta$ — це параметри, які модель повинна навчитися визначати. Під час навчання комп'ютер коригує ці значення, щоб покращити точність прогнозів. Це відбувається шляхом мінімізації різниці між передбаченими результатами та фактичними мітками — ця різниця вимірюється за допомогою так званої функції втрат.

Щоб перетворити сирий вихід моделі на класову мітку (0 або 1), у логістичній регресії використовується сигмоїдна функція. Ця функція приймає будь-яке дійсне число і стискає його до діапазону від 0 до 1, що дозволяє інтерпретувати результат як ймовірність.

Сигмоїдна функція визначається так:

Тут $z$ — це оцінка (також називається логітом), яку ми розрахували раніше.

Для двох класів: 1 (особа не поверне перший кредит) і 0 (особа поверне перший кредит), після застосування сигмоїдної функції отримуємо ймовірність належності об'єкта до класу 1.

Для прийняття остаточного рішення (0 або 1) ймовірність порівнюється з порогом — зазвичай 0.5:

• Якщо ймовірність більша за 0.5, прогнозується 1;
• Якщо менша або дорівнює 0.5, прогнозується 0.