Огляд Моделі BigQuery ML

Ознайомтеся з повним життєвим циклом моделі машинного навчання: від підготовки даних до інтерпретації результатів для зацікавлених сторін. Створення та оцінка моделі лінійної регресії безпосередньо у BigQuery.

Підготовка даних та проєктування схеми

Перед початком моделювання необхідно визначити місце зберігання даних та їхню структуру:

• Створення схеми: визначення назв стовпців і типів даних для забезпечення коректного завантаження та запитування даних;
• Завантаження та інспекція даних: використання невеликих наборів даних для спостереження початкових кореляцій, наприклад, як кількість спалень впливає на ціну будинку;
• Розуміння кореляцій: комбінування кількох ознак для виявлення сильних предиктивних зв'язків, необхідних для реальних застосувань.

Навчання моделі та логіка

Машинне навчання полягає у навчанні моделі розпізнавати математичні зв'язки між вхідними та вихідними даними:

• Вибір моделі: використання лінійної регресії для прогнозування безперервних числових результатів;
• Визначення змінних: встановлення цільової змінної (наприклад, ціна) та вхідних ознак (наприклад, площа та кількість спалень);
• Процес навчання: навчання відбувається ітераціями, під час яких модель коригується на основі швидкості навчання для мінімізації втрат (середньоквадратичної помилки).

Оцінка та валідація

Щоб переконатися, що ваша модель дійсно навчається, а не запам'ятовує, необхідно перевірити її ефективність:

• Розділення на навчальну та тестову вибірки: приблизно 20 відсотків даних залишаються для тестування моделі на невідомих прикладах;
• Метрики оцінки моделі: використання (R-квадрат) для вимірювання прогностичної сили, де значення вище 0,8 зазвичай вказують на надійну основу;
• Порівняння значень: аналіз відсоткової похибки між прогнозованими та фактичними значеннями для підтвердження точності моделі.

Створення прогнозів та інтерпретація

Кінцева мета — отримання практичних висновків з нових даних:

• Генерація прогнозів: застосування навченої моделі до нових, невідомих записів для імітації реального використання;
• Інтерпретація ваг: аналіз ваг ознак для визначення, які вхідні дані, наприклад, кількість спалень, мають найбільший вплив на кінцевий прогноз;
• Базові перехоплення: визначення перехоплення для розуміння базового прогнозу, коли всі вхідні ознаки дорівнюють нулю.