Градієнтна Стрічка

Gradient Tape

Розуміння базових операцій з тензорами дозволяє перейти до оптимізації та прискорення цих процесів за допомогою вбудованих можливостей TensorFlow. Першим із цих розширених інструментів для вивчення є Gradient Tape.

Що таке Gradient Tape?

У цьому розділі розглядається одна з основних концепцій у TensorFlow — Gradient Tape. Ця функція є ключовою для розуміння та впровадження методів оптимізації на основі градієнта, особливо в глибокому навчанні.

Gradient Tape у TensorFlow — це інструмент, який фіксує операції для автоматичного диференціювання. Коли операції виконуються всередині блоку Gradient Tape, TensorFlow відстежує всі обчислення, що відбуваються. Це особливо корисно під час навчання моделей машинного навчання, де градієнти потрібні для оптимізації параметрів моделі.

Примітка

По суті, градієнт — це набір часткових похідних.

Використання Gradient Tape

Щоб використовувати Gradient Tape, виконайте наступні кроки:

Створення блоку Gradient Tape: використовуйте with tf.GradientTape() as tape:. У цьому блоці всі обчислення відслідковуються;
Визначення обчислень: виконуйте операції з тензорами всередині блоку (наприклад, визначення прямого проходу нейронної мережі);
Обчислення градієнтів: використовуйте tape.gradient(target, sources), щоб обчислити градієнти цільової функції відносно джерел.

Просте обчислення градієнта

Простий приклад для кращого розуміння.


              123456789101112131415
            
import tensorflow as tf

# Define input variables
x = tf.Variable(3.0)

# Start recording the operations
with tf.GradientTape() as tape:
    # Define the calculations
    y = x * x
    
# Extract the gradient for the specific input (`x`)
grad = tape.gradient(y, x)

print(f'Result of y: {y}')
print(f'The gradient of y with respect to x is: {grad.numpy()}')

Цей код обчислює градієнт y = x^2 при x = 3. Це те саме, що й часткова похідна y за x.

Кілька часткових похідних

Коли на вихід впливають декілька вхідних даних, можна обчислити часткову похідну за кожною з цих змінних (або лише за вибраними). Це досягається шляхом передачі списку змінних як параметра sources.

Результатом цієї операції буде відповідний список тензорів, де кожен тензор представляє часткову похідну за кожною зі змінних, вказаних у sources.


              1234567891011121314151617
            
import tensorflow as tf

# Define input variables
x = tf.Variable(tf.fill((2, 3), 3.0))
z = tf.Variable(5.0)

# Start recording the operations
with tf.GradientTape() as tape:
    # Define the calculations
    y = tf.reduce_sum(x * x + 2 * z)
    
# Extract the gradient for the specific inputs (`x` and `z`)
grad = tape.gradient(y, [x, z])

print(f'Result of y: {y}')
print(f"The gradient of y with respect to x is:\n{grad[0].numpy()}")
print(f"The gradient of y with respect to z is: {grad[1].numpy()}")

Цей код обчислює градієнт функції y = sum(x^2 + 2*z) для заданих значень x та z. У цьому прикладі градієнт по x представлений як двовимірний тензор, де кожен елемент відповідає частинній похідній відповідного значення у вихідній матриці x.

Опис прикладу

Обчислення градієнта відносно x

Коли ми обчислюємо похідну y за x, ми фактично запитуємо: «Якщо ми трохи змінимо значення x, наскільки зміниться y?» Операція над x — піднесення до квадрату (x^2), тому похідна показує, що при кожному збільшенні x на одиницю, y зростає на 2*x.

Оскільки всі елементи x дорівнюють 3.0:

Градієнт кожного елемента — 2*3.0 = 6.0;
Матриця градієнтів відносно x має таку ж форму, як і сам x (2x3), де кожен елемент дорівнює 6.0. Це означає, що збільшення будь-якого елемента x на 1 призведе до збільшення y на 6 одиниць.

Обчислення градієнта відносно z

Для z розглядається, як зміни в z впливають на y. Оскільки z додається до кожного піднесеного до квадрату елемента x (після множення на два), ми фактично запитуємо: «Якщо z збільшиться на 1, наскільки збільшиться y?» За правилами широкомовлення, 2*z додається до кожного елемента x^2, як ніби ми маємо матрицю такого ж розміру, як x, заповнену значенням 2*z.

Операція 2*z відносно z є простою: її похідна дорівнює 2, оскільки 2*z змінюється на 2 одиниці при кожній одиничній зміні z;
Однак, оскільки ця операція впливає на кожен елемент матриці x, загальна зміна y при одиничній зміні z дорівнює 2, помноженій на кількість елементів у x (тобто 6, оскільки матриця 2x3). Таким чином, загальний градієнт відносно z — це 2*6 = 12. Це означає, що збільшення z на 1 одиницю збільшує y на 12 одиниць, що відображає сумарний ефект зміни по всіх елементах x.

Підсумок

Градієнт відносно x — це матриця, яка показує, як одиничне збільшення будь-якого елемента x призводить до збільшення y на 6 одиниць, що відображає прямий зв'язок між змінами в x і змінами в y;
Градієнт відносно z — це скаляр (12), який показує загальний ефект одиничного збільшення z на y, враховуючи вплив на всю матрицю x.

Примітка

Для додаткової інформації про можливості Gradient Tape, включаючи похідні вищих порядків і отримання матриці Якобі, зверніться до офіційної TensorFlow documentation.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 3. Розділ 2

single

Свайпніть щоб показати меню

Gradient Tape

Що таке Gradient Tape?

Примітка

По суті, градієнт — це набір часткових похідних.

Використання Gradient Tape

Щоб використовувати Gradient Tape, виконайте наступні кроки:

Створення блоку Gradient Tape: використовуйте with tf.GradientTape() as tape:. У цьому блоці всі обчислення відслідковуються;
Визначення обчислень: виконуйте операції з тензорами всередині блоку (наприклад, визначення прямого проходу нейронної мережі);
Обчислення градієнтів: використовуйте tape.gradient(target, sources), щоб обчислити градієнти цільової функції відносно джерел.

Просте обчислення градієнта

Простий приклад для кращого розуміння.


              123456789101112131415
            
import tensorflow as tf

# Define input variables
x = tf.Variable(3.0)

# Start recording the operations
with tf.GradientTape() as tape:
    # Define the calculations
    y = x * x
    
# Extract the gradient for the specific input (`x`)
grad = tape.gradient(y, x)

print(f'Result of y: {y}')
print(f'The gradient of y with respect to x is: {grad.numpy()}')

Цей код обчислює градієнт y = x^2 при x = 3. Це те саме, що й часткова похідна y за x.

Кілька часткових похідних


              1234567891011121314151617
            
import tensorflow as tf

# Define input variables
x = tf.Variable(tf.fill((2, 3), 3.0))
z = tf.Variable(5.0)

# Start recording the operations
with tf.GradientTape() as tape:
    # Define the calculations
    y = tf.reduce_sum(x * x + 2 * z)
    
# Extract the gradient for the specific inputs (`x` and `z`)
grad = tape.gradient(y, [x, z])

print(f'Result of y: {y}')
print(f"The gradient of y with respect to x is:\n{grad[0].numpy()}")
print(f"The gradient of y with respect to z is: {grad[1].numpy()}")

Опис прикладу

Обчислення градієнта відносно x

Оскільки всі елементи x дорівнюють 3.0:

Градієнт кожного елемента — 2*3.0 = 6.0;
Матриця градієнтів відносно x має таку ж форму, як і сам x (2x3), де кожен елемент дорівнює 6.0. Це означає, що збільшення будь-якого елемента x на 1 призведе до збільшення y на 6 одиниць.

Обчислення градієнта відносно z

Операція 2*z відносно z є простою: її похідна дорівнює 2, оскільки 2*z змінюється на 2 одиниці при кожній одиничній зміні z;
Однак, оскільки ця операція впливає на кожен елемент матриці x, загальна зміна y при одиничній зміні z дорівнює 2, помноженій на кількість елементів у x (тобто 6, оскільки матриця 2x3). Таким чином, загальний градієнт відносно z — це 2*6 = 12. Це означає, що збільшення z на 1 одиницю збільшує y на 12 одиниць, що відображає сумарний ефект зміни по всіх елементах x.

Підсумок

Градієнт відносно x — це матриця, яка показує, як одиничне збільшення будь-якого елемента x призводить до збільшення y на 6 одиниць, що відображає прямий зв'язок між змінами в x і змінами в y;
Градієнт відносно z — це скаляр (12), який показує загальний ефект одиничного збільшення z на y, враховуючи вплив на всю матрицю x.

Примітка

Завдання

Проведіть, щоб почати кодувати

Ваша мета — обчислити градієнт (похідну) заданої математичної функції в зазначеній точці за допомогою Gradient Tape у TensorFlow. Функція та точка будуть надані, і ви побачите, як використовувати TensorFlow для знаходження градієнта в цій точці.

Розглянемо квадратичну функцію однієї змінної x, визначену як:

f(x) = x^2 + 2x - 1

Ваше завдання — обчислити похідну цієї функції при x = 2.

Кроки

Визначте змінну x у точці, в якій потрібно знайти похідну.
Використайте Gradient Tape для запису обчислення функції f(x).
Обчисліть градієнт f(x) у заданій точці.

Примітка

Градієнт можна обчислити лише для значень типу з плаваючою комою.

Рішення

Перейдіть на комп'ютер для реальної практикиПродовжуйте з того місця, де ви зупинились, використовуючи один з наведених нижче варіантів

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 3. Розділ 2

single

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат