Навчання з підкріпленням (RL) — це потужна галузь машинного навчання, що зосереджена на тренуванні інтелектуальних агентів шляхом їхньої взаємодії з оточенням. У цьому курсі ви дізнаєтеся, як агенти поступово знаходять ефективні стратегії через спроби та помилки. Починаючи з основних понять, таких як марковські процеси прийняття рішень і багаторукі бандити, ви опануєте методи динамічного програмування, методи Монте-Карло та навчання з часовою різницею.

Дізнайтеся, як навчати агентів приймати оптимальні рішення шляхом спроб і помилок. Ознайомтеся з основами теорії навчання з підкріпленням. Отримайте практичний досвід налаштування та запуску середовища Gymnasium.

Опанування компромісу між дослідженням і використанням через проблему багаторукого бандита. Реалізація оцінки цінності дій, ε-жадібного методу, методу верхньої довірчої межі та градієнтного бандита. Оцінювання ефективності алгоритмів на змодельованих завданнях максимізації винагороди.

Опанування динамічного програмування для модельно-орієнтованого навчання з підкріпленням. Вивчення використання рівнянь Беллмана для оцінки та покращення стратегій. Реалізація алгоритмів ітерації стратегій та ітерації значень. Дослідження узагальненої ітерації стратегій як теоретичної основи для безмодельних методів.

Опанування методів Монте-Карло для безмодельного навчання з підкріпленням. Оцінювання функцій цінності та отримання оптимальних стратегій на основі повних епізодів. Реалізація алгоритмів контролю Монте-Карло на політиці та поза політикою. Вивчення стратегій дослідження для оптимізації безмодельного навчання.

Опанування навчання з часовою різницею для безмодельного RL. Оцінювання функцій цінності за частковими епізодами за допомогою оновлень TD(0). Реалізація алгоритмів SARSA на політиці та Q-Learning поза політикою. Дослідження поєднання методів Монте-Карло та навчання з часовою різницею в n-кроковому TD та TD(λ).

Завдання: Методи Монте-Карло

Завдання

Awesome!

Завдання: Методи Монте-Карло

Завдання