Q-Learning: Off-Policy-TD-Lernen
Das Erlernen einer optimalen Strategie mit SARSA kann herausfordernd sein. Ähnlich wie bei der On-Policy-Monte-Carlo-Steuerung erfordert es in der Regel ein allmähliches Verringern von ε im Laufe der Zeit, das schließlich gegen Null geht, um von Exploration zu Exploitation überzugehen. Dieser Prozess ist oft langsam und kann eine umfangreiche Trainingszeit erfordern. Eine Alternative ist die Verwendung einer Off-Policy-Methode wie Q-Learning.
Q-Learning ist ein Off-Policy-TD-Steuerungsalgorithmus, der zur Schätzung der optimalen Aktionswertfunktion q∗(s,a) verwendet wird. Er aktualisiert seine Schätzungen basierend auf der aktuell besten Aktion und ist somit ein Off-Policy-Algorithmus.
Aktualisierungsregel
Im Gegensatz zur Off-Policy-Monte-Carlo-Steuerung benötigt Q-Learning kein Importance Sampling, um Unterschiede zwischen Verhaltens- und Zielpolitik auszugleichen. Stattdessen basiert es auf einer direkten Aktualisierungsregel, die SARSA sehr ähnlich ist, jedoch mit einem entscheidenden Unterschied.
Die Q-Learning-Aktualisierungsregel lautet:
Q(St,At)←Q(St,At)+α(Rt+1+γamaxQ(St+1,a)−Q(St,At))Der einzige Unterschied zu SARSA liegt im Zielwert. Anstatt wie SARSA den Wert der tatsächlich ausgeführten nächsten Aktion zu verwenden:
γQ(St+1,At+1)verwendet Q-Learning den Wert der bestmöglichen nächsten Aktion:
γamaxQ(St+1,a)Diese subtile Änderung hat große Auswirkungen: Sie ermöglicht es Q-Learning, Aktionen anhand einer Schätzung der optimalen Politik zu bewerten, selbst während der Agent noch exploriert. Das macht es zu einer Off-Policy-Methode — es lernt über die gierige Politik, unabhängig von den während des Trainings gewählten Aktionen.
Wann sollte Q-Learning verwendet werden?
Q-Learning ist vorzuziehen, wenn:
- Sie es mit deterministischen Umgebungen oder Umgebungen zu tun haben;
- Sie eine schnellere Konvergenzgeschwindigkeit benötigen.
Danke für Ihr Feedback!
Fragen Sie AI
Fragen Sie AI
Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen
Can you explain the main differences between SARSA and Q-learning in more detail?
Why does Q-learning converge faster than SARSA?
When should I choose SARSA over Q-learning?
Awesome!
Completion rate improved to 2.7Q-Learning: Off-Policy-TD-Lernen
Swipe um das Menü anzuzeigen
Das Erlernen einer optimalen Strategie mit SARSA kann herausfordernd sein. Ähnlich wie bei der On-Policy-Monte-Carlo-Steuerung erfordert es in der Regel ein allmähliches Verringern von ε im Laufe der Zeit, das schließlich gegen Null geht, um von Exploration zu Exploitation überzugehen. Dieser Prozess ist oft langsam und kann eine umfangreiche Trainingszeit erfordern. Eine Alternative ist die Verwendung einer Off-Policy-Methode wie Q-Learning.
Q-Learning ist ein Off-Policy-TD-Steuerungsalgorithmus, der zur Schätzung der optimalen Aktionswertfunktion q∗(s,a) verwendet wird. Er aktualisiert seine Schätzungen basierend auf der aktuell besten Aktion und ist somit ein Off-Policy-Algorithmus.
Aktualisierungsregel
Im Gegensatz zur Off-Policy-Monte-Carlo-Steuerung benötigt Q-Learning kein Importance Sampling, um Unterschiede zwischen Verhaltens- und Zielpolitik auszugleichen. Stattdessen basiert es auf einer direkten Aktualisierungsregel, die SARSA sehr ähnlich ist, jedoch mit einem entscheidenden Unterschied.
Die Q-Learning-Aktualisierungsregel lautet:
Q(St,At)←Q(St,At)+α(Rt+1+γamaxQ(St+1,a)−Q(St,At))Der einzige Unterschied zu SARSA liegt im Zielwert. Anstatt wie SARSA den Wert der tatsächlich ausgeführten nächsten Aktion zu verwenden:
γQ(St+1,At+1)verwendet Q-Learning den Wert der bestmöglichen nächsten Aktion:
γamaxQ(St+1,a)Diese subtile Änderung hat große Auswirkungen: Sie ermöglicht es Q-Learning, Aktionen anhand einer Schätzung der optimalen Politik zu bewerten, selbst während der Agent noch exploriert. Das macht es zu einer Off-Policy-Methode — es lernt über die gierige Politik, unabhängig von den während des Trainings gewählten Aktionen.
Wann sollte Q-Learning verwendet werden?
Q-Learning ist vorzuziehen, wenn:
- Sie es mit deterministischen Umgebungen oder Umgebungen zu tun haben;
- Sie eine schnellere Konvergenzgeschwindigkeit benötigen.
Danke für Ihr Feedback!
