RETD: nowa stabilna wersja emphatic TD learning w RL

Nowe badanie opublikowane na arXiv przez zespół Xingguo Chena, Zhaohui Wu, Jinguo Ye, Chao Li, Shangdong Yanga, Guang Yanga, Skylar Lianga i Wenhao Wanga rzuca nowe światło na jeden z bardziej subtelnych problemów uczenia ze wzmocnieniem: stabilność algorytmu emphatic temporal-difference learning (ETD) przy stałym rozmiarze kroku uczenia. Praca, zgłoszona 14 września 2026 roku, pokazuje, że popularne teoretyczne uzasadnienia stabilności ETD nie tłumaczą się automatycznie na rzeczywiste, próbkowane zachowanie algorytmu, i proponuje naprawę tego problemu w postaci nowej metody RETD.

Kluczowe wnioski

• Autorzy skonstruowali dwustanowy kontrprzykład, w którym oczekiwana mapa ETD jest kontrakcyjna (stabilna), ale rzeczywisty, próbkowany proces ma dodatni górny wykładnik Lyapunova – co oznacza faktyczną niestabilność w praktyce.
• Za pomocą analizy cykli regeneracyjnych wykazano, że ten paradoks jest niezależny od nieskończonej wariancji tzw. śladu follow-on (follow-on trace), znanego wcześniej problemu ETD.
• Zespół wprowadził RETD (regularized emphatic TD) – metodę, która nie zmienia śladów ani wag importance sampling, lecz przechowuje sygnał emphatic TD w „przeciekającym” (leaky) stanie skalarnym i uwalnia opóźnioną korektę.
• Udowodniono zbieżność RETD z prawdopodobieństwem 1 dla harmonicznie zmniejszających się kroków oraz warunkowy wynik kontrakcji momentów dla stałych kroków, oparty na markowowskim ograniczeniu iloczynu losowego.
• Eksperymenty na 10 000 przebiegach potwierdziły rozdzielenie zachowań ETD i RETD, odzyskanie punktu stałego oraz niemonotoniczny (nieregularny) obszar stabilności, zależny od konkretnego zadania.

Problem z emphatic temporal-difference learning

Emphatic TD to metoda opracowana, by ustabilizować uczenie różnicowe czasowe (temporal-difference, TD) w scenariuszu off-policy – czyli sytuacji, w której agent uczy się wartości jednej polityki (target policy), obserwując dane generowane przez inną politykę (behavior policy). Klasyczny problem off-policy TD polega na tym, że bez odpowiednich korekt algorytm może rozjeżdżać się i nie zbiegać do sensownego rozwiązania. ETD radzi sobie z tym, wprowadzając wagi „emfazy”, które zmieniają geometrię projekcji błędu.

Jak zaznaczają autorzy, ETD stabilizuje oczekiwaną (uśrednioną) aktualizację TD i zmienia geometrię projekcji, jednak – jak dowodzi ten artykuł – „żadna z tych właściwości nie determinuje dynamiki próbkowanej przy stałym rozmiarze kroku”. To rozróżnienie jest kluczowe: w praktycznych implementacjach RL nie pracujemy z uśrednionymi, oczekiwanymi aktualizacjami, lecz z pojedynczymi, próbkowanymi obserwacjami, które mogą zachowywać się zupełnie inaczej niż ich teoretyczne oczekiwanie.

Kontrprzykład i wykładnik Lyapunova

Aby udowodnić tę tezę, badacze skonstruowali ergodyczny dwustanowy przykład, w którym mapa uśredniona ETD jest kontrakcyjna – co sugerowałoby stabilność – natomiast próbkowany iloczyn macierzy ma dodatni górny wykładnik Lyapunova. Wykładnik Lyapunova to miara tempa, z jakim niewielkie odchylenia w systemie dynamicznym narastają lub zanikają w czasie; dodatnia wartość oznacza, że błędy się kumulują, a nie zanikają, co jest sygnałem faktycznej niestabilności procesu uczenia.

Za pomocą analizy cykli regeneracyjnych zespół pokazał, że ten „paradoks znaku” – kontrakcja w teorii, dywergencja w praktyce – to zjawisko odrębne od dobrze znanego problemu nieskończonej wariancji śladu follow-on w ETD. Innymi słowy, mamy do czynienia z dwoma niezależnymi źródłami niestabilności, a nie z jednym i tym samym mechanizmem widzianym z różnych perspektyw.

RETD: regulowana naprawa post-shock

Odpowiedzią autorów na ten problem jest RETD (regularized emphatic TD) – metoda opisana jako „znormalizowana, pierwszego rzędu naprawa po szoku” (normalized first-order post-shock repair). Kluczowe jest to, że RETD nie modyfikuje śladów (traces) ani wag importance sampling używanych w standardowym ETD. Zamiast tego sygnał emphatic TD jest przechowywany w „przeciekającym” stanie skalarnym (leaky scalar state), a korekta jest uwalniana z opóźnieniem.

Autorzy dowodzą, że surowy punkt równowagi RETD jest afinicznym przesunięciem punktu równowagi ETD, natomiast odczyty z jedną lub dwoma regularyzacjami odzyskują dokładnie punkt stały ETD. To istotne z praktycznego punktu widzenia: RETD nie zmienia „docelowej” wartości, do której algorytm powinien zbiegać, ale zmienia sposób, w jaki system reaguje po zakłóceniu (post-shock dynamics).

Zespół dostarczył dwa formalne wyniki teoretyczne: zbieżność z prawdopodobieństwem 1 dla harmonicznie zmniejszających się kroków uczenia oraz warunkowy wynik kontrakcji momentów dla stałych kroków, wyprowadzony z markowowskiego ograniczenia na iloczyn losowy. RETD uzyskało certyfikowane, ujemne wykładniki Lyapunova na skonstruowanym dwustanowym przykładzie oraz w jednym punkcie znanego z literatury RL kontrprzykładu Bairda, podczas gdy dodatni znak dla ETD w kontrprzykładzie Bairda pozostaje wynikiem wyłącznie numerycznym, bez formalnego certyfikatu.

Weryfikacja empiryczna i ograniczenia metody

Wyniki teoretyczne autorzy potwierdzili sparowanymi eksperymentami – 10 000 przebiegów symulacyjnych, które zwalidowały cztery elementy: rozdzielenie dynamiki ETD i RETD, odzyskanie punktu stałego przez RETD, niemonotoniczny (nieregularny) obszar stabilności oraz zależność zachowania metody od konkretnego zadania (task dependence).

Ważne jest jednak zastrzeżenie, które autorzy formułują wprost: RETD zmienia dynamikę po zakłóceniu, ale nie redukuje współdzielonej wariancji śladu follow-on. To oznacza, że metoda nie jest uniwersalną panaceą na wszystkie problemy stabilności off-policy TD learning – rozwiązuje jeden konkretny, zidentyfikowany mechanizm niestabilności, ale nie ten związany z nieskończoną wariancją, który pozostaje odrębnym wyzwaniem dla przyszłych badań w obszarze uczenia ze wzmocnieniem.

Praca ma charakter głęboko teoretyczny i adresowana jest przede wszystkim do badaczy zajmujących się fundamentami algorytmów uczenia ze wzmocnieniem off-policy, jednak jej implikacje mogą mieć znaczenie praktyczne dla wszystkich systemów RL wykorzystujących emphatic TD w warunkach stałego rozmiaru kroku – a więc w typowych, produkcyjnych zastosowaniach, gdzie harmoniczne zmniejszanie kroku uczenia rzadko jest stosowane.