什麼是時序差異學習（Temporal Difference Learning, TD學習）？
時序差異學習是一類在強化學習領域中非常核心且重要的無模型學習方法。它結合了蒙特卡羅方法與動態規劃的優點，通過結合當前的估計值與新觀測到的獎勵，實現對價值函數的增量更新，而無需等待整個序列結束後才能進行估計修正。通俗來說，TD學習讓智能體能根據當下經驗，不斷調整對未來回報的預測，從而逐步優化決策策略。
時序差異學習的核心原理
與蒙特卡羅方法只能等到整個事件完成後才更新估計不同，TD學習能在每一步時序即時更新估計。其基礎公式是根據「TD誤差（TD error）」進行調整：
V(st)←V(st)+α[rt+1+γV(st+1)−V(st)]V(st)←V(st)+α[rt+1+γV(st+1)−V(st)]
其中：
-
V(st)V(st) 是狀態 stst 的價值估計，
-
rt+1rt+1 是從 stst 過渡到 st+1st+1 時獲得的獎勵，
-
γγ 是折扣因子，用來考慮未來獎勵的價值，
-
αα 是學習率，調節更新幅度，
-
右側表示的差值被稱為“時序差異誤差”或TD誤差。
TD誤差反映了新的估計值相較於舊有預測的偏差，智能體根據這一誤差修正估計，以便更加精確地逼近真實價值。
時序差異學習的流程
-
智能體在環境中處於狀態 stst，選擇行動 atat；
-
執行該行動，觀察到獎勵 rt+1rt+1 和下一狀態 st+1st+1；
-
根據以上獲得的訊息計算TD誤差；
-
利用TD誤差更新該狀態的價值估計；
-
重複以上過程，智能體的估計與策略逐漸趨於最優。
TD學習的特點與優勢
-
即時更新能力
不需等待整個回合結束即可進行價值函數的更新，加快學習速度。 -
無需環境模型
只需通過智能體與環境的交互經驗進行學習，免去複雜的環境動態建模。 -
理論支持
TD算法在收斂性和效率上均有充分的理論證明。 -
靈活適用
可廣泛應用於各種連續或離散的狀態空間及決策問題。
時序差異學習的應用
-
遊戲AI
如著名的TD-Gammon程式，可通過與環境對弈學習人類級別的雙陸棋策略。 -
機器人控制
實現機器人自主學習動作策略，提高適應性與效率。 -
金融交易
動態優化投資決策，實時調整策略權重。 -
自動駕駛和智能交通
不斷改進行車策略以提升安全與效率。
與其他算法比較
-
蒙特卡羅方法
價值更新基於整卷終點的真實累計獎勵，適用於偶爾獎勵明確、不需中途更新的場景。 -
動態規劃
需要完整的環境模型和狀態轉移概率，計算量大。 -
時序差異學習
綜合上述優勢，實現無模型實時增量學習。
總結
時序差異學習作為強化學習的基石方法，通過結合實際獎勵與未來價值預期，不斷修正和優化策略，使智能體能夠高效且無依賴模型地學習決策。其理論嚴謹、應用廣泛，促進了人工智慧和自適應系統的深入發展，並在遊戲、機器人、金融等領域取得顯著成效，成為智能學習領域不可或缺的核心技術之一。