尧图网站建设 ![RL-07-赵-不基于模型2-计算Q-TD算法01：Sarsa02【qₜ₊₁(sₜ,aₜ)=qₜ(sₜ,aₜ)−αₜ(sₜ,aₜ)[qₜ(sₜ,aₜ)-[rₜ₊₁+γqₜ(sₜ₊₁,aₜ₊₁)]]】](http://pic.xiahunao.cn/yaotu/RL-07-赵-不基于模型2-计算Q-TD算法01：Sarsa02【qₜ₊₁(sₜ,aₜ)=qₜ(sₜ,aₜ)−αₜ(sₜ,aₜ)[qₜ(sₜ,aₜ)-[rₜ₊₁+γqₜ(sₜ₊₁,aₜ₊₁)]]】)
TD算法要求的data/experience如下：给定πππ产生的(s0,r1,s1,…,st,rt+1,st+1,…)or{ (st,rt+1,st+1)}t(s_0,r_1,s_1,\ldots,s_t,r_{t+1},s_{t+1},\ldots)\mathrm{~or~}\{(s_t,r_{t+1},s_{ RL-07-赵-不基于模型2-计算Q-TD算法01：Sarsa02【qₜ₊₁(sₜ,aₜ)=qₜ(sₜ,aₜ)−αₜ(sₜ,aₜ)[qₜ(sₜ,aₜ)-[rₜ₊₁+γqₜ(sₜ₊₁,aₜ₊₁)]]】
TD算法要求的data/experience如下：给定πππ产生的(s0,r1,s1,…,st,rt+1,st+1,…)or{ (st,rt+1,st+1)}t(s_0,r_1,s_1,\ldots,s_t,r_{t+1},s_{t+1},\ldots)\mathrm{~or~}\{(s_t,r_{t+1},s_{