Computational mechanism

🐽宝的手记

三、RW 与贝叶斯模型的结合：POMDP #

POMDP (partially observable Markov decision process, 部分可观察的马尔科夫决策过程), 源自 MDP，因此具备强化学习的属性。

然而，在真实的社会情境中, 人们不能准确掌握环境的真实的状态(i.e., 他人的道德品质), 仅能通过感官获得一部分能反映状态的观测值(i.e., 外显的行为), 此时人们利用观测值形成对真实状态的概率估计, MDP 则变成POMDP。

包含的变量：

人们获得的观测值：Z

状态先验条件下的观测值似然函数：O

POMDP 具备贝叶斯属性：

在 POMDP 中，人们根据状态的后验信念，也就是信念状态（belief state）做出决策，而信念状态的更新则基于贝叶斯信息更新方式。

后验信念 = (先验信念 × 似然度) / 证据

先验信念：考虑任何新的证据之前，我们对事件或假设的信念或概率分布。

似然度：在给定新的数据或观察的条件下，事件或假设成立的概率。

证据：观察到的数据或证据的概率。

IPOMDP：（Interactive POMDP），与 POMDP 相比，对状态的估计还包括了对他人模型的估计。