分类:Markov过程的阶和转移矩阵的计算
在博弈研究，以及其他很多研究中，Markov过程都是特别重要的概念。Markov过程就是指当前时刻的状态仅仅由有限步之前的状态决定，也就是，对于离散时间离散状态的系统来说，其当前时刻的决定机制可以表达成为一个矩阵，例如[math]\displaystyle{ P\left(S_{t}|S_{t-1}S_{t-2}...S_{t-L}\right) }[/math]。一阶Markov过程的意思就是[math]\displaystyle{ L=1 }[/math]。于是，如果系统有[math]\displaystyle{ N }[/math]个状态，则这个矩阵是[math]\displaystyle{ N\times N }[/math]的。更高阶的会表现为一个[math]\displaystyle{ N\times N^{L} }[/math]的矩阵。
在从实际数据中估计这个矩阵的过程中，有几个问题：
- 怎么知道哪一个[math]\displaystyle{ L }[/math]比较合适？
- 尤其在博弈研究中，牵涉到多个体参与者（这里的多个参与者仅仅是为了获得多个样本点，不是单次博弈所需要的人数。如果单次博弈实验需要人数是多人，则本来就要把这样的一群人当作系统来研究，系统的状态就是这群人合——其实是直积——起来的状态），每一个（或者每一群个体，这里的群就是单次实验本身所需要的参与者数量，例如2人博弈则需要2人）个体多轮的问题，估算的顺序可能会有影响，怎么决定：例如先通过每一个个体的时间序列来计算转移矩阵，然后对转移矩阵做群体平均；例如直接把所有人的时间序列拿来估算转移矩阵？
对于第一个问题，不能简单按照所估计出来的矩阵的理论解和实际分布函数的符合程度来决定。对于一个本质上就是两步的Markov过程，按照单步所估算出来矩阵，也能够给出和实际分布函数相符程度很高的理论分布函数。当然，朴素来说，可以先按照高阶的计算出来，然后看看，是不是满足[math]\displaystyle{ P\left(S_{t}|S_{t-1}S_{t-2}\right)＝P\left(S_{t}|S_{t-1}\right) }[/math]来判断。更好的方法——效率更高、更定量的方法——应该其他人已经研究过了。需要做一些知识的补充。
对于第二个问题，按照分类:Surprised by the Gambler’s and Hot Hand Fallacies的结果，两种计算顺序有可能不一样。
