一句话简介
马尔科夫链就是，在一个状态机里，从一个状态转换到另一个状态的概率只取决于当前状态，与之前的状态无关。
这种“无记忆”的性质，也叫马尔科夫性质
一个典型的马尔科夫模型
定义 牛市，熊市，横盘的状态分别为0、1、2，定义状态转移矩阵为：
比较有趣的是，这里如果随意定义一个初始状态
$t_0 = [0.1, 0.2, 0.7]$
然后通过状态转移矩阵去计算后面的状态的概率，最终会是这样：
0 [ 0.295 0.3425 0.3625]
1 [ 0.4075 0.38675 0.20575]
2 [ 0.4762 0.3914 0.1324]
3 [ 0.52039 0.381935 0.097675]
4 [ 0.55006 0.368996 0.080944]
5 [ 0.5706394 0.3566873 0.0726733]
6 [ 0.58524688 0.34631612 0.068437 ]
7 [ 0.59577886 0.33805566 0.06616548]
8 [ 0.60345069 0.33166931 0.06487999]
9 [ 0.60907602 0.32681425 0.06410973]
10 [ 0.61321799 0.32315953 0.06362248]
11 [ 0.61627574 0.3204246 0.06329967]
12 [ 0.61853677 0.31838527 0.06307796]
13 [ 0.62021037 0.31686797 0.06292166]
14 [ 0.62144995 0.31574057 0.06280949]
15 [ 0.62236841 0.31490357 0.06272802]
16 [ 0.62304911 0.31428249 0.0626684 ]
17 [ 0.62355367 0.31382178 0.06262455]
18 [ 0.62392771 0.31348008 0.06259221]
19 [ 0.624205 0.3132267 0.0625683]
20 [ 0.62441058 0.31303881 0.06255061]
21 [ 0.624563 0.31289949 0.06253751]
22 [ 0.624676 0.3127962 0.0625278]
23 [ 0.62475978 0.31271961 0.06252061]
24 [ 0.6248219 0.31266282 0.06251528]
是的，最终状态收敛了！
即使初始状态不同，比如 $[0,0,1]$ ，最终也会收敛到这个状态！
马尔科夫链收敛条件
- 状态机中可能的状态数是有限的
- 状态之间的转移概率固定不变
- 可以从任意状态转变到任意状态
- 不能是简单的循环，比如 x 全是到 y， y 全是到 x
以上就是马尔科夫链收敛的必要条件
应用
- PageRank
- 语音识别中的 HMM 隐马尔科夫模型