设有一个 Markov 链, 状态 E = {1,2,3}, 转移概率矩阵为

$$ P=\begin{pmatrix} 0.2 & 0.5 & 0.3 \\ 0.4 & 0.1 & 0.5 \\ 0.6 & 0.2 & 0.2 \end{pmatrix} $$ 其中 $P_{ij}$ 表示从状态 $i$ 转移到状态 $j$ 的概率。 1. 求该 Markov 链的状态转移图。 答：状态转移图如下所示：  2. 求该 Markov 链的稳定分布。 答：设稳定分布为 $\pi=(\pi_1,\pi_2,\pi_3)$，则有 $\pi P=\pi$，即 $$ \begin{pmatrix} \pi_1 & \pi_2 & \pi_3 \end{pmatrix} \begin{pmatrix} 0.2 & 0.5 & 0.3 \\ 0.4 & 0.1 & 0.5 \\ 0.6 & 0.2 & 0.2 \end{pmatrix} = \begin{pmatrix} \pi_1 & \pi_2 & \pi_3 \end{pmatrix} $$ 化简得到以下方程组： $$ \begin{cases} 0.2\pi_1+0.4\pi_2+0.6\pi_3=\pi_1 \\ 0.5\pi_1+0.1\pi_2+0.2\pi_3=\pi_2 \\ 0.3\pi_1+0.5\pi_2+0.2\pi_3=\pi_3 \\ \pi_1+\pi_2+\pi_3=1 \end{cases} $$ 解得 $\pi=(0.375,0.3125,0.3125)$，即稳定分布为 $(0.375,0.3125,0.3125)$。