马尔科夫模型

---

要素

• 状态集合 $S=\lbrace s_0, s_1, s_2, \ldots, s_n \rbrace$
• 状态转换概率矩阵 $A= \lbrace a_{ij}|0 \le i \le n, 1 \le j \le n \rbrace$

前提

马尔科夫假设

某个状态出现的概率仅依赖于前m个状态，称为m阶马尔科夫模型；特别地，若m=1，则称此模型为一阶马尔科夫模型。

贝叶斯公式（条件概率）

$$P(A|B)= \frac {P(AB)} {P(B)}$$

一阶马尔科夫模型的应用

给定模型，求某序列出现的概率

$$\begin{split}
P(o_1o_2o_3 \ldots o_k) &= P(o_1)P(o_2|o_1)P(o_3|o_2) \ldots P(o_k|o_{k-1}) \\
&= \Pi_{m=1}^k \Sigma_{i=0}^n \Sigma_{j=1}^n a_{ij}(o_{m-1}=s_i, o_m=s_j)
\end{split}$$

给定状态集合和某序列，求模型的参数

利用极大似然估计，求使得 $P(o_1o_2o_3 \ldots o_k)$ 概率最大的矩阵 $A$ 。可使用拉格朗日乘子法求满足 $\Sigma_{i=0}^n \Sigma_{j=1}^n a_{ij}=1$ 条件下 $\Pi_{m=1}^k \Sigma_{i=0}^n \Sigma_{j=1}^n a_{ij}(o_{m-1}=s_i, o_m=s_j)$ 的极值。
$$\begin{split}
F(\lambda, a_{01}, a_{02}, \ldots, a_{nn})=&\Sigma_{m=1}^k \Sigma_{i=0}^n \Sigma_{j=1}^n loga_{ij}(o_{m-1}=s_i, o_m=s_j)+ \\ &\lambda (\Sigma_{i=0}^n \Sigma_{j=1}^n a_{ij}-1)
\end{split}$$

---