学习笔记|隐马尔可夫模型的基本概念
隐马尔可夫(hidden Markov model, HMM)描述由隐藏的马尔可夫链随机生成观测序列的过程,属于生成模型,是可用于标注问题的统计学习模型,在语音识别、自然语言处理、生物信息、模式识别等领域有着广泛的应用。
1. 隐马尔可夫模型的定义
定义: 隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测从而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列,称为状态序列;每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列。序列的每一个位置又可以看作是一个时刻。
隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。隐马尔可夫模型的形式定义如下:
设Q是所有可能的状态的集合,V是所有可能的观测的集合:
其中,N是可能的状态数,M是可能的观测数。
I是长度为T的状态序列,O是对应的观测序列:
A是状态转移概率矩阵:
其中,
B是观测概率矩阵:
其中,
π是初始状态概率向量:

其中,

隐马尔可夫模型由初始状态概率向量π、状态转移概率矩阵A和观测概率矩阵B决定。π和A决定状态序列,B决定观测序列。因此,隐马尔可夫模型λ可以用三元符号表示,即

A,B,π称为隐马尔可夫模型的三要素。
状态转移概率矩阵A与初始状态概率向量π确定了隐藏的马尔可夫链,生成不可观测的状态序列。观测概率矩阵B确定了如何从状态生成观测,与状态序列综合确定了如何产生观测序列。
从定义可知,隐马尔可夫模型作了两个基本假设:
(1)齐次马尔可夫性假设,即假设隐藏的马尔可夫链在任意时刻t的状态只依赖于其前一时刻的状态,与其他时刻的状态及观测无关,也与时刻t无关:
(2)观测独立性假设,即假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态,与其他观测及状态无关:
隐马尔可夫模型可以用于标注,这时状态对应着标记。标注问题是给定观测的序列预测其对应的标记序列。可以假设标注问题的数据是由隐马尔可夫模型生成的。这样我们可以利用隐马尔可夫模型的学习与预测算法进行标注。
2. 观测序列的生成过程
根据隐马尔可夫模型定义,可以将一个长度为T的观测序列
的生成过程描述如下。
观测序列生成算法:
输入:隐马尔可夫模型λ=(A,B,π),观测序列长度T;
(1)按照初始状态分布π产生状态;
(2)令t=1;
(5)令t=t+1;如果t<T,转到(3);否则,终止。
3. 隐马尔可夫模型的3个基本问题
隐马尔可夫模型有3个基本问题:
参考文献
1.统计学习方法(第2版),李航著,清华大学出版社
- 点赞
- 收藏
- 关注作者
评论(0)