HMM隐马尔可夫模型（词语粘合）

HMM用于自然语言处理（NLP）中文分词，是用来描述一个含有隐含未知参数的马尔可夫过程，其目的是希望通过求解这些隐含的参数来进行实体识别，说简单些也就是起到词语粘合的作用。

HMM隐马尔可夫模型包括：

　　OBS 显现层（observations）

　　States 隐含层

　　Start_p 初始概率 P(a)

　　Trans_p 转移概率 P(b|a)

　　Emit_p 发射概率

例题：小黑每天根据天气【下雨、晴天】决定当天的活动【散步、购物、清理房间】，她有在朋友圈里发了一条信息“我前天在公园散步，昨天购物，今天清理房间了”，如何根据发的信息推断这三天的天气？

第一天：

【第一天】【散步】=【初始概率，下雨】*【发射概率，散步】=0.6*0.1=0.06
【第一天】【散步】=【初始概率，晴天】*【发射概率，散步】=0.4*0.6=0.24
　　因为0.24>0.06，第一天可能是晴天

第二天：

【第二天】【购物】=【第一天散步，初始概率，下雨】*【转移概率，下雨】*【发射概率，购物】=0.06*0.7*0.4=0.0168

【第二天】【购物】=【第一天散步，初始概率，下雨】*【转移概率，晴天】*【发射概率，购物】=0.06*0.3*0.3=0.0054

【第二天】【购物】=【第一天散步，初始概率，晴天】*【转移概率，下雨】*【发射概率，购物】=0.24*0.4*0.4=0.0384

【第二天】【购物】=【第一天散步，初始概率，晴天】*【转移概率，晴天】*【发射概率，购物】=0.24*0.6*0.3=0.0432

　　第一天散步+第二天购物的情况下，第一天可能是晴天，第二天也可能是晴天

第三天：

【第三天】【清理】=【初始概率，晴天，下雨】*【转移概率，下雨】*【发射概率，清理】=0.0384*0.7*0.5=0.01344

【第三天】【清理】=【初始概率，晴天，下雨】*【转移概率，晴天】*【发射概率，清理】=0.0384*0.3*0.1=0.00114

【第三天】【清理】=【初始概率，晴天，晴天】*【转移概率，下雨】*【发射概率，清理】=0.0432*0.4*0.5=0.00864

【第三天】【清理】=【初始概率，晴天，晴天】*【转移概率，晴天】*【发射概率，清理】=0.0432*0.6*0.1=0.00259

【第三天】【清理】=【初始概率，下雨，下雨】*【转移概率，下雨】*【发射概率，清理】=0.0168*0.7*0.5=0.00588

【第三天】【清理】=【初始概率，下雨，下雨】*【转移概率，晴天】*【发射概率，清理】=0.0168*0.3*0.1=0.00050

【第三天】【清理】=【初始概率，下雨，晴天】*【转移概率，下雨】*【发射概率，清理】=0.0054*0.4*0.5=0.00108

【第三天】【清理】=【初始概率，下雨，晴天】*【转移概率，晴天】*【发射概率，清理】=0.0054*0.6*0.1=0.00032

　　第一天散步+第二天购物+第三天打扫的情况下，第一天晴天，第二天下雨，第三天下雨概率最大

用Python实现：

# Python -version 3.5以上版本

# 打印路径概率表

def print_dptable(V):

    print ("    ",)

    for i in range(len(V)):

        print ("%7d" % i,)

    print ()

    for y in V[0].keys():

        print ("%.5s: " % y,)

        for t in range(len(V)):

            print ("%.7s" % ("%f" % V[t][y]),)

        print ()

def viterbi(obs, states, start_p, trans_p, emit_p):

    # 路径概率表 V[时间][隐含层] = 概率

    V = [{}]

    # 中间变量

    path = {}

    # 状态初始化 (t == 0)

    for y in states:

        V[0][y] = start_p[y] * emit_p[y][obs[0]]

        path[y] = [y]

    # 对 t > 0 跑一遍维特比算法

    for t in range(1, len(obs)):

        V.append({})

        newpath = {}

        for y in states:

            # 概率 隐含层 =  前状态是y0的初始概率 * y0转移到y的转移概率 * y表现为当前状态的发射概率

            (prob, state) = max([(V[t - 1][y0] * trans_p[y0][y] * emit_p[y][obs[t]], y0) for y0 in states])

            # 记录最大概率

            V[t][y] = prob

            # 记录路径

            newpath[y] = path[state] + [y]

        path = newpath

    print_dptable(V)

    (prob, state) = max([(V[len(obs) - 1][y], y) for y in states])

    return (prob, path[state])

# HMM 实例导入

states = ('Rainy', 'Sunny')

observations = ('walk', 'shop', 'clean')

start_probability = {'Rainy': 0.6, 'Sunny': 0.4}

transition_probability = {

    'Rainy': {'Rainy': 0.7, 'Sunny': 0.3},

    'Sunny': {'Rainy': 0.4, 'Sunny': 0.6},

}

emission_probability = {

    'Rainy': {'walk': 0.1, 'shop': 0.4, 'clean': 0.5},

    'Sunny': {'walk': 0.6, 'shop': 0.3, 'clean': 0.1},

}

def example():

    #将实例值传输到viterbi函数

    return viterbi(observations,

                   states,

                   start_probability,

                   transition_probability,

                   emission_probability

                   )

print (example())

巴特西

HMM隐马尔可夫模型（词语粘合）

最新文章

热门文章