分享更有价值
被信任是一种快乐

怎么理解BiLSTM和CRF算法

文章页正文上

本篇内容介绍了“怎么理解BiLSTM和CRF算法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!1.前言给定一个句子 “什么是地摊经济”,其正确的分词方式是 “什么 / 是 / 地摊 / 经济”,每个字对应的分词标签是 “be / s / be / be”。从下面的图片可以看出 LSTM 在做序列标注时的问题。BiLSTM 分词BiLSTM 可以预测出每一个字属于不同标签的概率,然后使用 Softmax 得到概率最大的标签,作为该位置的预测值。这样在预测的时候会忽略了标签之间的关联性,如上图中 BiLSTM 把第一个词预测成 s,把第二个词预测成 e。但是实际上在分词时 s 后面是不会出现 e 的,因此 BiLSTM 没有考虑标签间联系。因此 BiLSTM+CRF 在 BiLSTM 的输出层加上一个 CRF,使得模型可以考虑类标之间的相关性,标签之间的相关性就是 CRF 中的转移矩阵,表示从一个状态转移到另一个状态的概率。假设 CRF 的转移矩阵如下图所示。CRF 状态转移矩阵则对于前两个字 “什么”,其标签为 “se” 的概率 =0.800.7=0,而标签为 “be” 的概率=0.60.50.7=0.21。因此,BiLSTM+CRF 考虑的是整个类标路径的概率而不仅仅是单个类标的概率,在 BiLSTM 输出层加上 CRF 后,如下所示。BiLSTM+CRF 分词最终算得所有路径中,besbebe 的概率最大,因此预测结果为 besbebe。2.BiLSTM+CRF 模型CRF 包括两种特征函数,不熟悉的童鞋可以看下之前的文章。第一种特征函数是状态特征函数,也称为发射概率,表示字 x 对应标签 y 的概率。CRF 状态特征函数在 BiLSTM+CRF 中,这一个特征函数 (发射概率) 直接使用 LSTM 的输出计算得到,如第一小节中的图所示,LSTM 可以计算出每一时刻位置对应不同标签的概率。CRF 的第二个特征函数是状态转移特征函数,表示从一个状态 y1 转移到另一个状态 y2 的概率。CRF 状态转移特征函数CRF 的状态转移特征函数可以用一个状态转移矩阵表示,在训练时需要调整状态转移矩阵的元素值。因此 BiLSTM+CRF 需要在 BiLSTM 的模型内增加一个状态转移矩阵。在代码中如下。给定句子 x,其标签序列为 y 的概率用下面的公式计算。p(y|x)公式中的 score 用下面的式子计算,其中 Emit 对应发射概率 (即 LSTM 输出的概率),而 Trans 对应了转移概率 (即 CRF 转移矩阵对应的数值)score 的计算公式BiLSTM+CRF 采用最大似然法训练,对应的损失函数如下:损失函数其中 score(x,y) 比较容易计算,而 Z(x) 是所有标签序列 (y) 打分的指数之和,如果序列的长度是 l,标签个数是 k,则序列的数量为 (k^l)。无法直接计算,因此要用前向算法进行计算。用目前主流的深度学习框架,对 loss 进行求导和梯度下降,即可优化 BiLSTM+CRF。训练好模型之后可以采用 viterbi 算法 (动态规划) 找出最优的路径。3.损失函数计算计算 BiLSTM+CRF 损失函数的难点在于计算 log Z(x),用 F 表示 log Z(x),如下公式所示。我们将 score 拆分,变成发射概率 p 和转移概率 T 的和。为了简化问题,我们假设序列的长度为3,则可以分别计算写出长度为 1、2、3 时候的 log Z 值,如下所示。上式中 p 表示发射概率,T 表示转移概率,Start 表示开始,End 表示句子结束。F(3) 即是最终得到的 log Z(x) 值。通过对上式进行变换,可以将 F(3) 转成递归的形式,如下。可以看到上式中每一步的操作都是一样的,操作包括 log_sum_exp,例如 F(1):首先需要免费云主机、域名计算 exp,对于所有 y1,计算 exp(p(y1)+T(Start,y1))求和,对上一步得到的 exp 值进行求和求 log,对求和的结果计算 log因此可以写出前向算法计算 log Z 的代码,如下所示:4.viterbi 算法解码训练好模型后,预测过程需要用 viterbi 算法对序列进行解码,感兴趣的童鞋可以参看《统计学习方法》。下面介绍一下 viterbi 的公式,首先是一些符号的意义,如下:然后可以得到 viterbi 算法的递推公式最终可以根据 viterbi 计算得到的值,往前查找最合适的序列“怎么理解BiLSTM和CRF算法”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注云技术网站,小编将为大家输出更多高质量的实用文章!

相关推荐: HTML怎么放置列表标记

这篇文章主要讲解了“HTML怎么放置列表标记”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“HTML怎么放置列表标记”吧!感谢各位的阅读,以上免费云主机、域名就是“HTML怎么放置列表标记”的内容了,经过本文的学…

文章页内容下
赞(0) 打赏
版权声明:本站采用知识共享、学习交流,不允许用于商业用途;文章由发布者自行承担一切责任,与本站无关。
文章页正文下
文章页评论上

云服务器、web空间可免费试用

宝塔面板主机、支持php,mysql等,SSL部署;安全高速企业专供99.999%稳定,另有高防主机、不限制内容等类型,具体可咨询QQ:360163164,Tel同微信:18905205712

主机选购导航云服务器试用

登录

找回密码

注册