其实我之前看过这个地方，但是当时感触不深（或者说根本没看懂，也可能是忘了），所以重新推导一下。

N-Gram 模型

由于 RNN 也有梯度消失的问题，因此很难处理长序列的数据，研究者们对 RNN 做了改进，得到了 RNN 的特例 LSTM（Long Short-Term Memory），它可以避免常规 RNN 的梯度消失，因此在工业界得到了广泛的应用。

概述

循环神经网络（Recurrent Neural Networks，以下简称 RNN），广泛用于自然语言处理中的语音识别、手写识别以及机器翻译等领域。

条件随机场（conditional random field，简称 CRF），是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。

隐马尔可夫模型 是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。

维特比算法（英语：Viterbi algorithm）是一种动态规划算法。