RNN

原有的CNN没有考虑到时间先后的特征，在nlp领域效果不好，因此使用RNN来将时间序列的输入作为因素考虑。

梯度消失和梯度爆炸问题，这使得RNN在处理长序列时，难以捕捉序列中的长距离依赖关系。为了解决这些问题，研究者们提出了一些改进的RNN结构，如长短期记忆网络（LSTM）和门控循环单元（GRU）。