文章目录
- RNN循环神经网络
- seq2seq模型
- Attention(注意力机制)
- 总结
- 参考文献
RNN循环神经网络
RNN循环神经网络被广泛应用于自然语言处理中,对于处理序列数据有很好的效果,常见的序列数据有文本、语音等,至于为什么要用到循环神经网络而不是传统的神经网络,我们在这里举一个例子。
假如有一个智能订票系统,我只需要输入一句话,该系统能识别出我将在什么时间订购去哪里的车票。那么程序需要根据我们输入的文本识别出我们出发的时间,目的地以及始发地。
如:我一月一号去郑州。
那么“一月一号”是时间,“郑州”是目的地,“我”和“去”都是其他不需要提取的信息,我们统一归为其他类。
那么假如我输入另外一个句子:
我一月一号离开郑州
此时“一月一号”是时间,“郑州”就变成了始发地,“我”和“离开”都是其他。
针对这个例子,我输入不同的文本,郑州表示为不同的label,用前馈神经网络去做的话,就不能将两个不同语境下的“郑州”区分开