各类神经网络学习：（二）RNN 循环神经网络（上集），模型类型和相关知识

RNN（循环神经网络）

RNN, Recurrent Neural Network

RNN的特点就在于不同时刻之间的网络是有关联的，隐藏层会将其前一时刻的输出值作为输入参数。

一、类型：

• 一对一：固定的输入到输出，如 图像分类

  一对一的 RNN 和 CNN 差不多。

• 一对多：固定的输入到序列输出，如 图像的文字描述、音乐生成

• 多对一：序列输入到输出，如 **情感分析，分类正面负面情绪；单步序列预测，比如根据过去几天数据，预测未来第一天的值 **

• 多对多：序列输入到序列的输出，如 机器翻译，称之为编解码网络 （例如下方图片中的第四个模型，左下角的三红三绿叫做编码器，右上角的三蓝三绿叫做解码器）（有时候蓝色和红色不会共用一个绿色）

• 同步多对多：同步序列输入到同步输出，如 文本生成、语言建模，视频每一帧的分类，也称之为序列生成 ，或者 命名实体识别（NER）任务中，输入是一个句子，输出是该句子中每个词的实体类别（如人名、地点、组织等） 。

---

二、相关知识（持续更新）

1）为什么序列模型不使用 $CNN$ 等神经网络：

答：序列数据前后之间有很强的关联性、并且序列数据的输入输出长度不固定。

2） $RNN$ 有什么缺点吗？

$RNN$ 在预测某一时刻的输出时，只用到了前面时刻的数据，并没有用到后面时刻的数据，这通常是不全面的。

例如判断某个单词是否是人名：He said, “Teddy was a great President.”，以及 He said, “Teddy bears are on sale!”，前面一个是人名，后面一个不是，但是模型判断的结果都是一样的。

不过这个在 $BRNN$ 双向循环神经网络中会被解决。

3）题外话：文字在计算机中存在的形式：

文字在计算机中以 编码-存储-渲染 的链路存在：

1. 编码层：ASCII、Unicode等将符号映射为二进制；
2. 存储层：二进制数据通过文件系统或数据库管理（纯文本文件（.txt）无格式信息，而格式文本（如.docx）嵌入字体、颜色等元数据）；
3. 显示层：字体渲染与图形硬件协同生成可视化结果，系统根据编码查找对应字形，结合字号、颜色等参数生成像素矩阵，最后通过显卡等硬件将其转变换位显示器信号。

---

上一篇	下一篇
各类神经网络学习（一）	待发布