RNN模型
RNN模型的作用及工作流程
因为RNN结构能够很好利用序列之间的关系, 因此针对自然界具有连续性的输入序列, 如人类的语言, 语音等进行很好的处理, 广泛应用于NLP领域的各项任务, 如文本分类, 情感分析, 意图识别, 机器翻译等.RNN的工作流程：首先会对输入的文本进行分词，然后将分词按照顺序依次进行单个的处理，每个分词的处理的处理结果分为两部分一种是当前时刻的输出和当前时刻的隐藏状态，当前时刻的输出会进行输出，当前时刻的隐藏状态会传输到下一层，后续会重复这样的步骤直到处理玩所有的特征。
然后将最后一刻的隐藏状态输出的结果来进行处理解析用户意图
RNN模型的分类
+ 这里我们将从两个角度对RNN模型进行分类. 第一个角度是输入和输出的结构, 第二个角度是RNN的内部构造. + 按照输入和输出的结构进行分类: - N vs N - RNN 诗词 对联 - N vs 1 - RNN 分类任务 - 1 vs N - RNN 图生文 - N vs M - RNN 文本翻译 + 按照RNN的内部构造进行分类: - 传统RNN 循环神经网络 - LSTM 长短时记忆 - Bi-LSTM 双向的长短时记忆 - GRU 门控网络 - Bi-GRU 双向的GRU - RNN模型接收的张量必须是三维RNN的模型结构
.png)这个是单个rnn的输出结构，十分简单，只有输出输出和单个的隐藏层，每两个网络层之间利用全连接层进行练级来实现，网络之间数据的转换。
在同一个时间步，同一层RNN内，输入由两部分组成，分别是当前时刻的真实x输入值和上一时间步的隐藏层的输出结果，两者通过加权求和共同作用得到了当前时刻的隐藏值的结果h1，这个h1进行了两种传输方式一种是直接传输到下一时刻一种是复制后传出结果output出去了
下图的情况为N vs 1 的一种模式输出，最终只有最后一层网络输出的才是真正的预测值，前面网络层的输出都只是当时时间段的隐藏值
RNN的记忆主要是通过隐藏层来进行记忆的 因为链式求导法则的特性使得RNN只能对短序列进行处
RNN如果token过长有可能会发生梯度消失或者梯度爆炸的情况
传统RNN的内部结构图
这是一个传统的RNN网络结构，网络主要聚焦于中间的运算部分，它的输入部分有两部分，分别是h(t-1)以及
x(t),两者分别代表是的上一时间步的隐层输出，以及此时间步的输入，它们进入RNN结构体后，会经过一层全连接层进行融合，融合后的结果会通过tanh激活函数得出当前时刻的隐藏值h(t),最终会将它输出，同时也输入到下以时间步中，与下一时间步的输入x(t+1)进入结构体
RNNAPI及相关代码
# 1.先定义函数# 需求1: 演示1个样本,每个样本只有1个token,默认隐藏层1层,输入维度4,输出维度8defdemo1():# 1.准备Xt数据# 参数1 sequence_lengh:句子的token数# 参数2 batch_size: 批次样本数# 参数3 input_size: 每个token的输入维度input=torch.randn(1,1,4)# 2.准备H0数据# 参数1 num_layers: 隐藏层数# 参数2 batch_size: 批次样本数 注意:必须和输入的Xt批次数一致# 参数3 hidden_size: 隐藏层的维度 一般自定义,建议大于等于输入维度h0=torch.zeros(1,1,8)# 3.创建RNN模型# 参数1 input_size: 每个token的输入维度 必须和Xt的token的输入维度一致# 参数2 hidden_size: 隐藏层的维度 必须和h0的隐藏层的维度一致# 参数3 num_layers: 隐藏层数 必须和h0的隐藏层数一致rnn=torch.nn.RNN(input_size=4,hidden_size=8,num_layers=1)# 4.使用rnn层output,h1=rnn(input,h0)# TODO 打印并查看效果print(f"output--->{output}",output.shape)# (1,1,8)print(f"h1--->{h1}",h1.shape)# (1,1,8)# TODO 结论: 1个样本1个token1层的时候,h1和output一模一样LSTM
lstm缓解RNN的梯度消失问题将原有的连乘换成了连加操作只要是门结构都是为了得到一个权重或者系数
大致的流程是上一时刻的隐藏状态和当前时刻的输入值通过linear层进行合并，合并的值经过 sigmoid激活函数生成遗忘门的门值ft，然后继续向下传递分别经过一个sigmoid激活函数和tanh激活函数两个值相乘 得到输入门的门值 ctit 然后将上一时刻的细胞状态乘以ft再和ctit相加得到当前时刻的细胞状态ct 当前的ct 1.输入到下一时刻 2.经过tanh 与ht-1和xt的合并值经过sigmoid激活函数的的值相乘得出当前适合的ht然后ht一个输出一个传向下一时刻
遗忘门
- 遗忘门结构分析:
- 与传统RNN的内部结构计算非常相似, 首先将当前时间步输入x(t)与上一个时间步隐含状态h(t-1)拼接, 得到[x(t), h(t-1)], 然后通过一个全连接层做变换, 最后通过sigmoid函数进行激活得到f(t), 我们可以将f(t)看作是门值, 好比一扇门开合的大小程度, 门值都将作用在通过该扇门的张量, 遗忘门门值将作用的上一层的细胞状态上, 代表遗忘过去的多少信息, 又因为遗忘门门值是由x(t), h(t-1)计算得来的, 因此整个公式意味着根据当前时间步输入和上一个时间步隐含状态h(t-1)来决定遗忘多少上一层的细胞状态所携带的过往信息.
- 遗忘门内部结构过程演示:
输入门
- 输入门结构分析:
- 我们看到输入门的计算公式有两个, 第一个就是产生输入门门值的公式, 它和遗忘门公式几乎相同, 区别只是在于它们之后要作用的目标上. 这个公式意味着输入信息有多少需要进行过滤. 输入门的第二个公式是与传统RNN的内部结构计算相同. 输入门输入的上一时刻的隐藏值与这一时刻的输入值的结合值，分别经过sigmoid和tanh函数，最终两个值会相乘，然后相乘的结果会传入到细胞状态与前面的细胞状态进行相加
细胞状态
细胞状态的更新与传递
- 细胞状态更新分析:
- 细胞更新的结构与计算公式非常容易理解, 这里没有全连接层, 只是将以往门的值ft与上一时刻的细胞状态C(t-1)相乘，然后将输入门的两个值相乘的结果与这个结果相加，最后作为当前时刻的细胞状态去输出。
输出门
+ 输出门部分结构图与计算公式:- 输出门结构分析:
- 输出门部分的公式也是两个, 第一个即是计算输出门的门值, 它和遗忘门，输入门计算方式相同，将结合的值通过sigmoid函数，第二个计算是，将当前时刻的细胞状态通过tanh激活函数，然后将两个计算的值相乘，最后获得当前时刻的的隐含状态ht进行输出
- 输出门内部结构过程演示:
LSTM优势:
LSTM的门结构能够有效减缓长序列问题中可能出现的梯度消失或爆炸, 虽然并不能杜绝这种现象, 但在更长的序列问题上表现优于传统RNN.LSTM缺点:
由于内部结构相对较复杂, 因此训练效率在同等算力下较传统RNN低很多.LSTM代码
defdemo2():# 1.准备数据# 参数1 squence_length: 每个句子的token数# 参数2 batch_size : 批次样本数# 参数3 input_size : 每个token的维度数input=torch.randn(3,2,4)# 2.初始化隐藏状态和细胞状态# 参数1 num_layers : 隐藏层数# 参数2 batch_size : 批次样本数 注意: 必须和Xt的batch_size一样# 参数3 hidden_size: 隐藏层神经元数h0=torch.zeros(1,2,6)c0=torch.zeros(1,2,6)# 3.创建LSTM模型lstm_model=torch.nn.LSTM(input_size=4,hidden_size=6,num_layers=1)# 4.开始干活output,(h1,c1)=lstm_model(input,(h0,c0))print(f"output->>{output}",output.shape)print(f"h1->>{h1}",h1.shape)print(f"c1->>{c1}",c1.shape)什么是Bi-LSTM ?
Bi-LSTM即双向LSTM, 它没有改变LSTM本身任何的内部结构, 只是将LSTM应用两次且方向不同, 再将两次得到的LSTM结果进行拼接作为最终输出.BI-LSTM代码
第一个是将模型中的 bidirectional 的默认设置改为 TRUE第二个是将 num——layer 的值变为两层 输出形式为 2*原来的lstm的层数就可以了
defdemo2():#BI-LSTM的代码更该只需要有两个小改动#第一个是将模型中的 bidirectional 的默认设置改为 TRUE#第二个是将 num——layer 的值变为两层 输出形式为 2*原来的lstm的层数就可以了# 1.准备数据# 参数1 squence_length: 每个句子的token数# 参数2 batch_size : 批次样本数# 参数3 input_size : 每个token的维度数input=torch.randn(3,2,4)# 2.初始化隐藏状态和细胞状态# 参数1 num_layers : 隐藏层数# 参数2 batch_size : 批次样本数 注意: 必须和Xt的batch_size一样# 参数3 hidden_size: 隐藏层神经元数h0=torch.zeros(2*2,2,6)c0=torch.zeros(2*2,2,6)# 3.创建LSTM模型lstm_model=torch.nn.LSTM(input_size=4,hidden_size=6,num_layers=2,bidirectional=True)# 4.开始干活output,(h1,c1)=lstm_model(input,(h0,c0))print(f"output->>{output}",output.shape)print(f"h1->>{h1}",h1.shape)print(f"c1->>{c1}",c1.shape)GRU门控网络
GRU（Gated Recurrent Unit）也称门控循环单元结构, 它也是传统RNN的变体, 同LSTM一样能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时它的结构和计算要比LSTM更简单, 它的核心结构可以分为两个部分去解析:
- 更新门
- 重置门、
GRU内部结构图
- 内部结构分析:
- 和之前分析过的LSTM中的门控一样, 首先计算更新门和重置门的门值, 分别是z(t)和r(t), 计算方法就是使用X(t)与h(t-1)拼接进行线性变换, 再经过sigmoid激活. 之后重置门门值作用在了h(t-1)上, 代表控制上一时间步传来的信息有多少可以被利用. 接着就是使用这个重置后的h(t-1)进行基本的RNN计算, 即与x(t)拼接进行线性变化, 经过tanh激活, 得到新的h(t). 最后更新门的门值会作用在新的h(t)，而1-门值会作用在h(t-1)上, 随后将两者的结果相加, 得到最终的隐含状态输出h(t), 这个过程意味着更新门有能力保留之前的结果, 当门值趋于1时, 输出就是新的h(t), 而当门值趋于0时, 输出就是上一时间步的h(t-1).
GRU的优势:
GRU和LSTM作用相同, 在捕捉长序列语义关联时, 能有效抑制梯度消失或爆炸, 效果都优于传统RNN且计算复杂度相比LSTM要小.GRU的缺点:
GRU仍然不能完全解决梯度消失问题, 同时其作用RNN的变体, 有着RNN结构本身的一大弊端, 即不可并行计算, 这在数据量和模型体量逐步增大的未来, 是RNN发展的关键瓶颈.面试相关
LSTM和RNN有什么区别？
首先RNN和LSTM都是循环神经网络，但是LSTM要比RNN复杂很多RNN一般只有输入和输出，但是LSTM既有输入门，遗忘门，细胞状态和输出门，所以说LSTM的内部结构要比RNN复杂很多，RNN的最大优点是他比较简单在处理短序列任务时表现的较好但是在处理长序列问题时LSTM的表现较好因为在处理长序列问题时，RNN可能会出现梯度消失或者梯度爆炸的现象。
因样本的序列过长根据RNN链式求导的法则性质，如果每个元素的值都比较小在0到1之间，那么这些值连乘之后这些值可能接近于0所以会出现梯度消失的现象
基线模型
优先选择简单的模型训练一边拿着它的结果作为后续模型训练参考RNN的分类主要有哪些
RNN的分类主要从两个角度进行的，第一个是输入和输出的结构，第二个是RNN的内部构造，根据输入和输出结构主要有 输入N输出N、输入N输出1、输入1输出N、输入N输出M这几类，根据内部构造分类主要分为，传统的RNN结构，长短记忆的LSTM结构，双向长短时记忆的Bi-LSTM结构，门控网络GRU以及双向门控网络GRU请简述 RNN LSTM 以及GRU的区别
好的，面试官您好。我将从**核心思想、结构设计、优缺点和应用选择**四个方面，简要对比RNN、LSTM和GRU。1. **核心思想与要解决的问题**
+ **RNN**：是基础循环网络，通过隐藏状态的循环传递来**处理序列数据**。但它有**严重的梯度消失/爆炸问题**，导致难以学习长距离依赖。 + **LSTM**：专门为解决长期依赖问题而设计。引入了**细胞状态（C）作为“记忆高速公路”**，通过三个门（输入、遗忘、输出）来**精细控制信息的流动和保留**。 + **GRU**：可以看作是LSTM的简化版本。它将LSTM的三个门合并为**两个门（更新门和重置门）**，并**合并了细胞状态和隐藏状态**，结构更简洁。2. **结构上的核心区别**
**门控机制：**- RNN：没有门控，仅有一个tanh层来更新状态。
- LSTM：三个门（输入、遗忘、输出）加一个细胞状态。遗忘门决定了保留多少旧记忆，输入门决定添加多少新信息，输出门控制当前状态的输出。
- GRU：两个门（重置门、更新门）。重置门控制历史信息对当前候选状态的影响，更新门同时扮演LSTM中遗忘门和输入门的角色，决定新旧状态的融合比例。
状态数量：
- RNN：只有隐藏状态（h）。
- LSTM：有两个状态：隐藏状态（h）和细胞状态（c）。
- GRU：只有隐藏状态（h），但通过门的调节实现了类似细胞状态的功能。
3. **优缺点对比**
**参数与计算效率：**- RNN：参数最少，计算最快，但性能有限。
- LSTM：参数最多（约是RNN的4倍），计算最慢，但对长序列建模能力最强。
- GRU：参数中等（约是RNN的3倍），计算效率介于两者之间，是性能与效率的良好折中。
记忆能力：
- RNN：短期记忆，难以捕捉长距离模式。
- LSTM：长期记忆能力最强，特别适合需要记忆非常久远信息的任务（如文档翻译）。
- GRU：中长期记忆，在多数任务上表现与LSTM相当，但在极端长序列上可能略逊一筹。
4. **如何选择？**
+ **选RNN**：仅用于教学理解，或在**序列极短、资源极其受限**的场景中作为简单基线。 + **选LSTM**：当任务**对长距离依赖要求严苛，且数据和算力充足**时（如经典机器翻译、文档级理解）。 + **选GRU**：**绝大多数情况下的首选或起点**。它在**训练速度、参数数量和最终性能**之间取得了最佳平衡，是许多NLP任务的实用选择。**总结一句话**
**RNN是基础但脆弱，LSTM是强大但笨重，GRU是高效且均衡的折中方案。**当然，现在Transformer在许多序列任务上已超越它们，但理解RNN家族的演进仍是掌握序列建模的基础。我的回答完毕，谢谢。
