1️⃣ LSTM 内部的 dropout 参数 作用位置: 在 输入门、遗忘门、输出门 接收输入向量时,随机丢弃部分输入特征的连接。

影响:

主要防止输入层过拟合;

对数据波动较大、特征很多的场景很有帮助;

丢弃比例过大(>0.5)会导致信息丢失太多,模型学不动。

推荐值:0.1 ~ 0.3

2️⃣ LSTM 内部的 recurrent_dropout 参数 作用位置: 在 时间步之间的循环连接(即 LSTM 单元之间传递隐藏状态)上随机丢弃部分神经元连接。

影响:

主要防止时间依赖链路上的过拟合;

对长序列尤其重要,因为它能打破过度依赖前几个时间步的情况;

过大时会削弱 LSTM 记忆能力,可能导致无法学习长期依赖。

推荐值:0.1 ~ 0.3(长序列建议偏小)

3️⃣ LSTM 外部的 Dropout() 层 作用位置: LSTM 输出到 Dense 层之前,对整个输出向量做随机丢弃。

影响:

防止输出层过拟合,提升泛化能力;

相当于对最终的高阶特征做正则化;

如果模型很小,这个 Dropout 可以略小或不加,以免丢失信息。

推荐值:0.1 ~ 0.5