这4种提高编程技能的方式你知道么？

6.长短期记忆网络(Long Short-Term Memory Networks)

长短期记忆网络(LSTM)是一种递归神经网络，可弥补常规RNN的一大劣势：短期记忆。

具体来说，如果序列太长，即滞后时间大于5-10个步长，则RNN倾向于忽略先前步骤中提供的信息。例如，如果我们将一个段落输入RNN，则它可能会忽略该段落开头提供的信息。为了解决这个问题，LSTM诞生了。

7.权重初始化(Weight Initialization)

权重初始化的要点是保证神经网络不会收敛到无效解。如果权重全部初始化为相同的值(例如零)，则每个单元将获得完全相同的信号，并且每一层的输出都是一样的。

因此，你要随机初始化权重，使其接近零，但不等于零。用于训练模型的随机优化算法就要达到这样效果。

8.批量梯度下降和随机梯度下降(Batch vs. Stochastic Gradient Descent)

批量梯度下降和随机梯度下降是用于计算梯度的两种不同方法。

批量梯度下降仅使用整个数据集计算梯度。特别是对于较大的数据集，它要慢得多，但对于凸或平滑误差流形来说效果更好。

在随机梯度下降的情况下，一次使用单个训练样本来计算梯度。因此，它的计算速度更快且成本更低。然而，在这种情况下达到全局最优值时，它趋向于反弹。这会产生好的解决方案，但不是最优解决方案。

9.超参数(Hyper-parameters)

超参数既是调节网络结构的变量，也是控制网络训练方式的变量。常见的超参数包括：

• 模型架构参数，例如层数，隐藏单元数等…
• 学习率(alpha)
• 网络权重初始化
• 时期数(定义为整个训练数据集中的一个周期)
• 批量
• 其他

10.学习率(Learning Rate)

学习率是神经网络中使用的超参数，每次更新模型权重时，神经网络都会控制该模型响应估计的误差调整模型的数量。

如果学习率太低，则模型训练将进行得非常缓慢，因为每次迭代中对权重进行的更新最少。因此，在达到最低点之前需要进行多次更新。如果将学习率设置得太高，则由于权重的急剧更新，会对损失函数造成不良的发散行为，并且可能无法收敛。

以上就是深度学习中最常出现的10个概念。认真学习这10个概念，将有助于你在深度学习领域奠定坚实的基础。希望这对你的面试有所帮助。

（编辑：鹰潭站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!