最大池(Maximum Pooling?)

仅选择特定输入区域的最大值。它通常用于卷积神经网络来减小输入的大小。

长期短期记忆? (Long Short-Term Memory?)

一种能够学习输入情境的特殊形式的RNN。当相应的输入位置彼此远离时，常规RNN遭受渐消消失，而LSTM可以学习这些长期依赖关系。

小批量梯度下降(Mini-Batch Gradient Descent)

在训练数据的较小子集上运行梯度下降的优化算法。该方法允许并行化，因为不同的工作人员分别遍历不同的小批量。对于每个小批量，计算成本并更新小批量的权重。它是批量和随机梯度下降的有效组合。

动量?(Momentum)

梯度下降优化算法，用于平滑随机梯度下降方法的振荡。动量计算先前采取步骤的平均方向，并调整参数更新方向。想象一下，一个滚球向下滚动，并在调整左右滚动时使用这种动量。下坡滚球是类比梯度下降找到当地最低。

神经网络(Neural Network?)

一种转换输入的机器学习模型。vanilla神经网络具有输入，隐藏和输出层。神经网络已成为寻找数据复杂模式的首选工具。

非极大值抑制(Non-Max Suppression?)

算法用作YOLO的一部分。它有助于通过消除识别对象的低置信度的重叠边界框来检测对象的正确边界框。

递归神经网络? (Recurrent Neural Networks?)

RNN允许神经网络理解语音，文本或音乐中的上下文。RNN允许信息通过网络循环，从而在早期层和后一层之间保持输入的重要特征。

ReLU

整流线性单元，是一种简单的线性变换单元，输入为零时输出为零，否则输出与输入相等。ReLU是激活功能的选择，因为它允许神经网络训练速度更快，并防止信息丢失。

回归(Regression)

统计学习的形式，其中输出变量是连续的而不是分类值。虽然分类将一个类分配给输入变量，但回归会分配一个具有无限数量可能值（通常是数字）的值。例如房价或客户年龄的预测。

均方根传播(Root Mean Squared Propagation?)

RMSProp是随机梯度下降优化方法的扩展。该算法的特点是每个参数的学习率，但不是整个训练集的学习率。RMSProp根据先前迭代中参数变化的速度来调整学习速率。在这里阅读论文。

参数(Parameters?)

在应用激活功能之前转换输入的DNN的权重。每个图层都有自己的一组参数。通过反向传播来调整参数以使损失函数最小化。

Softmax?

逻辑回归函数的扩展，用于计算输入属于每个现有类的概率。Softmax通常用于DNN的最后一层。选择具有最高概率的类别作为预测类别。它非常适合具有两个以上输出类的分类任务。

随机梯度下降?(Stochastic Gradient Descent)

这为每台参数更新优化算法单一的训练例子。该算法通常比分批梯度下降快得多，该分批梯度下降在计算整个训练集的梯度后执行参数更新。

监督学习 (Supervised Learning?)

深度学习的形式，其中每个输入示例都有一个输出标签。标签用于将DNN的输出与地面实况值进行比较并最小化成本函数。其他形式的深度学习任务是半监督训练和无监督训练。

转移学习?(Transfer Learning)

一种将一个神经网络中的参数用于不同任务的技术，无需重新训练整个网络。使用先前训练过的网络的权重并移除输出图层。用您自己的softmax或物流层替换最后一层，然后再次训练网络。因为较低层通常检测类似的东西，如对其他图像分类任务有用的边缘。

无监督学习(Unsupervised Learning)

输出类别未知的机器学习形式。GAN或变分自动编码器用于无监督深度学习任务。

验证集?(Validation Set)

验证集用于查找深度神经网络的最优超参数。通常，在验证集上对DNN进行不同组合的超参数训练。然后应用性能最好的一组超参数，对测试集进行最终预测。注意平衡验证集。如果有大量数据可用，则培训使用多达99％，验证使用0.5％，测试组使用0.5％。

梯度消失 (Vanishing Gradients)

训练非常深的神经网络时出现问题。在反向传播中，权重根据其梯度或导数进行调整。在深度神经网络中，较早层的梯度可能变得如此微小，以致权重根本不会更新。ReLU激活函数适合解决这个问题，因为它不像其他函数那样压缩输入。在这里阅读论文。

方差（Variance）

当DNN过度适应训练数据时发生。DNN无法区分噪声和模式，并模拟训练数据中的每个方差。具有高方差的模型通常不能准确推广到新数据。

矢量?(Vector)

作为输入传递到DNN的激活层的值的组合。

VGG-16

一种流行的CNN网络体系结构。它简化了AlexNet的架构，共有16层。有许多预训练的VGG模型可以通过转移学习应用于新的使用案例。

Xavier初始化?

Xavier初始化指定第一个隐藏层的起始权重，以便输入信号深入神经网络。它根据神经元和输出的数量对权重进行缩放。这样，它可以防止信号在网络中稍后变得太小或太大。

YOLO

是一种识别图像中物体的算法。卷积用于确定物体在图像的一部分中的概率。然后使用非最大抑制和锚点框来正确定位对象。