对抗样本：从原理到防御的全面解析
1. 训练数据的挑战
在处理图像数据时，即使是同一类别的图像，当拍摄角度稍有变化，它们之间的差异也可能很大。以一个包含100,000个300×300的RGB图像的训练集为例，我们需要处理270,000个维度的数据。当考虑所有可能的图像（而非实际观察到的图像）时，每个维度的像素值相互独立，因为我们可以通过假设的256面骰子投掷270,000次来生成有效的图像。在8位色彩空间中，理论上我们有256^270,000个示例（这是一个长达650,225位的数字）。
要覆盖这个空间的1%，就需要大量的示例。实际上，我们的训练集往往比这稀疏得多。因此，我们需要算法利用相对有限的数据进行训练，并能够推断到它们从未见过的区域。通常认为，拥有100,000个示例是深度学习算法开始发挥作用的最低数量。
算法需要进行有意义的泛化，即能够在未见过示例的空间中进行合理的填充。计算机视觉算法之所以有效，是因为它们能够对大量缺失的概率进行合理猜测，但这也是它们最大的弱点。
2. 对抗样本的思考方式
有两种思考对抗样本的方式，一种是从机器学习分类的训练原理出发，另一种是通过类比。
从训练原理来看，机器学习分类网络通常有上千万个参数。在训练过程中，我们会更新部分参数，使分类结果与训练集中的标签匹配。随机梯度下降（SGD）可以帮助我们找到合适的参数更新。
假设我们有一个可学习的分类函数fθ(x)（如深度神经网络DNN），由参数θ控制，输入x（如图像）并输出分类结果ŷ。在训练时，我们将ŷ与真实标签y进行比较，得到损失L。然后更新fθ(x)的参数，使损失最小化。相关公式如下：
- 公式10.1：
