深度学习中的分类、过拟合与数据集分析
1. Softmax函数与分类
Softmax函数在分类任务中扮演着重要角色。S(z)i具有概率的特性，因为所有S(z)i的和为1，并且每个元素都小于1。我们可以将S(z)i看作是k种可能结果的概率分布，具体来说，S(z)i就是输入观测值属于第i类的概率。
例如，当我们尝试将一个观测值分为三类时，可能得到如下输出：S(z)1 = 0.1，S(z)2 = 0.6，S(z)3 = 0.3。这意味着该观测值属于第一类的概率为10%，属于第二类的概率为60%，属于第三类的概率为30%。通常，我们会将输入观测值分类到概率最高的类别，在这个例子中就是第二类。
要使用Softmax函数进行分类，需要使用特定的输出层。具体操作步骤如下：
1. 使用十个神经元，每个神经元输出zi。
2. 再使用一个神经元，其激活函数为Softmax函数，输入为前十个神经元的输出zi。
在TensorFlow中，可以使用tf.nn.softmax函数应用于具有10个神经元的最后一层。
2. 过拟合问题概述
在训练深度神经网络时，过拟合是一个常见的问题。由于网络的灵活性，它可能会学习到由噪声、误差或错误数据导致的模式。为了直观理解过拟合，我们以一个简单的二维数据集为例进行说明。
3. 过拟合的实际示例
为了理解过拟合，我们考虑一个问题：找到能近似给定数据集的最佳多项式。给定一组二维点(x(i), y(i))，我们要找到一个K次多项式：
[f(x^{(i)}) = \sum_{j=0}^{K} a_j (x^{(i)})^
