关于核矩阵的两种极端情况分析

核包括所有可能提供给学习机的关于输入在特征空间中的相对位置的信息。很自然的，如果要在数据集内发现几何结构，数据必须通过核矩阵展现这一结构。
如果这个核过于一般，对于具体类型的相似性没有给出足够的意义。用我们讨论先验知识的语言来说，这相当于为太多的分类赋予权重（可以看成是太多的坐标轴，即基太大）。所以，核把具有相等权值的任何一对输入看成相似（只有自己核自己相似）或者不相似（两两不同的向量是不相似的）。这样的核矩阵中除对角线以外的其他元素变得非常小，而同时对角线元素接近于1。因此核只能表示成单位矩阵的概念。这导致了过度拟合问题，因为我们把训练集正确分类很容易，但是核没有办法对新数据进行泛化处理。
另一种极端情况是，如果核矩阵是完全均一的，那么每一个输入都和每个其他的输入相似。这相当于每个输入都被映射到同一个特征向量，这导致数据欠拟，因为这是能够容易的表达出来的函数只有那些把所有的点都映射到同一个类的函数。
从几何上将，第一情形相当于把输入映射到特征空间中的标准正交点，而第二种情况，所有点都被合并到同一个映像。
这两种情况数据中都不存在非平凡的自然类，从而没 有真正的结构可以泛化。