一、Kernel PCA

1.PCA是线性的

• PCA本质是线性降维方法，其核心操作矩阵乘法属于线性变换
• 矩阵与向量的乘法实质是对矩阵列的线性组合，进一步验证PCA的线性特性

2.如何处理数据非线性可分

• 非线性可分数据示例：二维平面同心圆分布（中心红点+外围绿点环），线性PCA无法有效分离两类数据

• 升维解决原理：通过映射函数将数据投影到高维空间可实现线性可分

  • 三维空间示例：圆锥体顶点放置红点，锥面环带放置绿点，实现空间分离

• 具体操作：定义映射函数f(x1,x2)→(x1,x2,x1²+x2²)，将二维数据升维至三维后执行线性PCA即可分类
  

3.Kernel PCA

1) Kernel PCA的步骤

• 核心步骤：

  • 数据升维：通过映射函数φ将n0维数据提升至n1维空间
  • 中心化处理：确保高维空间数据均值为零
  • 协方差矩阵计算：构建高维协方差矩阵H̃（加波浪线标识高维操作）
  • 特征分解：求解H̃的特征值与特征向量（标记为λ̃和z̃）

• 待解决问题：

  • 映射函数选择：φ的显式定义缺乏理论指导
  • 计算复杂度：高维空间矩阵运算资源消耗巨大

4.应用案例

1) 例题#核PCA分离颜色示例

应用示例展示三个同心圆分布数据（绿色、蓝色、红色）。

采用二次多项式核函数时，仅投影至第一主成分（横轴）即可实现颜色分离。数据分布形态与圆锥示例相似，体现二维至高维的升维思想。

改用高斯核函数后，第一主成分同样能有效区分三类颜色，验证核PCA在高维空间的特征提取优势。