文章主要内容总结
本文探讨了通过结构化应用主成分分析（PCA）对大型神经网络模型进行极端压缩且不损失性能的方法。核心思路是：在训练前对输入数据进行PCA压缩，而非事后对模型进行修剪或简化，使模型容量与数据的内在信息含量相匹配，从而在多个模态（图像、文本分类、文本生成）中实现轻量级架构的高效性能。
文章通过三个案例验证了该方法的有效性：
- 图像分类：对极坐标转换的MNIST图像进行PCA压缩后，仅含840个参数的单层全连接分类器达到了98%以上的准确率。
- 文本分类：将MiniLM嵌入从384维通过PCA降维至70维后，仅含81k参数的2层Transformer在20 Newsgroups数据集上达到76.62%的准确率。
- 文本生成：基于70维PCA压缩嵌入训练的解码器Transformer，参数数量不到GPT-2的17%，生成的序列与原始MiniLM表示的余弦相似度保持在97%以上，且语义连贯。
创新点
- 结构化PCA应用：首次提出在不同模态中结构化地应用PCA（全局用于极坐标转换图像，局部用于token序列分段），将其作为语义编码器而非单纯的降维工具，提前提取任务相关的结构信息。
- 训练前压缩范式：颠覆传统“先训练大模型再压缩”的思路，通过PCA在训练前压缩输入空间，使模型从一开始就能以极小参数规模高效学习，避免冗余信息对模型容
