• 项目简介
• 核心思想
• 主要特点
• 环境要求
• 如何运行
• 代码结构解析
• 实验设计
• 结果分析
• 未来工作与展望

本项目探索并实现了一种新颖的神经网络参数构造方法——光谱对齐构造法 (Spectral Alignment Construction, SAC)。传统神经网络（如多层感知机 MLP）中的全连接层通常包含大量可训练参数，导致巨大的计算和存储开销。SAC 方法通过将权重矩阵分解为一个固定的、预计算的基矩阵和一个可学习的、低维的表示向量的乘积，从而在保持模型性能的同时，显著减少可训练参数的数量。

此代码在 CIFAR-10 数据集上实现了一个简单的 MLP，并系统地比较了：

1. 标准 MLP (基线)：所有参数均可训练。
2. SAC-MLP：仅第一层的权重矩阵通过 SAC 方法构造，并对比了多种基矩阵（PCA, LDA, 随机正交）的效果。
3. 不同子空间维度对 SAC-MLP 性能的影响。

传统全连接层的权重矩阵 W（维度为 out_features x in_features）被分解为：

W = L @ B.T

其中：

• B (Base Matrix)：一个维度为 in_features x d 的固定基矩阵。这个矩阵是根据训练数据的内在结构（如主成分、类别判别方向等）预先计算好的，在模型训练过程中保持不变。它定义了一个低维子空间。
• L (Learner Matrix)：一个维度为 out_features x d 的可学习矩阵。这是模型在训练过程中唯一需要优化的部分。每一行代表一个输出神经元在该低维子空间中的表示。
• d (d_components)：子空间的维度（或秩），通常远小于 in_features 和 out_features (d << in_features)。

通过这种方式，我们将优化一个巨大的 W 矩阵（out_features * in_features 个参数）的问题，转化为了优化一个更小的 L 矩阵（out_features * d 个参数）的问题，从而实现了参数效率。

• 参数高效：通过低秩分解，大幅减少模型的可训练参数量，降低过拟合风险。
• 训练加速：更少的参数通常意味着更快的梯度计算和更新，缩短训练时间。
• 即插即用：SAC_Linear 模块可以方便地替换标准 nn.Linear 层，易于集成到现有模型中。
• 可解释性：基矩阵 B 捕捉了数据的内在结构（如PCA捕获方差，LDA捕获类别区分度），为模型行为提供了潜在的解释。
• 模块化设计：代码结构清晰，分为数据管理、模型定义和实验运行三大模块，易于理解和扩展。

你需要安装 Python 和以下库。建议使用 pip 进行安装：

pip install torch torchvision pandas numpy scikit-learn

• torch & torchvision: 核心深度学习框架及数据集工具。
• numpy & pandas: 用于数据处理和结果展示。
• scikit-learn: 用于计算 PCA 和 LDA 基矩阵。

本项目代码已在 CUDA 环境下测试，但也可在 CPU 上运行（只需将 USE_CUDA 设置为 False 或让代码自动检测）。

1. 克隆或下载本项目。

2. 确保已安装所有必要的依赖库。

3. 直接运行 Python 脚本：

   python your_script_name.py

脚本将自动执行以下步骤：

1. 下载并加载 CIFAR-10 数据集。
2. 预计算 PCA、LDA 和随机正交基矩阵。
3. 运行所有设计的实验（基线模型、不同基矩阵的 SAC 模型、不同秩的 SAC 模型）。
4. 在控制台打印出格式化的最终结果对比表格。

• Config 类: 集中管理所有超参数，如批量大小、学习率、训练轮数、子空间维度列表等。
• DataAndBaseManager 类:
  • _load_data(): 负责下载、预处理 CIFAR-10 数据集并创建 DataLoader。
  • _generate_bases(): 核心预计算模块。它加载整个训练集，执行 SVD (用于PCA)、QR分解 (用于随机正交基) 和 LDA，生成并存储三种基矩阵。
• 模型定义 (SAC_Linear, SAC_MLP, StandardMLP):
  • SAC_Linear: 实现了 SAC 方法的核心层。它接收一个固定的 base_matrix 并将其注册为 buffer（不参与梯度更新）。learner 是唯一的可学习参数。
  • SAC_MLP: 使用 SAC_Linear 作为第一层构建的 MLP 模型。
  • StandardMLP: 标准的全连接 MLP，作为性能基线。
• ExperimentRunner 类:
  • _train_and_evaluate(): 封装了完整的训练和评估流程，包括模型训练循环、测试、计时和参数统计。
  • run_all(): 组织并执行所有预设的消融实验。
  • report_results(): 将所有实验结果汇总到 pandas.DataFrame 中，并以美观的表格形式打印。
• main 执行块:
  • 初始化配置、设置随机种子、选择设备。
  • 实例化 DataAndBaseManager 和 ExperimentRunner。
  • 启动实验并报告结果。

本项目通过一系列控制变量实验来验证 SAC 方法的有效性：

1. 基线模型:

   • Baseline (Full Rank): 一个标准的 MLP，其第一层是全尺寸的 nn.Linear。用于衡量性能上限和参数基准。

2. 消融研究 1: 基矩阵类型的影响

   • SAC (Base=PCA): 使用主成分分析（PCA）提取的基向量。这些基向量最大化了数据的方差。
   • SAC (Base=LDA): 使用线性判别分析（LDA）提取的基向量。这些基向量最大化了类间距离与类内距离之比，理论上更适合分类任务。
   • SAC (Base=RANDOM): 使用随机生成的正交基向量。作为一个对比组，检验数据驱动的基矩阵是否优于随机选择的子空间。 此研究中，子空间维度 d 固定为 128。

3. 消融研究 2: 子空间维度的影响

   • 使用效果最佳的 PCA 基，探索不同秩 d（32, 64, 128）对模型性能和参数量的影响。这有助于找到性能与效率之间的最佳平衡点。

运行脚本后，你将看到一个类似下面的结果表格：

(注：以上为示例数据，实际结果可能因硬件和库版本而异)

从结果可以得出以下结论：

• 有效性: SAC-PCA 模型在使用极少参数（例如，减少95%以上）的情况下，达到了与基线模型非常接近的准确率。
• 基矩阵的重要性: 数据驱动的基（PCA, LDA）性能显著优于随机基，证明了利用数据先验知识来构建子空间的正确性。PCA 通常表现最好，因为它捕获了数据的主要变化模式。LDA 受限于其秩（类别数-1），在多类别、高维数据上可能无法提供足够丰富的子空间。
• 秩-性能权衡: 随着子空间维度 d 的增加，模型准确率通常会提升，但参数量和训练时间也会相应增加。这表明我们可以在模型性能和计算成本之间做出灵活的权衡。

• 应用于更深、更复杂的模型: 将 SAC 方法应用于卷积神经网络（CNN）的卷积层或全连接层，或 Transformer 模型的注意力机制中。
• 动态基矩阵: 研究在训练过程中微调（fine-tune）基矩阵 B 的可能性，而不是使其完全固定。
• 更先进的基: 探索使用非线性方法（如核PCA、自编码器）来生成基矩阵。
• 自适应秩选择: 开发一种能根据任务和数据自动确定最佳子空间维度 d 的算法。