NYU-DLSP20 深度学习课程全景指南：从张量与卷积到 GCN 与 EBM

• 示例工程

本文以 NYU 2020 春季深度学习公开课程（NYU-DLSP20，课程号 DS-GA 1008）日语站点首页为线索，系统梳理其 15 周课程主题、配套 PyTorch Notebook 与幻灯片课件，并结合仓库中的environment.yml依赖与根目录 README，给出可复现的本地实验环境搭建步骤。读完本文，你将获得一份完整的逐周学习路线图，能够按图索骥地从张量、自动微分、CNN 起步，一路推进到 RNN、VAE、GAN、Transformer、GCN 与能量基模型（EBM）等前沿主题的动手实践。

课程基本信息

该课程由纽约大学数据科学中心（NYU Center for Data Science）开设，面向已具备数据科学或研究生级机器学习基础的学习者。课程核心信息如下（依据 docs/ja/index.md）：

课程的讲座（Lecture）与实践课（Practicum）双轨并行：讲座负责理论推演，实践课则通过 Jupyter Notebook 完成可交互的编码实验。文档中使用 🖥（幻灯片）、📓（Jupyter notebook）、🎥（YouTube 视频）三类标记区分资源类型。

课程内容概述

根据日语主页的概要部分，本课程关注深度学习与表示学习（representation learning）的最新技术，核心主题包括：

• 监督与无监督深度学习：涵盖从分类、回归到自编码器、生成模型的全谱系方法；
• 嵌入方法与度量学习（embedding methods, metric learning）：强调样本在特征空间中的距离与结构；
• 卷积神经网络与循环神经网络：作为处理图像与序列数据的两大骨干架构；
• 典型应用场景：计算机视觉、自然语言理解、语音识别。

课程的前置要求为 DS-GA 1001 Intro to Data Science 或同等研究生级机器学习课程。也就是说，读者需要先掌握基本的概率统计、线性代数与机器学习概念，再进入本课程。

15 周课程路线图（完整课程表）

主页用一张完整表格给出 15 周的教学安排。下表在保留原文档全部内容的基础上，将外部资源链接替换为本仓库内可直接打开的相对路径（周标题链接指向对应章节笔记）：

说明：日语版章节笔记已覆盖第 1–14 周；第 13 周起主页索引沿用英文版链接，第 15 周仅有英文版笔记。上表按日语主页原样保留了这一映射关系，并统一指向仓库中实际存在的文件。

第一阶段：基础（第 1–5 周）——张量、反向传播与卷积

第 1 周从深度学习的历史与动机切入：回顾模式识别的发展脉络，引入梯度下降与误差反向传播，并讨论视觉皮层的分层表示；随后介绍 CNN 从 Fukushima、LeCun 到 AlexNet 的演进及其在图像分割、自动驾驶、医学影像中的应用。实践环节通过 01-tensor_tutorial.ipynb 认识 PyTorch 张量库（import torch起步），并用 02-space_stretching.ipynb 可视化线性/非线性变换对数据点空间的作用。

第 2 周正式进入训练环节：先用直觉理解梯度下降中**步长（学习率）**对收敛的影响，再对比全批量梯度下降与 SGD，最后介绍动量更新的两条更新法则及其收敛特性。配套 04-spiral_classification.ipynb（螺旋分类）与 05-regression.ipynb（回归）覆盖了第一个完整训练循环。

第 3 周聚焦参数变换与卷积：从堆叠（stacking）与平移（shifting）的角度理解卷积核的运用方式，结合 06-convnet.ipynb 演示如何将**先验知识（假设）**注入 ConvNet——假设成立时带来收益，不成立时则造成损害。第 4 周的单周实践课深入 1D 卷积，通过 07-listening_to_kernels.ipynb 以"听"内核输出的方式理解滤波器在音频信号上的行为。

第 5 周把优化器讲透：从 SGD 推进到自适应方法 RMSprop、Adam，并讨论归一化层对训练过程的影响，最后给出工业界用神经网络加速 MRI 扫描的真实案例。实践课同时覆盖自动微分原理与自定义梯度：03-autograd_tutorial.ipynb 讲解 PyTorch 自动求导，extra/b-custom_grads.ipynb 演示自定义梯度算子；仓库 extra/optimization.ipynb 还提供了优化器对比的补充实验。

第二阶段：序列与生成模型（第 6–9 周）——RNN、EBM、自编码器与 GAN

第 6 周转向序列建模：讲座覆盖 CNN 应用技巧与 RNN + 注意力机制，实践课通过 08-seq_classification.ipynb（序列分类）与 09-echo_data.ipynb（回声数据）完成 RNN 的训练实验，配合 slides/04 - RNN.pdf 梳理时序结构。

第 7 周引入能量基模型（EBM）视角，随后讨论自监督学习（SSL）与 EBM 的关系；实践课 10-autoencoder.ipynb 从零训练自编码器。第 8 周依次讨论对比学习方法、带正则化潜变量的 EBM，并用 11-VAE.ipynb 完成变分自编码器（VAE）的端到端训练。第 9 周覆盖稀疏性、世界模型与 GAN 的理论，实践课聚焦 GAN 训练（DCGAN 示例）。这三周的生成模型讲座共用 slides/05 - Generative models.pdf，适合对照研读。

第三阶段：高级主题（第 10–15 周）——SSL、Transformer、GCN 与结构化预测

第 10 周回到自监督学习在计算机视觉中的应用，实践课则切换到控制领域：借助 14-truck_backer_upper.ipynb 训练一个"倒车入位"的预测控制器（配套 slides/09 - Controller learning.pdf）。第 11 周系统梳理激活函数与损失函数的取舍，实践主题为不确定性下的控制与规划（PPUU）。

第 12 周进入自然语言处理：讲座分两次讲授 NLP 中的深度学习技术，实践课通过 15-transformer.ipynb 从零搭建注意力机制与 Transformer（配套 slides/10 - Attention & transformer.pdf）。第 13 周的三节 GCN 课程配合 16-gated_GCN.ipynb（门控图卷积网络）与 slides/11 - GCN.pdf，覆盖从图卷积原理到实现的完整链条。

第 14 周把"结构化预测"作为主线：先介绍能量基因子图及其高效推理，再讨论 Viterbi 算法与前向算法在图变换网络上的应用，并延伸到反向传播的拉格朗日乘数法表述与 EBM 的变分推断；实践课以正则化与贝叶斯为主题，使用 12-regularization.ipynb 与 13-bayesian_nn.ipynb（配套 slides/07 - Regularisation.pdf、slides/08 - Bayesian NN.pdf）讲解如何抑制高参数量模型对训练噪声的过拟合。第 15 周收官课聚焦潜变量 EBM 的推断与学习，使用 slides/12 - EBM.pdf。

配套 Notebook 与动手实践模式

仓库根目录按编号存放 20 个 Jupyter Notebook（见 find_files 结果对应的根目录文件列表），与课程表一一对应：

• 教学主线：01-tensor_tutorial、02-space_stretching、03-autograd_tutorial、04-spiral_classification、05-regression、06-convnet、07-listening_to_kernels、08-seq_classification、09-echo_data、10-autoencoder、11-VAE、12-regularization、13-bayesian_nn、14-truck_backer_upper、15-transformer、16-gated_GCN；
• 进阶补充：extra/目录下的a-projections.ipynb、b-custom_grads.ipynb、optimization.ipynb。

一个值得注意的设计是填空式编程练习：以 00-logic_neuron_programming.ipynb 为例，Notebook 用pass # ⬅️✏️标记待补代码，要求读者在进入下一个单元格前手动实现自己的神经元与神经网络——这种"手写核心逻辑"的方式比直接阅读现成实现更能建立对前向传播与反向传播的直觉。

本地环境搭建与运行

依据根目录 README.md 及日语版 docs/ja/README-JA.md，完整环境搭建流程如下（适用于 macOS / Ubuntu Linux；Windows 用户建议在 Git BASH 终端中操作）：

1. 安装 Miniconda：从 Anaconda 官网下载并安装支持 Python ≥ 3.7 的最新版 Miniconda：

wget <http:// link to miniconda> sh <miniconda*.sh>

2. 获取本仓库：

git clone https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning

3. 创建隔离的 Conda 环境：进入仓库根目录后执行：

cd pytorch-Deep-Learning conda env create -f environment.yml source activate NYU-DL

environment.yml 声明了环境名NYU-DL，依赖来自conda-forge与pytorch两个频道，核心包包括：python、pip、matplotlib、jupyterlab、ipympl（Jupyter 交互绘图）、pytorch、torchvision、torchtext、opencv、librosa（音频处理，服务于 1D 卷积/听内核实验），并通过 pip 额外安装torchviz（模型计算图可视化）。

4. 启动 Notebook：二选一，推荐 JupyterLab：

jupyter lab

经典界面则使用：

jupyter notebook

5. 暗色主题建议：课程在 GitHub 与 Jupyter Notebook 上均使用暗色主题。JupyterLab 内置可选的暗色主题；若使用经典 Notebook 界面，需自行安装 Jupyter Notebook 暗色主题与 GitHub 暗色主题（后者需注释掉invert #fff to #181818代码块）。

教学团队与社区

课程团队信息同样记录在主页（日语版与英文版一致）：讲师 Yann LeCun（NYU 计算机科学系 Silver 教授，图灵奖得主）与 Alfredo Canziani（NYU 计算机科学系助理教授）；助教 Mark Goldstein（NYU CS 博士研究生）；网站管理员 Zeming Lin（NYU CS 博士研究生）。人物头像位于 docs/images/Yann.png、docs/images/Mark.png、docs/images/Zeming.png。

多语言翻译与注意事项

本仓库的文档站点提供了英语、中文、日语、韩语、西班牙语、意大利语、土耳其语、阿拉伯语、法语、波斯语、俄语、越南语、塞尔维亚语、葡萄牙语、孟加拉语、匈牙利语等多语种版本（日语版入口为 docs/ja/index.md）。日语主页特别声明：站点文本源于 NYU 学生的课堂笔记，日语翻译由多位志愿者协作完成，措辞、译词与行文风格可能不统一，也可能存在误译、漏译或笔误；发现此类问题时，欢迎提交 Pull Request，并在标题中以[JA]前缀标注与日语翻译相关的内容。

• 示例工程