一些笔记,一些思考。记录学习 Stanford CS231n(计算机视觉深度学习课程)时,对概念、公式、代码和经典论文的理解。
目前收录 7 份学习笔记,从图像分类、优化与反向传播,逐步走向 CNN(卷积神经网络)和 Transformer(基于注意力机制的网络)。笔记包含知识梳理、推导示例、代码片段、常见误区和自测题,适合按课程顺序学习,也方便按主题复习。
| 讲次 / 专题 | 学习笔记 | 核心内容 |
|---|---|---|
| 第 1 讲 · Part 1 | 计算机视觉与深度学习简史 | 视觉研究的历史、神经网络发展、ImageNet 与 AlexNet、课程全局地图 |
| 第 2 讲 | 图像分类与线性分类器 | kNN(k 近邻)、数据集划分、线性分类、SVM 损失、Softmax 与交叉熵 |
| 第 3 讲 | 正则化与优化 | 正则化、梯度下降、SGD(随机梯度下降)、Momentum、Adam / AdamW、学习率 |
| 第 4 讲 | 神经网络与反向传播 | 非线性激活、计算图、链式法则、梯度流、向量与矩阵求导 |
| 第 5 讲 + 反向传播练习 | 反向传播与 CNN 图像分类 | 反向传播练习、卷积、填充与步长、感受野、池化、图像分类网络 |
| 第 6 讲 | CNN 训练与经典架构 | AlexNet / VGG / ResNet、权重初始化、预处理、数据增强、迁移学习、超参数选择 |
| 第 8 讲 | 注意力机制与 Transformer | Q / K / V(查询、键、值)、自注意力、多头注意力、位置编码、语言模型、ViT(视觉 Transformer) |
第 1 讲目前覆盖上半部分;第 7 讲尚未收录。第 5 讲笔记还包含 Section 2 的反向传播练习。
视觉与分类基础 → 损失函数与优化 → 神经网络与反向传播 → CNN 与训练方法 → 注意力与 Transformer
- 建立地图:阅读第 1、2 讲,理解图像如何表示、分类器输出什么,以及损失函数如何评价预测。
- 理解模型如何学习:阅读第 3、4 讲,串起前向计算、损失、反向求导和参数更新。
- 学习图像网络:结合第 5 讲与练习手算卷积尺寸、参数量和梯度,再用第 6 讲理解经典架构与训练方法。
- 进入注意力模型:阅读第 8 讲,重点追踪 Q、K、V 的来源、矩阵形状和注意力权重的计算过程。
每篇可以按“学习目标 → 直觉与公式 → 小例子或代码 → 自测题”的顺序阅读。遇到矩阵运算时,先标注每个张量的形状,再检查运算是否成立。
第 8 讲涉及 RNN(循环神经网络)和 Seq2Seq(序列到序列模型);如果尚不熟悉,可以先从该篇的“从 RNN 到注意力”一节补齐背景。
.
├── README.md
└── notes/
├── 各讲中文学习笔记(7 份 Markdown 文件)
└── images/ # 第 8 讲配图,共 10 张
点击上方导航即可在 GitHub 阅读。下载到本地后,请保留 notes/ 与 notes/images/ 的相对位置,使第 8 讲的配图能够正常显示。支持数学公式的 Markdown 阅读器更适合阅读推导部分。
- CS231n 课程主页
- CS231n 官方课程笔记
- 各篇末尾还列有对应课件、论文和延伸阅读,具体来源以篇内说明为准。
这些文档是个人学习整理,包含对课程材料的归纳与扩展。不同篇目引用了不同年份的课件,讲次与日期以各篇标注为准。示例代码、数值验证情况及适用条件也以各篇说明为准,本仓库未统一运行其中的全部代码。