[基础]斯坦福cs231n课程视频笔记(一) 图片分类之使用线性分类器

线性分类器的基本模型： f = Wx

Loss Function and Optimization

1. LossFunction

衡量在当前的模型(参数矩阵W)的效果好坏

Multiclass SVM Loss:

Hinge Loss

样本 \(i\) 的损失：\(L_i = \sum_{j \neq y_i} \max(0, s_j-s_{y_i}+1)\)， \(y_i\) 是样本 \(i\) 的正确标签. 损失取值范围是0~正无穷
- 当网络初始化的时候，参数随机初始化为比较小的值，输出即属于各个类别的概率可能差不多(\(s_j \approx s_{y_i}\)) ，且值也比较小，因此单个样本的损失应为C-1 (C为类别总数）这个规律便于调试：如果一开始跑网络的时候得到的损失不符合以上规律则可能代码有问题
- 另一个trick，是在损失函数中max项的基础上再求平方，这样能够加大对判断失误的惩罚。不过这和原本的hinge loss不一样，具有非线性。
Softmax Classifier(Multinomial Logistic Regression)

原本分类器得到的分数是没有实际意义的，得分可以粗略认为只是模型的输出。
- HingeLoss关心的只是：对于一个样本分类到各个类别的得分中，在真实类别的得分应该比其他类别的得分要高，从而loss更小；而Softmax将这些分数转换成概率，从原本的"分类到各个类别的得分"转换成"分类到各个类别的概率"，从而得到概率分布 \(P(Y=C_i|X=X_i)\)，\(X_i\)为该样本，\(C_i\)为各个类别，而target probability distribution是只有在真实类别的概率值为1，其余类别为0
  
  假设该样本要分到四类中的一类，其真实类别是第一类
  
  期望得到的概率分布是：\([1,0,0,0]\)， Softmax算出的概率分布是：\([0.4, 0.4, 0.15, 0.05]\) ，
  
  则损失函数为：最大化对数似然函数
  
  \(L_i=-\sum_ky_k \cdot \log P(Y=y_k|X=X_i) =-\log P(Y=Y_i|X=X_i)\),
  
  \(Y_i\)是该样本的真实类别， \(y_k\) 取0或1，即类别标签使用one-hot编码。
- 另一个角度也可以理解成计算这两个概率分布的距离(KL散度or交叉熵)
- 损失的最小可能取值是0，最大取值是正无穷：损失为0，要求原本的分数中，真实类别的分数为正无穷，其他类别的分数都为负无穷；损失为正无穷，要求原本的分数中，真实类别的分数为负无穷。这些都是实际运算达不到的，所以损失的最小值只能理论上取到0。
- 当网络初始化的时候，所有分数的取值都几乎相同且都接近0，则得到的损失值大约为log(1/C), C为类别总数. 当W很小时， scores=X.dot(W)约等于0，对应的\(e^{scores}\)=1，归一化后变成1/C
https://zhuanlan.zhihu.com/p/29376573 在具体实现Softmax时需要注意的地方 为了解决计算机中位数的overflow 通过引入一个常数偏移来调整

https://zhuanlan.zhihu.com/p/25723112 softmax的求导

正则项，用于防止过拟合，避免模型为了在训练数据上表现好而过于复杂不能适应于新的测试数据，【设计一个模型，最终关心的其实是在测试数据上的表现！】

L2范数，类似欧式norm，倾向于更稠密且取值更小的参数矩阵
L1范数，恰好相反，倾向于更稀疏的参数矩阵

2.Optimization

如何得到更好的参数矩阵W

梯度下降，及其变种

Linear Classification VS ConvNet

从提取特征的角度看它们的区别：

Linear Classification
- 最开始是直接将图像像素作为线性模型的输入，计算output=Wx，但是存在局限性
- 改用特征表示 feature representation，即人为定义一些特征，然后将图像用这些特征来代表，再输入到分类器。简单列举常用的一些特征：
  - 直方图 color histogram 统计整幅图中各个灰度级的出现次数
  - HoG Histogram of Oriented Gradients 统计整幅图中各个小区域的edge direction [gradient]
  - bag of words 根据一系列图像构建一个codebook of visual words, [随机选取图像的patch然后聚类得到]，再通过codebook里的word来编码图像将图像用图中含有的word及其出现次数来表示
- 需要注意的是，这些传统的方法在训练模型时只会改变参数，而不会改变特征【特征已经提前计算好了可以这样理解：假设原图是x，通过z=g(x)提取特征，然后再输入到分类器 f = Wz，训练过程中改变的只有W 】
ConvNet
- 将多层卷积层堆叠起来，可以认为每一层卷积层都是提取特征的过程，在训练时整个网络一起被训练（所有层的参数都会被调整）
- 个人粗略猜测：是不是可以认为 layer1_output = W1* x, layer2_output=W2 * (layer1_output), layer3_output=W3 * (layer2_output) 类推...因此用卷积网络时特征并不是已经人为规定好的，而是从数据中学习到的?

巴特西

[基础]斯坦福cs231n课程视频笔记(一) 图片分类之使用线性分类器

Loss Function and Optimization

1. LossFunction

2.Optimization

Linear Classification VS ConvNet

最新文章

热门文章