Convolution and Pooling

Concept and Principle

卷积
- 平移不变性和局部性是在图片中寻找某种模式的原则。
  - 因为模式不会随着其在图片中位置改变而改变，所以一个识别器（卷积核）被设计为具有平移不变性（即参数只与输入的像素值有关，而与像素在图片的位置无关），去学习图片中的一种模式
  - 模式与其相邻的局部相关，识别器每次仅去看图片的一部分
  - 对全连接层使用平移不变性和局部性得到卷积层
卷积层
- 不同卷积核（值）会对图片带来不同的效果，当某种效果对任务有帮助时，网络很有可能就会学习出这种卷积核
填充与步幅
- 在输入的四周加入额外的行和列以控制卷积后的输出图像大小，卷积核大小一般选奇数，能上下对称地填充图片来保证输入输出图片大小不变
- 增大卷积步幅，快速缩小图片
- 总结
通道
- 每个通道有自己的卷积核，输入通道不同通道的对应卷积后直接相加后再加偏置项，最后输出一个单通道
- 多输出通道就是多个上述操作输出的多个单通道
- 每个输出通道可以识别特定的模式，输入通道识别并组合（加权相加）输入中的模式
池化
- 池化层缓解卷积对位置的敏感性
- 池化层不学习任何参数，有最大池化、平均池化等
- 池化层也可以调整填充与步幅
- 经过池化层不会改变通道数
tricks
- 填充：一般填充就是为了使图小大小不变
- 步幅：一般设置为1，计算量太大时增大步幅
- 最终图像大小：一般为3x3、5x5、7x7
- 1x1卷积层：不识别空间模式，而是用来改变通道数