网络结构解读之inception系列四：Inception V3 网络结构解读之inception系列四：Inception V3
Inception V3根据前面两篇结构的经验和新设计的结构的实验，总结了一套可借鉴的网络结构设计的原则。理解这些原则的背后隐藏的动机比单纯知道这个操作更有意义。
Rethinking the Inception Architecture for Computer Vision
-
主题：如何高效的增大网络规模
通过分解卷积和正则实现高效计算
-
设计网络原则
1.避免表征瓶颈。大部分时候，特征大小应当缓慢变小，在变小的同时增加维度。（下采样是减小信息，而升维是增加信息）
2.高维特征更容易局部处理，收敛更快。（高维易分）
3.空间聚合能通过低维嵌入达到无损。（concat前可以降维，性能损失接近无）
4.平衡宽度和深度。（宽度和深度的比例要合适）
以上原则或许是有意义的，但不能直接参照，是在不明确的时候下使用的。（相对来说可靠，但不是绝对的原则）
-
分解卷积
2个3*3代替1个5*5 减少28%的计算量。
一个问题，第一个3*3后接线性激活会不会比ReLU更好？（因为5*5是线性操作，而2个3*3去代替的话全程应当是线性操作）实验结果，relu更优，作者猜测是因为网络能够学习这种空间变化的增强（实验证明这是数据增强）
-
非对称分解
3*3卷积分解2个2*2节省11%计算量，而分解成1*3和3*1节省33%
理论上，任何卷积都能分解成不对称卷积，但实验发现，在低层次效果不好，在12到20层加较好
-
辅助分类器
经过实验观察，辅助分类器在训练初期无明显作用，接近训练结束时性能开始超越，作者认为起到正则化作用。
-
高效降分辨率（下采样）
按照准则1，在使用pooling进行下采样前，激活值要升维。
参照下图，如果使用左边的方式，违背准则1。如果使用右边，计算量较大（V1是这种方式）
Inception Reduction Module
-
结构InceptionV2（V3去掉BN）
5*5分解卷积 非对称卷积
基于原则2高维易分
-
标签平滑正则LSR （ label smoothing regularization ）
作者认为硬标签下softmaxloss会过拟合，改为soft label。
croos-entropy:
最终损失：
LSR：
最终损失：
-
低分辨率输入实验
-
Inception对比实验