YOLOV4所用到的一些tricks
原文链接：http://arxiv.org/abs/2004.10934
整体框架
Bag of Freebies(BoF) & Bag of Specials (BoS)
Bag of Freebies(BoF) 指那些能够提高精度而不增加推断时间的技术。比如数据增广的方法图像几何变换、CutOut、grid mask等，网络正则化的方法DropOut、DropBlock等，类别不平衡的处理方法、难例挖掘方法、损失函数的设计等。
Bag of Specials (BoS)是指那些增加稍许推断代价，但可以提高模型精度的方法，比如增大模型感受野的SPP、ASPP、RFB等，引入注意力机制Squeeze-and-Excitation (SE) 、Spatial Attention Module (SAM)等 ，特征集成方法SFAM , ASFF , BiFPN等，改进的激活函数Swish、Mish等，或者是后处理方法如soft NMS、DIoU NMS等。
Backbone: CSPDarknet53
source： CSPNet: A new backbone that can enhance learning capability of cnn论文；
CSPNet提出主要是为了解决三个问题： a.增强CNN的学习能力，能够在轻量化的同时保持准确性。
b.降低计算瓶颈。
c.降低内存成本。
CSP 在 DenseNet的使用
Neck: SPP（Spatial pyramid pooling） 、PANet（Path Aggregation Network）
source:
SPP：Spatial pyramid pooling in deep convolutional networks for visual recognition。
PANet: Path Aggregation Network for Instance Segmentation .(实力分割中提出）
PANet 网络框架
关键：更好的利用特征融合 1.为了提高低层信息的利用率，加快低层信息的传播效率，提出了Bottom-up Path Augmentation； 2.通常FPN在多层进行选anchors时，根据anchors的大小，将其分配到对应的层上进行分层选取。这样做很高效，但同时也不能充分利用信息了，提出了Adaptive Feature Pooling。 3.为了提高mask的生成质量，将卷积-上采样和全连接层进行融合，提出了Fully-connected Fusion。
CutMix and Mosaic data augmentation, DropBlock regularization, Class label smoothing
source：
CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features (开源）
Mixup:将随机的两张样本按比例混合，分类的结果按比例分配（个人看法：如果是使用一个随机数来控制权重，可能AP会增）；
Cutout:随机的将样本中的部分区域cut掉，并且填充0像素值，分类的结果不变；
CutMix:就是将一部分区域cut掉但不填充0像素而是随机填充训练集中的其他数据的区域像素值，分类结果按一定的比例分配
Mosaic data augmentation：可以见论文给的示例图，提出了一种混合四幅训练图像的数据增强方法。
DropBlock regularization(来自知乎）:
各种Dropout 组合
Mish activation, Cross-stage partial connections (CSP), Multi- input weighted residual connections (MiWRC)
source:
Mish: A Self Regularized Non-Monotonic Neural Activation Function论文（开源）
激活函数公式：Mish=x * tanh(ln(1+e^x))
描述：x轴无边界(即正值可以达到任何高度)避免了由于封顶而导致的饱和。理论上对负值的轻微允许允许更好的梯度流，而不是像ReLU中那样的硬零边界。最后，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化。
Mish 激活函数的曲线
CSP、MiWRC 都是一种让网络更好训练的跳接方式。
CIoU-loss, CmBN
发展历程： IoU loss -> Giou loss -> Diou loss & Cious loss
主要依据：geometric factors：overlap area, central point distance and aspect ratio
IOU loss ：依据交并比的loss, 不做介绍了。
Giou loss：
GIOU核心算法
Diou loss
切入点：
第一：直接最小化预测框与目标框之间的归一化距离是否可行，以达到更快的收敛速度。
第二：如何使回归在与目标框有重叠甚至包含时更准确、更快。
R(B, Bgt)为预测框与真实框的惩罚项。
b, bgt分别为框的中心，P^2即两个点的欧式距离，c^2为包含两个框的最小框的对角线长度。
Ciou loss
在Diou loss 的基础上考虑了—— the consistency of aspect ratio 即公式中的 ν参数，α 为权衡参数。
CmBN
CMBN示意图
Self-Adversarial Training (SAT)
SAT 为一种新型数据增强方式。在第一阶段，神经网络改变原始图像而不是网络权值。通过这种方式，神经网络对其自身进行一种对抗式的攻击，改变原始图像，制造图像上没有目标的假象。在第二阶段，训练神经网络对修改后的图像进行正常的目标检测。
注意力机制——SAM、PAN
所做改进： 将SAM从空间注意力机制修改为点上的注意力机制，并将PAN的相加模块改为级联。
读完结论
一系列堆料，结果建立在好的backbone 上面，好的backbone 再加入一系列训练提高方式， 必然长点。