论文:Fully Convolutional Networks for Semantic Segmentation(Jonathan Long 2015)
读该论文前我先参考了如下文章
《全卷积网络:从图像级理解到像素级理解》提出一个观点:CNN是图像级别语义理解的利器,FCN实现从图像级理解到像素级理解。该文还列举了FCN的应用场景。
还有一篇翻译的不太准确的中文翻译《题目:用于语义分割的全卷积网络》
还有几篇参考博客《全卷积网络(FCN)与图像分割》和《深度学习(5) – 全卷积网络 Fully Convolutional Networks(FCN) 原理》和《全卷积网络用于图像语义分割》这篇博文给出了卷积运算和反卷积运算公式
语义分割框架
2.相关工作
FCN(全卷积网络):Matan在1992年的论文《Multidigit recognition using a space displacement neural network》扩展了经典的网络数字识别的网络结构LeNet,实现了任意尺寸的输入,但仅限于一维输入串 。Wolf在1994年的论文《Postal address block ocation using a convolutional locator network》扩展到二维。Ning在2005年的论文《Toward automatic phenotyping of developing embryos from videos》 基于全卷积推理定义了一种卷积网络用于秀丽线虫组织的粗糙的、多分类分割。
全卷积计算现在也被应用在多层网络中。2014年Sermanet论文《Overfeat: Integrated recognition, localization and detection using convolutional networks》的滑动窗口检测。2014年Pinheiro论文《Recurrent convolutional neural networks for scene labeling》的语义分割,Eigen在2013年论文《Restoring an image taken through a window covered with dirt or rain 》图像恢复,Tompson在2014年论文《Joint training of a convolutional network and a graphical model for human pose estimation》端到端的局部检测和姿态估计的空间模型。K. He在2014年的论文《Spatial pyramid pooling in deep convolutional networks for visual recognition》空间金字塔特征提取器。
Dense prediction with convnets:我的理解是利用卷积网络进行预测,Dense是压缩的意思,可能是指一张图经过卷积网络后压缩为很小的特征图,通过特征图进行预测的意思。
不像以前的方法,论文采用和扩展了深度分类架构,使用图像分类做为监督预训练,从简单、高效的从所有输入图片和ground truths中微调全卷积网络。也有过使用类似方法研究的论文但都不是end-to-end的方式。