使用colab运行深度学习gpu应用（Mask R-CNN）实践
1，目的
Google Colaboratory（https://colab.research.google.com）是谷歌开放的一款研究工具，主要用于机器学习的开发和研究。这款工具现在可以免费使用，但是不是永久免费暂时还不确定。Google Colab最大的好处是给广大的AI开发者提供了免费的GPU使用！GPU型号是Tesla K80！你可以在上面轻松地跑例如：Keras、Tensorflow、Pytorch等框架。
Mask R-CNN（https://github.com/matterport/Mask_RCNN），Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow，是一款物体检测与分割的开源软件。Mask R-CNN是ICCV 2017的best paper，彰显了机器学习计算机视觉领域在2017年的最新成果。在机器学习2017年的最新发展中，单任务的网络结构已经逐渐不再引人瞩目，取而代之的是集成，复杂，一石多鸟的多任务网络模型。Mask R-CNN就是典型的代表。本篇大作的一作是何凯明。
本文目的在于尝试在colab上使用其GPU运行环境，运行Mask R-CNN的demo，看看实际运行的速度和效果究竟如何。
2，运行环境准备
参考文件：Google Colab——用谷歌免费GPU跑你的深度学习代码
https://www.jianshu.com/p/000d2a9d36a0
为使mrcnn的demo代码能在colab中跑起来，需先安装运行环境。步骤如下：
è 将github项目代码复制到google云端硬盘中。
è 在云端notebook中启动demo代码。
è 设置notebook代码运行环境
è 安装软件并挂载Google Drive
è 安装requirements包
è 安装mrcnn包
2.1复制代码
将Mask R-CNN代码从github下载，然后上传到google云端硬盘中。具体步骤略过。
2.2，打开代码
在google drive目录中找到 samples目录下的demo.ipynb文件，点击鼠标右键，选择“打开方式”，选择“Colaboratory”
2.3，设置代码环境
依次选择菜单项：修改—笔记本设置，在设置界面选择GPU加速器。
2.4，安装必要的包和软件
点击“+代码”按钮，在其中输入以下代码，按ctrl+enter运行
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools !add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null !apt-get update -qq 2>&1 > /dev/null !apt-get -y install -qq google-drive-ocamlfuse fuse from google.colab import auth auth.authenticate_user() from oauth2client.client import GoogleCredentials creds = GoogleCredentials.get_application_default() import getpass !google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL vcode = getpass.getpass() !echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
运行代码，运行中会提示输入验证码，点击程序给出的网址进行验证即可。
注意：本人使用时进行了2次验证。
2.5，挂载Google Drive
点击“+代码”按钮，在其中输入以下代码，按ctrl+enter运行
!mkdir -p drive !google-drive-ocamlfuse drive
然后输入“!ls drive”查看挂载的文件。
2.6，安装依赖包
运行以下命令：
!pip3 install -r drive/mrcnn/Mask_RCNN-master/requirements.txt
2.7，安装mrcnn包
首先发出以下命令，更改当前目录为mrcnn主目录：
import os os.chdir("drive/mrcnn/Mask_RCNN-master")
然后运行安装程序：
!python3 setup.py install
过程如下（有节选）：
WARNING:root:Fail load requirements file, so using default ones. running install running bdist_egg running egg_info creating mask_rcnn.egg-info writing mask_rcnn.egg-info/PKG-INFO … installing library code to build/bdist.linux-x86_64/egg running install_lib running build_py creating build creating build/lib creating build/lib/mrcnn copying mrcnn/parallel_model.py -> build/lib/mrcnn … Adding mask-rcnn 2.1 to easy-install.pth file Installed /usr/local/lib/python3.6/dist-packages/mask_rcnn-2.1-py3.6.egg Processing dependencies for mask-rcnn==2.1 Finished processing dependencies for mask-rcnn==2.1
3，运行demo
先将当前目录变更到samples下：
import os os.chdir("/content/drive/mrcnn/Mask_RCNN-master/samples")
3.1 下载预训练模型
3.2 模型配置
运行结果如下，可以看到使用了1块gpu加速：
Configurations: BACKBONE resnet101 BACKBONE_STRIDES [4, 8, 16, 32, 64] BATCH_SIZE 1 BBOX_STD_DEV [0.1 0.1 0.2 0.2] COMPUTE_BACKBONE_SHAPE None DETECTION_MAX_INSTANCES 100 DETECTION_MIN_CONFIDENCE 0.7 DETECTION_NMS_THRESHOLD 0.3 FPN_CLASSIF_FC_LAYERS_SIZE 1024 GPU_COUNT 1 GRADIENT_CLIP_NORM 5.0 IMAGES_PER_GPU 1 IMAGE_CHANNEL_COUNT 3 IMAGE_MAX_DIM 1024 IMAGE_META_SIZE 93 IMAGE_MIN_DIM 800 IMAGE_MIN_SCALE 0 IMAGE_RESIZE_MODE square IMAGE_SHAPE [1024 1024 3] LEARNING_MOMENTUM 0.9 LEARNING_RATE 0.001 LOSS_WEIGHTS {\'rpn_class_loss\': 1.0, \'rpn_bbox_loss\': 1.0, \'mrcnn_class_loss\': 1.0, \'mrcnn_bbox_loss\': 1.0, \'mrcnn_mask_loss\': 1.0} MASK_POOL_SIZE 14 MASK_SHAPE [28, 28] MAX_GT_INSTANCES 100 MEAN_PIXEL [123.7 116.8 103.9] MINI_MASK_SHAPE (56, 56) NAME coco NUM_CLASSES 81 POOL_SIZE 7 POST_NMS_ROIS_INFERENCE 1000 POST_NMS_ROIS_TRAINING 2000 PRE_NMS_LIMIT 6000 ROI_POSITIVE_RATIO 0.33 RPN_ANCHOR_RATIOS [0.5, 1, 2] RPN_ANCHOR_SCALES (32, 64, 128, 256, 512) RPN_ANCHOR_STRIDE 1 RPN_BBOX_STD_DEV [0.1 0.1 0.2 0.2] RPN_NMS_THRESHOLD 0.7 RPN_TRAIN_ANCHORS_PER_IMAGE 256 STEPS_PER_EPOCH 1000 TOP_DOWN_PYRAMID_SIZE 256 TRAIN_BN False TRAIN_ROIS_PER_IMAGE 200 USE_MINI_MASK True USE_RPN_ROIS True VALIDATION_STEPS 50 WEIGHT_DECAY 0.0001
3.3 建立模型并装载权重文件
3.4 设置识别类型
此处设置的检测类别（即关注类型）不算多，涵盖了81种物体。
3.5 执行物体检测
总算要执行物体检测了，运行以下代码：
经过不到10秒的时间，检测完毕，输出如下：
Processing 1 images image shape: (480, 640, 3) min: 0.00000 max: 255.00000 uint8 molded_images shape: (1, 1024, 1024, 3) min: -123.70000 max: 151.10000 float64 image_metas shape: (1, 93) min: 0.00000 max: 1024.00000 float64 anchors shape: (1, 261888, 4) min: -0.35390 max: 1.29134 float32
再多运行几次上述代码，不同的图片也都在10秒内完成了检测。可以看到，检测的效果很不错，无错检和漏检，物体轮廓标记准确。
4，总结
以下总结来源于作者：Caria_W
链接：https://www.jianshu.com/p/000d2a9d36a0
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。
- 可以把Colab看成是一台带有GPU的Ubuntu虚拟机，只不过我们只能用命令行的方式操作它。你可以选择执行系统命令，亦或是直接编写运行python代码。
- 挂载完Google Drive，会在虚拟机里生成一个drive文件夹，直接将Google Drive当成是一块硬盘即可。访问drive文件夹里的文件，就是在访问你的Google Drive里的文件。
- Colab最多连续使用12小时，超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。（好像再次连接到虚拟机后，虚拟机是被清空的状态，需要重新配置和安装库等等）
- 请使用科学上网方式。
总体来说，对于很多无力购置独立gpu显卡的深度学习开发者来说，在colab中使用google提供的配置好的运行环境以及免费的显卡，是一个不错的选择。但比较遗憾的是上述第3条，本人实际验证发现，一旦关闭自主安装好的软件环境（比如重新打开notebook，无论python文件新旧），以前配置的包都没有了，连google drive的驱动也要重装一遍，才能再次访问云盘文件。总之，繁琐是有点，但提供了一个免费撸代码的舞台，确实是AI开发者的福音。