实现text-detection-ctpn一路的坎坎坷坷
小编在学习文字检测，因为作者提供的caffe实现没有训练代码（不过训练代码可以参考faster-rcnn的训练代码），所以我打算先使用tensorflow实现，主要是复现前辈的代码，主要是对文字检测模型进行训练。
代码的GitHub地址：https://github.com/eragonruan/text-detection-ctpn
主要写一下自己实现的过程，因为原文给的步骤，小编没有完全实现，所以首先打算解读一下原文步骤，然后加上自己的理解，写下自己可以实现的步骤。
文本检测概述
文本检测可以看成特殊的目标检测，但是它有别与通过目标检测，在通用目标检测中，每个目标都有定义好的边界框，检测出的bbox与当前目标的groundtruth重叠率大于0.5就表示该检测结果正确，文本检测中正确检出需要覆盖整个文本长度，且评判的标准不同于通用目标检测，具体的评判方法参见(ICDAR 2017 RobustReading Competition)．所以通用的目标检测方法并不适用文本检测。
1，参数设置
parameters
there are some parameters you may need to modify according to your requirement, you can find them in ctpn/text.yml
- USE_GPU_NMS # whether to use nms implemented in cuda or not
- DETECT_MODE # H represents horizontal mode, O represents oriented mode, default is H
- checkpoints_path # the model I provided is in checkpoints/, if you train the model by yourself,it will be saved in output/
1.1 对其进行翻译如下：
根据我们的一些要求，我们可能需要修改一些参数，文件在ctpn/text.yml
- USE_GPU_NMS 是否使用在cuda中实现的nms
- DETECT_MODE H表示水平模式，O表示定向模式，默认为H
- checkpoints_path 作者提供的模型在checkpoints/ 如果我们自己训练模型，它将保存在 output/ 下面
自己训练的模型在这个路径下面：
checkpoints_path: output/ctpn_end2end/voc_2007_trainval
下面展示一下小编训练出来的模型：
2：环境设置
setup
- requirements: python2.7, tensorflow1.3, cython0.24, opencv-python, easydict,(recommend to install Anaconda)
- if you have a gpu device, build the library by
cd lib / utils chmod + x make.sh ./make.sh
2.1 对其进行翻译如下：
需求的是python2.7 tensorflow1.3 cython0.24，opencv-python，easydict，（建议安装Anaconda）
（因为我有GPU）所以直接进行第三步，进入lib、utils，执行chmod+x给权限（在给权限之前，make.sh是灰色的（不可执行的文件），执行chmod+x make.sh 则变成绿色（可执行的文件））
3：准备数据
prepare data
- First, download the pre-trained model of VGG net and put it in data/pretrain/VGG_imagenet.npy. you can download it from google drive or baidu yun.
- Second, prepare the training data as referred in paper, or you can download the data I prepared from google drive or baidu yun. Or you can prepare your own data according to the following steps.
- Modify the path and gt_path in prepare_training_data/split_label.py according to your dataset. And run
cd lib/prepare_training_data python split_label.py
- it will generate the prepared data in current folder, and then run
python ToVoc.py
- to convert the prepared training data into voc format. It will generate a folder named TEXTVOC. move this folder to data/ and then run
cd ../../data ln -s TEXTVOC VOCdevkit2007
3.1 对其进行翻译
- 首先，下载预先训练的VGG网络模型并将其放在data/pretrain/VGG_imagenet.npy.
- 其次，准备论文提到的训练数据。或者我们可以放置自己的数据
- 根据我们的数据集修改prepare_training_data/split_label.py中的path和gt_path路径。并执行下面操作。
cd lib/prepare_training_data python split_label.py
- 它将在当前文件夹中生成准备好的数据，然后运行下面代码：
python ToVoc.py
- 将准备好的训练数据转换为voc格式。它将生成一个名为TEXTVOC的文件夹。将此文件夹移动到数据/然后运行
cd ../../data ln -s TEXTVOC VOCdevkit2007
3.2 数据是否只有VOC2007？
作者给的数据是预处理过的数据，
我们下载了数据，VOCdevkit2007 只有1.06G，但是此数据可以训练自己的模式，要是想训练自己的数据，那么需要自己标注数据，找自己的数据。
作者使用的icdar17的multi lingual scene text dataset, 没有用voc，只是用了他的数据格式，下面给出的数据是作者实现的源数据地址。
gt_path的数据地址：http://rrc.cvc.uab.es/?com=contestant
进入2017MLT 查看如下：
然后我们可以发送邮件，注册用户，并激活，进入下载页面：
找到数据集并下载，因为这是国外网址，所以被墙了，小编没有全部下载下来，就走到了这一步，目前没有下一步（如果有人看到这篇博文，希望把下载的数据能分享给我，先在这里道声谢！！！）：
3.3 存放数据
作者训练使用的是6000张图片。使用train或者trainval是一样的，因为用的都是这6000张图片。可以检查一下VOCdevkit2007/VOC2007/ImageSets/Main下面的train.txt和trainval.txt是否正确，是否是6000张图片。你在用自己数据训练的时候也要特别注意一点，数据的标注格式是不是和mlt这个数据集一致，因为split_label这个函数是针对mlt的标注格式来写的，所以如果你原始数据标注格式如果和它不同，转换之后可能会是错的，那么得到的用来训练的数据集可能也不对。
这是作者存放数据的路径，我们修改路径，并放数据（因为源数据没有拿到，所以就数据存放也就做到这一步，没有后续！！）。
对原始gt文件进一步处理的分析（也就是对txt标注数据进行进一步处理），生成对应的xml文件部分内容截图如下：
对split_label的部分代码截取如下：
for file in files:
_, basename = os.path.split(file)
if basename.lower().split(\'.\')[-1] not in [\'jpg\', \'png\']:
continue
stem, ext = os.path.splitext(basename)
gt_file = os.path.join(gt_path, \'gt_\' + stem + \'.txt\')
img_path = os.path.join(path, file)
print(img_path)
img = cv.imread(img_path)
img_size = img.shape
im_size_min = np.min(img_size[0:2])
im_size_max = np.max(img_size[0:2])
im_scale = float(600) / float(im_size_min)
if np.round(im_scale * im_size_max) > 1200:
im_scale = float(1200) / float(im_size_max)
re_im = cv.resize(img, None, None, fx=im_scale, fy=im_scale, interpolation=cv.INTER_LINEAR)
re_size = re_im.shape
cv.imwrite(os.path.join(out_path, stem) + \'.jpg\', re_im)
with open(gt_file, \'r\') as f:
lines = f.readlines()
for line in lines:
splitted_line = line.strip().lower().split(\',\')
pt_x = np.zeros((4, 1))
pt_y = np.zeros((4, 1))
pt_x[0, 0] = int(float(splitted_line[0]) / img_size[1] * re_size[1])
pt_y[0, 0] = int(float(splitted_line[1]) / img_size[0] * re_size[0])
pt_x[1, 0] = int(float(splitted_line[2]) / img_size[1] * re_size[1])
pt_y[1, 0] = int(float(splitted_line[3]) / img_size[0] * re_size[0])
pt_x[2, 0] = int(float(splitted_line[4]) / img_size[1] * re_size[1])
pt_y[2, 0] = int(float(splitted_line[5]) / img_size[0] * re_size[0])
pt_x[3, 0] = int(float(splitted_line[6]) / img_size[1] * re_size[1])
pt_y[3, 0] = int(float(splitted_line[7]) / img_size[0] * re_size[0])
ind_x = np.argsort(pt_x, axis=0)
pt_x = pt_x[ind_x]
pt_y = pt_y[ind_x]
if pt_y[0] < pt_y[1]:
pt1 = (pt_x[0], pt_y[0])
pt3 = (pt_x[1], pt_y[1])
else:
pt1 = (pt_x[1], pt_y[1])
pt3 = (pt_x[0], pt_y[0])
if pt_y[2] < pt_y[3]:
pt2 = (pt_x[2], pt_y[2])
pt4 = (pt_x[3], pt_y[3])
else:
pt2 = (pt_x[3], pt_y[3])
pt4 = (pt_x[2], pt_y[2])
xmin = int(min(pt1[0], pt2[0]))
ymin = int(min(pt1[1], pt2[1]))
xmax = int(max(pt2[0], pt4[0]))
ymax = int(max(pt3[1], pt4[1]))
if xmin < 0:
xmin = 0
if xmax > re_size[1] - 1:
xmax = re_size[1] - 1
if ymin < 0:
ymin = 0
if ymax > re_size[0] - 1:
ymax = re_size[0] - 1
width = xmax - xmin
height = ymax - ymin
# reimplement
step = 16.0
x_left = []
x_right = []
x_left.append(xmin)
x_left_start = int(math.ceil(xmin / 16.0) * 16.0)
if x_left_start == xmin:
x_left_start = xmin + 16
for i in np.arange(x_left_start, xmax, 16):
x_left.append(i)
x_left = np.array(x_left)
x_right.append(x_left_start - 1)
for i in range(1, len(x_left) - 1):
x_right.append(x_left[i] + 15)
x_right.append(xmax)
x_right = np.array(x_right)
idx = np.where(x_left == x_right)
x_left = np.delete(x_left, idx, axis=0)
x_right = np.delete(x_right, idx, axis=0)
if not os.path.exists(\'label_tmp\'):
os.makedirs(\'label_tmp\')
with open(os.path.join(\'label_tmp\', stem) + \'.txt\', \'a\') as f:
for i in range(len(x_left)):
f.writelines("text\t")
f.writelines(str(int(x_left[i])))
f.writelines("\t")
f.writelines(str(int(ymin)))
f.writelines("\t")
f.writelines(str(int(x_right[i])))
f.writelines("\t")
f.writelines(str(int(ymax)))
f.writelines("\n")
3.4 参考知乎大神的准备数据如下：
数据标注
在标注数据的时候采用的是顺时针方向，一次是左上角坐标点，右上角坐标点，右下角坐标点，左下角坐标点(即x1,y1,x2,y2,x3,y3,x4,y4),，这里的标注方式与通用目标检测的目标检测方式一样，这里我标注的数据是生成到txt中，具体格式如下：
x1,y1,x2,y2,x3,y3,x4,y4 分别是一个框的四个角点的x，y坐标。这是因为作者用的mlt训练的，他的数据就是这么标注的，如果你要用一些水平文本的数据集，标注是x,y,w,h的，也是可以的，修改一下split_label的代码，或者写个小脚本把x,y,w,h转换成x1,y1,x2,y2,x3,y3,x4,y4就行。
数据处理
根据ctpn训练数据的要求，需要对上述数据（txt标注数据）进行进一步的处理，生成对应的xml文件，具体格式参考pascal voc 具体的训练数据截图和生成的pascal voc格式如下图：
处理数据的时候执行下面代码（和原文一致）
cd lib/prepare_training_data python split_label.py python ToVoc.py cd ../../data ln -s TEXTVOC VOCdevkit2007
注意：这里生成的数据会在当前目录下，文件夹为TEXTVOC，需要将该文件夹移至/data目录下，然后再做VOCdevikt2007的软连接。
3.5 准备数据注意事项
在原作者使用那6000张图片的话，roidb和image_index都是6000，因为使用的train和trainval是一样的，所以我们在使用自己数据训练的时候也要特别注意一点，数据的标注格式是不是与mlt这个数据集一致，因为split_label这个函数是针对mlt的标注格式来写的，所以我们原始数据标注格式如果和它不同，转化之后可能会是错的，那么得来的用来训练的数据集可能也不对。
cache是为了加速数据读取，所以不会每次重新生成，更换了数据集需要手动清理。
3.6 训练数据的格式是什么样子，是否需要准备图片？
其实想了解自己准备图片的格式，以及图片中的文字区域的坐标是否需要手动标出，才能训练。
上面也说了训练数据的格式是x1,y1,x2,y2,x3,y3,x4,y4 ，当然了自己标注比较麻烦，这里我们可以直接使用一些公开的数据集，原作者使用的额是multi lingual scene texts dataset。
4：训练
Simplely run
python ./ctpn/train_net.py
- you can modify some hyper parameters in ctpn/text.yml, or just used the parameters I set.
- The model I provided in checkpoints is trained on GTX1070 for 50k iters.
- If you are using cuda nms, it takes about 0.2s per iter. So it will takes about 2.5 hours to finished 50k iterations.
4.1：对其进行翻译
简单的运行
你可以在ctpn/text.yml中修改一些参数，或者只使用作者设置的参数
作者提供的模型在GTX1070上训练了50K iters
如果我们正在使用cuda nms ,它每次约需要0.2秒，因此完成50k迭代需要大约2.5小时
当然，我们可以指定在那块显卡上运行，比如我这里指定选择第一块显卡上训练，训练的命令如下：
CUDA_VISIBLE_DEVICES="0" python ./ctpn/train_net.py
4.2 成功运行截图！！！
4.3：执行训练代码报的一个错误如下
AttributeError: module \'tensorflow.python.ops.gen_logging_ops\' has no attribute \'_image_summary\'
tensroflow 新版本相较于一些老版本更改了一些函数和变量类型。可以到 \lib\fast_rcnn\train.py 内尝试把 build_image_summary(self) 函数整体替换为以下语句:
def build_image_summary(self):
# A simple graph for write image summary
log_image_data = tf.placeholder(tf.uint8, [None, None, 3])
log_image_name = tf.placeholder(tf.string)
from tensorflow.python.ops import gen_logging_ops
from tensorflow.python.framework import ops as _ops
log_image = tf.summary.image(str(log_image_name),
tf.expand_dims(log_image_data, 0), max_outputs=1)
_ops.add_to_collection(_ops.GraphKeys.SUMMARIES, log_image)
return log_image, log_image_data, log_image_name
也就是把原文中那句替换成下面这句：
log_image = tf.summary.image(str(log_image_name), tf.expand_dims(log_image_data, 0), max_outputs=1)
4.4 在训练时候，训练集扩展了2倍，目的是什么？
在训练时候，训练集扩展了2倍，图片倍翻转了，这样做的目的是扩展训练集。
5：部分代码解析
5.1 train_net.py的代码解析
import os.path
import pprint
import sys
#os.getcwd()返回当前工作目录 sys.path.append()用于将前面的工作目录添加到搜索路径中
sys.path.append(os.getcwd())
from lib.fast_rcnn.train import get_training_roidb, train_net
from lib.fast_rcnn.config import cfg_from_file, get_output_dir, get_log_dir
from lib.datasets.factory import get_imdb
from lib.networks.factory import get_network
from lib.fast_rcnn.config import cfg
if __name__ == \'__main__\':
#存放训练参数
cfg_from_file(\'ctpn/text.yml\')
print(\'Using config:\')
# pprint函数的pprint模块下的方法是一种标准的格式化输出方式。
# pprint(object, stream=None, indent=1, width=80, depth=None, *, compact=False)
# 这里是将训练的参数格式化显示出来
pprint.pprint(cfg)
# 读取VOC中的数据集
imdb = get_imdb(\'voc_2007_trainval\')
print(\'Loaded dataset `{:s}` for training\'.format(imdb.name))
# 获得感兴趣区域的数据集
roidb = get_training_roidb(imdb)
# 返回程序运行结果存放的文件夹的路径
output_dir = get_output_dir(imdb, None)
# 返回程序运行时中间过程产生的文件。
log_dir = get_log_dir(imdb)
print(\'Output will be saved to `{:s}`\'.format(output_dir))
print(\'Logs will be saved to `{:s}`\'.format(log_dir))
device_name = \'/gpu:0\'
print(device_name)
# 获取VGG网络结构 定义网络结构
network = get_network(\'VGGnet_train\')
train_net(network, imdb, roidb,
output_dir=output_dir,
log_dir=log_dir,
pretrained_model=\'data/pretrain/VGG_imagenet.npy\',
max_iters=int(cfg.TRAIN.max_steps),restore=bool(int(cfg.TRAIN.restore)))
#采用VGG_Net 输入训练图片的数据集，感兴趣区域的数据集等开始训练。。
6，图片标注方法
如果想训练自己的数据集，那么我们可以自己去标注图片。本文将推荐一个十分好用的数据标注工具LabelImg。
这款工具是全图形界面，用Python和Qt写的，最牛的是其标注信息可以直接转化成为XML文件，与PASCAL VOC以及ImageNet用的XML是一样的。（具体如何使用，直接参考下面GitHub或者网上百度即可）
它来自下面的项目：https://github.com/tzutalin/labelImg
其中标签存储功能和“Next Image”、“Prev Image”的设计使用起来比较方便。
该软件最后保存的xml文件格式和ImageNet数据集是一样的。
- Labelme 适用于图像分割任务的数据集制作
- labellmg适用于图像检测任务的数据集制作
- yolo_mark适用于图像检测任务的数据集制作
- Vatic适用于图像检测任务的数据集制作
参考文献：https://zhuanlan.zhihu.com/p/37363942
http://slade-ruan.me/2017/10/22/text-detection-ctpn/