使用Keras实现深度学习中的一些语义分割模型。

• tensorflow 1.13.1+tensorboard
• keras 2.2.4
• GTX 2080Ti x 2
• Cuda 10.0 + Cudnn7
• opencv-python
• labelme（标注数据需要用）
• PyCaffe（模型部署时用）

• data 存储输入图像和语义分割标签的文件夹

- data
	- dataset_name
		- train_image
		- train_label
		- test_image
		- test_label

• Models 存储使用keras实现的一些经典分割模型
• utils 存储工具代码，如数据预处理，自定义resize方式等
• losses 常见的分割损失函数如Dice Loss，Tversky Loss等
• metrics 常见的分割评价指标，比如dice分数，f1分数等
• tools 模型转换工具，将输出的Keras模型转为caffe模型，再转到NCNN/TensorRT/OpenVINO等推理框架进行部署
• data.py 加载1个batch的原始图片和分割标签图片
• train.py 模型训练
• test.py 模型测试
• json_to_dataset.py 批量处理多张图片并一步建好所需目录及相关mask文件

注：测试数据是基于输入图片大小为224x224的二分类模型。对于标*号的模型，图片大小为模型定义里支持的最小大小。

注：weighted_ce 以及 c_focal 需要指定对应class的权重或者指定class数量。默认值为平分权重的二分类。

为了更好的监督训练过程,我们已经提供了训练可视化,对损失函数,iou_score,dice_socoe,f1_score,f2_score等进行了可视化.在训练过程中会在模型保 存的文件夹下生成log文件夹,例如weights/unet/log,然后使用tensorboard --logdir=weights/unet/log,打开得到的网址即可获得可视化结果.

使用下面的命令训练和保存模型，模型保存路径，训练超参数需要灵活设置。

export CUDA_VISIBLE_DEVICES=0,1 # 使用的GPU序号
python train.py ...

可用参数如下：

• --exp_name 字符串，代表此次实验的名称，默认exp1。
• --dataset_name 字符串，代表选择对应的数据集的名称，默认bbufdataset，支持camvid。
• --loss 字符串，代表选择的损失函数的名称，默认ce，全部名称见支持的损失函数。
• --n_classes 整型，代表分割图像中有几种类别的像素，默认为2。
• --input_height整型，代表要分割的图像需要resize的长，默认为224。
• --input_width 整型，代表要分割的图像需要resize的宽，默认为224。
• --resize_op 整型，代表resize的方式，如果为1则为普通resize，如果为2，则为letterbox_resize，默认为1。
• --validate布尔型，代表训练过程中是否需要验证集，默认为True，即使用验证集。
• --epochs整型，代表要训练多少个epoch，默认为50。
• --train_batch_size整型，代表训练时批量大小，默认为4。
• --val_batch_size整型，代表训练时批量大小，默认为4。
• --model_name 字符串类型，代表训练时使用哪个模型，支持enet,unet,segnet,fcn8等多种模型，默认为unet。
• --train_save_path字符串类型，代表训练时保存模型的路径，默认为weights/unet，即会将模型保存在weights文件夹下，并且每个模型名字前缀以unet开头，后面接迭代次数和准确率构成完整的保存模型的路径。
• --resume字符串类型，代表继续训练的时候加载的模型路径，默认值为``，即从头训练。
• --optimizer_name字符串类型，代表训练模型时候的优化方法，支持sgd,adam,adadelta等多种优化方式，默认为adadelta。
• --image_init字符串类型，代表输入图片初始化方式，支持sub_mean，sub_and_divide，divide，默认为divide。
• --multi_gpus 布尔类型，代表使用是否多卡进行训练，默认为Fasle，如果为True，需将gpu_count参数设置为使用的显卡数量
• --gpu_count 整型，当multi_gpus为True时代表使用的GPU数量。需要配合设置相应的环境变量CUDA_VISIBLE_DEVICES。

• 训练本工程提供的二分类数据集：python train.py --dataset_name bbufdataset --model_name unet --input_height 224 --input_width 224 --image_init divide --n_classes 2
• 训练CamVid数据集：python train.py --dataset_name camvid --model_name unet --input_height 720 --input_width 960 --image_init sub_mean --n_classes 32 --train_batch_size 2 --val_batch_size 2

使用下面的命令测试模型，加载模型的路径，图像输入分辨率等参数需要灵活设置。

python test.py ...

可用参数如下：

• --test_images字符串类型，代表测试图所在的文件夹路径，默认为data/test/。
• --output_path字符串类型，代表从测试图预测出的mask图输出路径，默认为data/output/。
• --model_name 字符串类型，代表测试时使用哪个模型，支持enet,unet,segnet,fcn8等多种模型，默认为unet。
• --weights_path字符串类型，代表预测时加载的模型权重，默认为weights/unet.18-0.856895.hdf5，即对应默认模型unet训练出来的模型权重路径。
• --input_height整型，代表测试集输入到网络中需要被resize的长，默认为224。
• --input_width整型，代表测试集输入到网络中需要被resize的宽，默认为224。
• --resize_op 整型，代表resize的方式，如果为1则为普通resize，如果为2，则为letterbox_resize，默认为1。
• --classes整型，代表图片中的像素类别数，默认为2。
• --mIOU布尔型，代表是否启用评测mIOU，默认为False，一旦启用需要提供带有mask图的测试数据集。
• --val_images字符串类型，代表启用mIOU后测试集原图的路径，默认为data/val_image/。
• --val_annotations字符串类型，代表启用mIOU后测试集mask图的路径，默认为data/val_label/。
• --image_init字符串类型，代表输入图片初始化方式，支持sub_mean，sub_and_divide，divide，默认为divide。

• 测试二分类数据集：python test.py --model_name unet --weights_path weights/unet.xx.hdf5 --classes 2 --image_init divide
• 测试CamVid数据集：python test.py --model_name unet --weights_path weights/unet.xx.hdf5 --classes 32 --image_init sub_mean --input_height 720 --input_width 960

实现中...

数据集制作使用Labelme即可，然后将得到的json文件使用json_to_dataset.py转换为本工程要用的mask标签图，具体操作步骤为：

• 使用本工程中的json_to_dataset.py替换掉labelme/cli中的相应文件—json_to_dataset.py 。在cmd中输入python json_to_dateset.py /path/你的json文件夹的路径。注意是把每张图的json文件都放在一个目录下，labelme标注出来的默认是一张图片一个文件夹。
• 运行后，在json文件夹中会出现mask_png、labelme_json文件夹，mask_png中存放的是所有8位掩码文件！也即是本工程中使用的标签图。
• 具体来说，我们的标签图就是分别指示每张图片上每一个位置的像素属于几，0是背景，然后你要的类别从1开始往后递增即可。
• 本工程训练和测试的一个2类的简单分割数据集，下载地址为：https://pan.baidu.com/s/1sVjBfmgALVK7uEjeWgIMug
• 本工程训练和测试的CamVid数据集，下载地址为：https://pan.baidu.com/s/1zequLd0aYXNseGoXn-tdog
• 本工程训练和测试的一个包的数据集，下载地址为：https://pan.baidu.com/s/1iau4E0tjm6179z_XTSqExw，提取码：sg22

已经训练好的Keras模型放在这个工程下，模型按照名字进行对应：

https://github.com/BBuf/Keras-Semantic-Segmentation-Model-Zoo

首先将Keras模型转为Caffe模型，然后再转为NCNN/OpenVINO/TensorRT/M模型进行部署，已支持转换OP和网络如下。

• InputLayer
• Conv2D/Convolution2D
• Conv2DTranspose
• DepthwiseConv2D
• SeparableConv2D
• BatchNormalization
• Dense
• ReLU
• ReLU6
• LeakyReLU
• SoftMax
• SigMoid
• Cropping2D
• Concatenate
• Merge
• Add
• Flatten
• Reshape
• MaxPooling2D
• AveragePooling2D
• Dropout
• GlobalAveragePooling2D
• UpSampling2D
• ...

• VGG16
• SqueezeNet
• InceptionV3
• InceptionV4
• Xception V1
• UNet
• ...

• 全部基于UNet进行测试，这个数据集是为了测试工程中支持的各种损失函数的效果。以下指标在测试集上报告。

Input Image	Output Segmentation Image

Input Image	Output Segmentation Image

Input Image	Output Segmentation Image

• https://github.com/divamgupta/image-segmentation-keras
• https://github.com/uhfband/keras2caffe

• QQ群号 1030186545
• 加群密码 qqq