1.1 环境安装

    1.2 快速运行

    2.1 项目结构描述

    2.2 细节描述

tensorflow2.2
1.安装CUDA 11版本 (官网)[https://developer.nvidia.com/cuda-toolkit]
2.由于CUDA会自动配好环境本项目不在详述 在命令行输入 nvcc -V 查看CUDA版本
3.安装conda (推荐在清华镜像站下载Anaconda或者Miniconda都可以)
4.更新一下conda (conda update -n base conda)
5.创建python3.7.7的虚拟环境并进入 (conda create -n example python=3.7.7) (conda activate example)
6.安装tensorflow2.2 (pip install tensorflow-gpu==2.2 -i https://pypi.douban.com/simple)
7.安装cudnn (conda install cudatoolkit=10.1 cudnn=7.6.5)
8.将requirements.txt的版本换成tensorflow2.2
9.再安装其他依赖 (pip install -r requirements.txt -i https://pypi.douban.com/simple)

tensorflow2.3
1.安装CUDA 11版本 (官网)[https://developer.nvidia.com/cuda-toolkit]
2.由于CUDA会自动配好环境本项目不在详述 在命令行输入 nvcc -V 查看CUDA版本
3.安装conda (推荐在清华镜像站下载Anaconda或者Miniconda都可以)
4.更新一下conda (conda update -n base conda)
5.创建python3.7.7的虚拟环境并进入 (conda create -n example python=3.7.7) (conda activate example)
6.安装tensorflow2.3 (pip install tensorflow-gpu==2.3 -i https://pypi.douban.com/simple)
7.安装cudnn (conda install cudatoolkit=10.1 cudnn=7.6.5)
8.再安装其他依赖 (pip install -r requirements.txt -i https://pypi.douban.com/simple)

运行New_work.py(两个参数第一个是项目一级目录名字，第二个是项目名字)

运行init_working_space.py

1.将训练数据放到train_dataset文件夹

2.将验证数据放到validation_dataset文件夹

3.将测试数据放到test_dataset文件夹

1.将一坨数据放到train_dataset文件夹(一坨指的是全部数据集在同一文件夹内)

2.运行split_dataset.py

运行gen_sample_by_captcha.py

选择要训练的类型

ORDINARY 默认模式(解决不定长，显存小，快速理解)

NUM_CLASSES 图片分类(解决例如12306，九宫格，猫狗大战)

CTC识别文字，不需要设置长度(解决不定长，显存占用非常大，大概需要16G)

CTC_TINY识别文字，需要设置长度(解决不定长，显存占用比较大，大概需要6G)

EFFICIENTDET目标检测 (解决点选，显存占用比较大，最少需要6G)

运行cheak_file.py查看自己的数据最大高和宽顺便检查图片是否损坏

IMAGE_HEIGHT和IMAGE_WIDTH最好设置的比数据集的高宽要大

图片越大占用显存越多，视情况设置

本项目对小于配置文件高宽图片的处理是填充

大于配置文件高宽的图片先进行等比缩小然后再填充

填充的值为128也就是灰色

注意:IMAGE_CHANNALS为1时，不能载入imagenet的模型权重

注意:目标检测使用数据生成器这一步跳过

运行pack_dataset.py

暂时先使用项目自带的模型吧

注意:如果显存不足或者效果不好

请灵活选择或自行搭建模型

或者将图片的高宽减少

运行train.py

tensorboard --logdir "logs"

保存模型

运行save_model.py

丹药出来后要看一下是几品丹药

运行test.py

目标检测任务运行test_map.py

将训练好的模型放到App_model

运行app.py

python app.py

先运行本项目给的例子感受一下

注意：这是微博的验证码(普通英数类型)

python spider_example.py

目前一共五种

'ORDINARY'      默认模式

'NUM_CLASSES'   图片分类

'CTC'           文字识别

'CTC_TINY'	    文字识别

'EFFICIENTDET'  目标检测

DATA_ENHANCEMENT = False

CAPTCHA_LENGTH = 8

BATCH_SIZE = 16

EPOCHS = 900

EARLY_PATIENCE = 8

MODEL_NAME = captcha.h5

|	|-- works								// 工作目录
|	|	|-- simple							// 二级工作目录
|	|	|	|-- App_model						// 后端模型保存路径
|	|	|	|	|-- checkpoint					// 保存检查点
|	|	|	|-- CSVLogger						// 把训练轮结果数据流到 csv 文件
|	|	|	|-- inputs						// 测试map所需文件
|	|	|	|	|-- detection-results				// 模型预测结果
|	|	|	|	|-- ground-truth				// 便签的结果
|	|	|	|	|-- images-optional				// 图片文件
|	|	|	|-- label						// 标签存放路径
|	|	|	|-- logs						// 保存被 TensorBoard 分析的日志文件
|	|	|	|-- model						// 模型保存的路径
|	|	|	|-- output						// 测试map输出文件
|	|	|	|-- test_dataset					// 测试集路径
|	|	|	|-- train_dataset					// 训练集路径
|	|	|	|-- train_pack_dataset					// 保存打包好的训练集
|	|	|	|-- validation_dataset					// 验证集路径
|	|	|	|-- vailidation_pack_dataset				// 保存打包好的验证集
|	|	|	|-- visualization					// 输出网络的类激活热力图
|	|	|	|-- app.py						// 开启后端
|	|	|	|-- callback.py						// 回调函数 https://keras.io/zh/callbacks/运行该文件会返回一个损失最小的权重文件
|	|	|	|-- captcha_config.json					// 生成验证码的配置文件
|	|	|	|-- cheak_file.py					// 检查数据集图片的高和宽,删除损坏的数据集
|	|	|	|-- delete_file.py					// 删除所有数据集的文件,这里是防止数据太多手动删不动
|	|	|	|-- gen_sample_by_captcha.py				// 生成验证码
|	|	|	|-- init_working_space.py				// 初始化工作目录
|	|	|	|-- models.py						// 搭建模型网络,可视化需要安装graphviz，官网下载地址为http://www.graphviz.org/
|	|	|	|-- pack_dataset.py					// 打包数据集
|	|	|	|-- save_model.py					// 把损失最小的检查点保存成模型
|	|	|	|-- settings.py						// 设置文件
|	|	|	|-- spider_example.py					// 爬虫调用例子
|	|	|	|-- split_dataset.py					// 划分数据集
|	|	|	|-- test.py						// 读取模型进行测试
|	|	|	|-- test_map.py						// 测试模型map
|	|	|	|-- train.py						// 开始训练
|	|	|	|-- utils.py						// 项目核心
|	|	|	|-- visualization_cnn.py				// 生成网络的类激活热力图，用于查看网络用什么特征进行预测
|-- New_work.py									// 新建工作目录

把数据集放到	train_dataset   文件夹
把标签放到		label       文件夹
[标签格式](https://github.com/yuzhiyizhan/generate_click_captcha)
运行 move_path.py 区分数据集(可省略)
运行 train.py 开始训练

修改utils.py

Image_Processing.extraction_image
提取全部的图片

Image_Processing.extraction_label
根据图片名获取标签，将标签保存到列表里
去重后将之保存到json，然后读取json
把标签转化为张量

修改pack_dataset.py
读取全部图片与标签进行打包

以上为数据处理的过程，根据自己的需要自行修改

修改app.py

后端用的gradio(简单而且提供一个前端界面)

以上为模型的过程，根据自己的需要自行修改

运行比较大的模型爆显存十分正常
这时就需要大佬们给我们提供的轻量级模型

例如:
def captcha_model():
inputs = tf.keras.layers.Input(shape=inputs_shape)
x = Get_Model.SE_DenseNet(inputs, block=[6, 12, 32, 32])
outputs = tf.keras.layers.Dense(units=CAPTCHA_LENGTH * Settings.settings(),
								activation=tf.keras.activations.softmax)(x)
outputs = tf.keras.layers.Reshape((CAPTCHA_LENGTH, Settings.settings()))(outputs)
model = tf.keras.Model(inputs=inputs, outputs=outputs)
model.compile(optimizer=AdaBeliefOptimizer(learning_rate=LR, beta_1=0.9, beta_2=0.999, epsilon=1e-8,
										   weight_decay=1e-2, rectify=False),
			  loss=tf.keras.losses.CategoricalCrossentropy(label_smoothing=LABEL_SMOOTHING),
			  metrics=['acc'])
return model

查看models.py下面的注释将训练比较慢的模型换成训练比较快的模型

例如:
def captcha_model():
	inputs = tf.keras.layers.Input(shape=inputs_shape)
	x = Get_Model.MobileNetV2(inputs) ###替换了这里
	outputs = tf.keras.layers.Dense(units=CAPTCHA_LENGTH * Settings.settings(),
									activation=tf.keras.activations.softmax)(x)
	outputs = tf.keras.layers.Reshape((CAPTCHA_LENGTH, Settings.settings()))(outputs)
	model = tf.keras.Model(inputs=inputs, outputs=outputs)
	model.compile(optimizer=AdaBeliefOptimizer(learning_rate=LR, beta_1=0.9, beta_2=0.999, epsilon=1e-8,
											   weight_decay=1e-2, rectify=False),
				  loss=tf.keras.losses.CategoricalCrossentropy(label_smoothing=LABEL_SMOOTHING),
				  metrics=['acc'])
	return model

注意:里面有部分魔改模型

很多时候模型训练的差不多了

这时直接停止运行save_model.py

下次又想训练了直接运行train.py

想重头再来手动删除检查点或者运行

init_working_space.py

def show_image(image):
    image = Image.open(image)
    if image.mode != 'RGB':
        image = image.convert('RGB')
    iw, ih = image.size
    w, h = IMAGE_WIDTH, IMAGE_HEIGHT
    scale = min(w / iw, h / ih)
    nw = int(iw * scale)
    nh = int(ih * scale)
    image = image.resize((nw, nh), Image.BICUBIC)
    if IMAGE_CHANNALS == 3:
        new_image = Image.new('RGB', (IMAGE_WIDTH, IMAGE_HEIGHT), (128, 128, 128))
        new_image.paste(image, ((w - nw) // 2, (h - nh) // 2))
    else:
        new_image = Image.new('P', (IMAGE_WIDTH, IMAGE_HEIGHT), (128, 128, 128))
        new_image = new_image.convert('L')
        new_image.paste(image, ((w - nw) // 2, (h - nh) // 2))
        table = []
        for i in range(256):
            if i < THRESHOLD:
                table.append(0)
            else:
                table.append(255)
        new_image = new_image.point(table, 'L')
    new_image.show()

微博加搜狗验证码识别率99.75%

12306图片识别率99.46%

待更新12306文字

12306文字识别率99.7%

待更新整合api

整合API

添加MODE设置
'ordinary'      微博加搜狗
'n_class'       12306图片
'ordinary_ocr'  12306文字

待更新模型部署

1.MODE更换成：'ORDINARY'，'NUM_CLASSES'，'CTC'

2.取消用内置函数ord()形成映射表，运行pack_dataset.py的时候
自动生成num_classes.json，映射表

3.取消直接对图片resize，这样图片可能会失真，改成填充(不足设置的高宽进行补0)

4.增加inception，densenet，efficientnet等CNN模型
十分推荐Densenet_169，本人将微博验证码，搜狗验证码，12306_top
一起训练正确率也达到了86%(一轮训练要一个小时我只练了4轮，多训练几次达到98%以上都是可能的)

5.旧的项目移动至olded分支，模型太大有50M左右
不会再放模型在主分支

6.由于显卡太垃圾所以CTC暂时还运行不起来，不过流程是没问题的
用CPU可以训练但是训练太过于慢，对自己硬件自信的朋友可以试下
后面假如中了彩票的话，就新建一个分支放CTC的模型，识别通用文字

7.待更新模型部署

使用标签平滑提升准确率，降低过拟合(防止模型太膨胀)

原本搜狗验证码只有93.85%正确率(训练6轮)，使用标签平滑后达到96.14%(训练7轮)

待更新模型部署

删除两个作用较小的文件

添加模型部署的方法

12306识别验证码思路是正确的

各位自己切图识别即可

待更新目标检测轻量模型，测试MAP

删除旧分支，不再提供任何模型

待更新目标检测轻量模型，测试MAP

修改置信度低于70%时，打印错误日志

模型置信度过低时，就算预测对了也是瞎蒙的

和考英语是一个道理

待更新目标检测轻量模型，测试MAP

增加了目标检测的模型

待修复数据管道BUG，现在先暂时这么用

待更新目标检测轻量模型，测试MAP

增加了测试MAP

增加了目标检测轻量模型

待修复数据管道BUG，现在先暂时这么用

待更新ONNX+TensorRT部署模型

增加类激活热力图可视化

待修复数据管道BUG，现在先暂时这么用

待更新ONNX+TensorRT部署模型

添加备注

还是没钱买电脑

将对代码进行整理，想办法适配更高版本的tf