第一部分：训练已有的voc datasets 搞清楚该算法的模型训练流程

Darknet是Joseph维护的开源的神经网络框架，使用C语言编写：https://pjreddie.com/darknet/yolo/

Darknet快速，易于安装，同时支持CPU和GPU计算：项目源码可以在github ：https://github.com/pjreddie/darknet

1 初步使用darknet进行预测

1.1 安装框架

git clone https://github.com/pjreddie/darknet.git
cd darknet
make

1.2 测试

使用YOLO提供的模型利用darknet进行预测，在如下地址下载yolov3.weights的权重文件（模型）

wget https://pjreddie.com/media/files/yolov3.weights
＃执行
./darknet detect cfg/yolov3.cfg yolov3.weights data/person.jpg

1.3 改变检测阈值

YOLO只会把置信度超过0.5的对象定位出来，你可以修改这一阈值。执行命令的时候指定-thresh参数即可：

./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg -thresh 0．５

上面的设置是：即使置信度是0.５也将目标显示定位出来 。

1.4 配置GPU

程序跑通之后，需要了解一些基本的配置
打开makefile可以看到如下内容（在这之前，要安装anaconda并配置环境）

GPU=１
CUDNN=１
OPENCV=0
OPENMP=0
DEBUG=0
......

如果想要指定使用哪块显卡，你可以在命令行中附加参数-i用阿里指定你想使用的显卡序号，例如：

./darknet -i 1 imagenet test cfg/alexnet.cfg alexnet.weights

你也可以使用CUDA进行编译，使用CPU进行计算，使用-nogpu参数即可：

./darknet -nogpu imagenet test cfg/alexnet.cfg alexnet.weights

2 对YOLO训练VOC数据集

这里可以探索一下如何使用YOLO训练其他数据集

2.1 下载数据

wget https://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
wget https://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
wget https://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar
tar xf VOCtrainval_11-May-2012.tar
tar xf VOCtrainval_06-Nov-2007.tar
tar xf VOCtest_06-Nov-2007.tar

上面的数据下载到一起后，解压会同时存在与VOCdevkit/目录

2.2 生成VOC数据集的标签

VOCdevkit的目录结构大致如下

drwxrwxrwx 2 root root 266240 Nov  6  2007 Annotations
drwxrwxrwx 5 root root   4096 Nov  6  2007 ImageSets
drwxrwxrwx 2 root root 274432 Nov  6  2007 JPEGImages
drwxrwxrwx 2 root root  20480 Nov  6  2007 SegmentationClass
drwxrwxrwx 2 root root  20480 Nov  6  2007 SegmentationObject
drwxr-xr-x 2 root root 274432 Jan  8 04:30 labels

xml文件作为标签是很繁琐和复杂，在VOCdevkit  同级目录下运行　ｐｙｔｈｏｎ脚本，下面运行官方提供的脚本生成指定格式的label文件。

wget https://pjreddie.com/media/files/voc_label.py
python voc_label.py

根据每张图片对应的xml文件，会分别在VOCdevkit/VOC2007/labels/和VOCdevkit/VOC2012/labels/位置生成对应于每张图片的.txt文件，作为图片的标签，例如

16 0.437 0.764 0.446 0.466666666667
# 符合如下形式
<object-class> <x> <y> <width> <height>

object-class代表类别，x\y\width\height代表图片的相对位置和高宽。
根目录下面则多了几个txt文件：

这些txt文件汇总了所需训练或者验证的图片的绝对路径，后面训练的时候需要用到
合并这些训练集：

cat 2007_train.txt 2007_val.txt 2012_*.txt > train.txt

2.3 修改训练的配置和下载预训练权重

打开cfg/voc.data文件修改训练集和测试集文件的路径

classes= 20
train  = /root/yolo/darknet/vocdata/train.txt
valid  = /root/yolo/darknet/vocdata/2007_test.txt
names = data/voc.names
backup = backup

然后下载预训练权重

wget https://pjreddie.com/media/files/darknet53.conv.74

2.4 训练VOC模型

./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74   2>1 | tee visualization/train_yolov3.log ./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74 -gpus 0,1,2,3# visualization 训练过程可视化./darknet detector train ./cfg/voc.data ./cfg/yolov3-voc.cfg darknet53.conv.74 2>1 | tee visualization/train_yolov3.log

2.4.1 训练过程 train_yolov3.log 可视化

python3 extract_log.py
python3 visualization_loss.py
python3 visualization_iou.py

#!/usr/bin/python
#coding=utf-8
#该文件用于提取训练log，去除不可解析的log后使log文件格式化，生成新的log文件供可视化工具绘图
import inspect
import os
import random
import sys
def extract_log(log_file, new_log_file, key_word):with open(log_file, 'r') as f:with open(new_log_file, 'w') as train_log:for line in f:#去除多GPU的同步log；去除除零错误的logif ('Syncing' in line) or ('nan' in line):continueif key_word in line:train_log.write(line)f.close()train_log.close()extract_log('./2048/train_log2.txt', './2048/log_loss2.txt', 'images')
extract_log('./2048/train_log2.txt', 'log_iou2.txt', 'IOU')

#!/usr/bin/python
#coding=utf-8import pandas as pd
import numpy as np
import matplotlib.pyplot as plt#根据自己的log_loss.txt中的行数修改lines, 修改训练时的迭代起始次数(start_ite)和结束次数(end_ite)。
lines = 4500
start_ite = 6000 #log_loss.txt里面的最小迭代次数
end_ite = 15000 #log_loss.txt里面的最大迭代次数
step = 10 #跳行数，决定画图的稠密程度
igore = 0 #当开始的loss较大时，你需要忽略前igore次迭代，注意这里是迭代次数y_ticks = [0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 1.1, 1.2, 1.3, 1.4]#纵坐标的值，可以自己设置。
data_path =  '2048/log_loss2.txt' #log_loss的路径。
result_path = './2048/avg_loss' #保存结果的路径。####-----------------只需要改上面的，下面的可以不改动
names = ['loss', 'avg', 'rate', 'seconds', 'images']
result = pd.read_csv(data_path, skiprows=[x for x in range(lines) if (x<lines*1.0/((end_ite - start_ite)*1.0)*igore or x%step!=9)], error_bad_lines=\
False, names=names)
result.head()
for name in names:result[name] = result[name].str.split(' ').str.get(1)result.head()
result.tail()for name in names:result[name] = pd.to_numeric(result[name])
result.dtypes
print(result['avg'].values)fig = plt.figure()
ax = fig.add_subplot(1, 1, 1)###-----------设置横坐标的值。
x_num = len(result['avg'].values)
tmp = (end_ite-start_ite - igore)/(x_num*1.0)
x = []
for i in range(x_num):x.append(i*tmp + start_ite + igore)
#print(x)
print('total = %d\n' %x_num)
print('start = %d, end = %d\n' %(x[0], x[-1]))
###----------ax.plot(x, result['avg'].values, label='avg_loss')
#ax.plot(result['loss'].values, label='loss')
plt.yticks(y_ticks)#如果不想自己设置纵坐标，可以注释掉。
plt.grid()
ax.legend(loc = 'best')
ax.set_title('The loss curves')
ax.set_xlabel('batches')
fig.savefig(result_path)
#fig.savefig('loss')

训练完成后权重保存在 backup 文件夹内，依据训练情况可手动停止训练
-gpu 0可指定 GPU 训练， -gpus 0,1,2,3 可指定多 GPU训练

2.4.2 训练参数详解

Avg IOU:当前迭代中，预测的box与标注的box的平均交并比，越大越好，期望数值为1；
Class: 标注物体的分类准确率，越大越好，期望数值为1；
obj: 越大越好，期望数值为1；
No obj: 越小越好；
.5R: 以IOU=0.5为阈值时候的recall; recall = 检出的正样本/实际的正样本
0.75R: 以IOU=0.75为阈值时候的recall;
count:正样本数目。 1: 1452.927612, 1452.927612 avg, 0.000000 rate, 1.877576 seconds, 32 images
第几批次，总损失，平均损失，当前学习率，当前批次训练时间，目前为止参与训练的图片总数
1： 指示当前训练的迭代次数
1452.927612： 是总体的Loss(损失）

结果：

50200: -nan, nan avg, 0.000010 rate, 0.083617 seconds, 50200 images
Saving weights to backup/yolov3-voc.backup
Saving weights to backup/yolov3-voc_final.weights

3. 测试

./darknet detector test ./cfg/voc.data ./cfg/yolov3-voc.cfg ./backup/yolov3-voc_30000.weights ./data/test.jpg./darknet detector demo ../cfg/voc.data ./cfg/yolov3-voc.cfg ./backup/yolov3-voc_30000.weights ./data/test.mp4

第二部分：根据所需要数据训练更有针对性的模型