前言

本项目是基于YOLOv5的井盖隐患智能识别系统。在数据预处理阶段，为提升数据质量，采用了数据增强、数据标注等方式。在模型训练阶段，不局限于单一检测算法的使用，可采用集成学习思想，训练多模型并将结果融合，以提升模型效果及泛化能力。最后，选择合适的后处理方式输出井盖隐患的识别结果。由于本项目主要用到目标检测，所以选择了YOLO模型进行训练。

主要功能

1. 支持图片、视频及摄像头进行检测；
2. 可对检测结果进行单独分析，并且显示单次检测的置信度;

项目地址

GitHub - Xuding0829/Well: 基于YOLOv5的井盖隐患智能识别系统

环境配置

python

访问官网 https://www.python.org/downloads/windows/ 下载python包

3.9版本（包括3.9）以上的无法在win7上安装

对前缀的说明：

• 以Windows x86-64开头的是 64 位的 Python 安装程序
• 以Windows x86开头的是 32 位的 Python 安装程序

对后缀的说明：

• embeddable zip file ：表示.zip格式的绿色免安装版本，可以直接嵌入（集成）到其它的应用程序中
• executable installer ：表示.exe格式的可执行程序，这是完整的离线安装包，一般选择这个即可
• web-based installer ：表示通过网络安装的，也就是说下载到的是一个空壳，安装过程中还需要联网

下载完安装包之后双击安装包，选择安装偏好

• Install Now ：默认安装（直接安装在C盘，并且勾选所有组件并下载）
• Customize installation：自定安装（可选择安装路径和组件）
• Install launcher for all users(requires elevation) （默认勾选）
• Add Python to PATH （一定要勾选，添加Python解释器的安装路径到系统变量，目的：为了操作系统更快的找到Python解释器）
• Documentation ：安装Python官方文档
• Pip ：安装Python包管理器，可下载安装Python包
• tcl/tk and IDLE ：安装TK库和IDLE编辑器（开发环境）
• Python test suite ：安装标准库和测试套件
• Py launcher ：py 尾缀文件都以python解释器执行
• For all users ：所有用户都可使用

---

验证python安装

打开命令行终端（在Windows上是命令提示符或PowerShell，而在Mac和Linux上是终端），输入以下命令：

**python --version**

如果能正常显示python版本就说明了安装成功

pycharm

第一步：访问官网 https://www.jetbrains.com/zh-cn/pycharm/download/ 下载「社区版 Community」 安装包

第二部：找到安装包，双击已经下载的安装包，出现下图的界面，点击'下一步'

第三步：选择安装目录，安装路径看个人偏好，选择上好路径之后点击下一步

第四步：进入安装选项，建议勾选下面所有选项

第五步：点击下一步，进入下图界面：

第六步：默认安装即可，等待安装完成

anaconda

进入官网https://docs.anaconda.com/free/miniconda/

下载完毕之后双击安装

安装完成之后打开windows的命令行（cmd），输入conda env list，出现下列信息则表示conda已完成安装

在命令行中输入下列指令创建虚拟环境

python conda create -n [环境名称] python==[版本]

输入y之后回车或者直接回车

安装的过程在本地正常，在九天毕昇这个平台出现了异常

```python UnavailableInvalidChannel: The channel is not accessible or is invalid. channel name: anaconda/pkgs/free channel url: https://mirrors.aliyun.com/anaconda/pkgs/main/ error code: 404

You will need to adjust your conda configuration to proceed. Use conda config --show channels to view your configuration's current state, and use conda config --show-sources to view config file locations. ```

类似于如上的错误信息，但是我认为阿里云的镜像源应该不存在问题，更换了清华源以及中科大的镜像源之后还是这个问题

原因

该平台的python的源为国内安装源，pip可以正常使用，但是国内源停止了Anaconda镜像，不支持conda安装与更新。

解决办法

1. 使用pip安装或更新package
2. 换回默认源，继续使用conda，操作如下

python conda config --remove-key channels

安装结束之后输入下列指令激活虚拟环境

python conda activate [环境名称]

安装程序所需要的包

接着在命令行中依次执行下列命令安装程序所需的包（请根据你的程序自由选择要安装的包）

python pip install tensorflow-cpu == 2.3.0 -i https://mirror.baidu.com/pypi/simple pip install pyqt5 -i https://mirror.baidu.com/pypi/simple pip install pillow -i https://mirror.baidu.com/pypi/simple pip install opencv-python -i https://mirror.baidu.com/pypi/simple pip install matplotlib -i https://mirror.baidu.com/pypi/simple

在pycharm中找到添加新的解释器

设置成功后右下角会出现虚拟环境的名称

pytorch

pytorch分GPU和CPU版本，CPU版本训练速度比较感人，有GPU的同学建议安装GPU版本的pytorch。我所用笔记本为轻薄本无GPU故使用了CPU版本。

pytorch安装需要注意以下几点：

• 安装之前一定要先更新你的显卡驱动，去官网下载对应型号的驱动安装
• 30系显卡只能使用cuda11的版本
• 一定要创建虚拟环境，这样的话各个深度学习框架之间不发生冲突

python conda install pytorch==1.8.0 torchvision torchaudio cudatoolkit=10.2 # 注意这条命令指定Pytorch的版本和cuda的版本 conda install pytorch==1.10.0 torchvision torchaudio cudatoolkit=11.3 # 30系列以上显卡gpu版本pytorch安装指令 conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cpuonly # CPU的小伙伴直接执行这条命令即可

pycocotools

使用下面这个指令来直接进行安装，不需要下载之后再来安装

python pip install pycocotools-windows

其他包的安装

另外的话大家还需要安装程序其他所需的包，包括opencv，matplotlib这些包，不过这些包的安装比较简单，直接通过pip指令执行即可，我们cd到yolov5代码的目录下，直接执行下列指令即可完成包的安装。

python pip install -r requirements.txt pip install pyqt5 pip install labelme

yolov5

yolov5介绍

YOLOv5 是一个用于目标检测的深度学习模型，由 Ultralytics 开发并发布。它属于 YOLO (You Only Look Once) 系列的最新版本，最早由 Joseph Redmon 在 2016 年提出。YOLO 系列的模型采用的是一种端到端的目标检测方法，即模型在一次前向传播中同时预测图像中的物体类别和物体边界框的位置。

优势

1. 多类别检测：YOLOv5能够同时检测多个类别的物体，包括井盖在内，为城市管理部门提供更全面的信息。
2. 目标追踪：YOLOv5不仅可以进行目标检测，还能够进行目标追踪，确保监测的连续性和准确性。
3. 自适应性：YOLOv5能够通过反馈机制不断学习和优化模型，适应不同环境下的井盖识别任务，提高系统的稳定性和适用性。
4. 快速检测：YOLOv5实现实时或近实时的井盖识别，提高了工作效率。
5. 较低的硬件要求：YOLOv5在保持高准确性的同时，对硬件资源的要求较低，适用于一般的计算设备。

yolov5仓库

地址https://github.com/ultralytics/yolov5

现在来对代码的整体目录做一个介绍：

• ├── data：主要是存放一些超参数的配置文件（这些文件（yaml文件）是用来配置训练集和测试集还有验证集的路径的，其中还包括目标检测的种类数和种类的名称）；还有一些官方提供测试的图片。如果是训练自己的数据集的话，那么就需要修改其中的yaml文件。

• 但是自己的数据集不建议放在这个路径下面，而是建议把数据集放到yolov5项目的同级目录下面。

• ├── models：里面主要是一些网络构建的配置文件和函数，其中包含了该项目的四个不同的版本，分别为是s、m、l、x。从名字就可以看出，这几个版本的大小。他们的检测测度分别都是从快到慢，但是精确度分别是从低到高。如果训练自己的数据集，就需要修改这里面相对应的yaml文件来训练自己的模型。
• ├── utils：存放的是工具类的函数，里面有loss函数，metrics函数，plots函数等等。
• ├── detect.py：利用训练好的权重参数进行目标检测，可以进行图像、视频和摄像头的检测。
• ├── train.py：训练自己的数据集的函数。
• ├──requirements.txt：这是一个文本文件，里面写着使用yolov5项目的环境依赖包的一些版本，可以利用该文本导入相应版本的包。
• 以上就是yolov5项目代码的整体介绍。我们训练和测试自己的数据集基本就是利用到如上的代码。

进入yolov5文件夹目录，安装yolov5所需要的第三方库

python cd [path] pip install -r requirements.txt

参数解读

python if __name__ == '__main__': """ opt模型主要参数解析： --weights：初始化的权重文件的路径地址 --cfg：模型yaml文件的路径地址 --data：数据yaml文件的路径地址 --hyp：超参数文件路径地址 --epochs：训练轮次 --batch-size：喂入批次文件的多少 --img-size：输入图片尺寸 --rect:是否采用矩形训练，默认False --resume:接着打断训练上次的结果接着训练 --nosave:不保存模型，默认False --notest:不进行test，默认False --noautoanchor:不自动调整anchor，默认False --evolve:是否进行超参数进化，默认False --bucket:谷歌云盘bucket，一般不会用到 --cache-images:是否提前缓存图片到内存，以加快训练速度，默认False --image-weights：使用加权图像选择进行训练 --device:训练的设备，cpu；0(表示一个gpu设备cuda:0)；0,1,2,3(多个gpu设备) --multi-scale:是否进行多尺度训练，默认False --single-cls:数据集是否只有一个类别，默认False --adam:是否使用adam优化器 --sync-bn:是否使用跨卡同步BN,在DDP模式使用 --local_rank：DDP参数，请勿修改 --workers：最大工作核心数 --project:训练模型的保存位置 --name：模型保存的目录名称 --exist-ok：模型目录是否存在，不存在就创建 """ parser = argparse.ArgumentParser() parser.add_argument('--weights', type=str, default='yolov5s.pt', help='initial weights path') parser.add_argument('--cfg', type=str, default='', help='model.yaml path') parser.add_argument('--data', type=str, default='data/coco128.yaml', help='data.yaml path') parser.add_argument('--hyp', type=str, default='data/hyp.scratch.yaml', help='hyperparameters path') parser.add_argument('--epochs', type=int, default=300) parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs') parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='[train, test] image sizes') parser.add_argument('--rect', action='store_true', help='rectangular training') parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training') parser.add_argument('--nosave', action='store_true', help='only save final checkpoint') parser.add_argument('--notest', action='store_true', help='only test final epoch') parser.add_argument('--noautoanchor', action='store_true', help='disable autoanchor check') parser.add_argument('--evolve', action='store_true', help='evolve hyperparameters') parser.add_argument('--bucket', type=str, default='', help='gsutil bucket') parser.add_argument('--cache-images', action='store_true', help='cache images for faster training') parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training') parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu') parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%') parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class') parser.add_argument('--adam', action='store_true', help='use torch.optim.Adam() optimizer') parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode') parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify') parser.add_argument('--workers', type=int, default=8, help='maximum number of dataloader workers') parser.add_argument('--project', default='runs/train', help='save to project/name') parser.add_argument('--entity', default=None, help='W&B entity') parser.add_argument('--name', default='exp', help='save to project/name') parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment') parser.add_argument('--quad', action='store_true', help='quad dataloader') parser.add_argument('--linear-lr', action='store_true', help='linear LR') parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon') parser.add_argument('--upload_dataset', action='store_true', help='Upload dataset as W&B artifact table') parser.add_argument('--bbox_interval', type=int, default=-1, help='Set bounding-box image logging interval for W&B') parser.add_argument('--save_period', type=int, default=-1, help='Log model after every "save_period" epoch') parser.add_argument('--artifact_alias', type=str, default="latest", help='version of dataset artifact to be used') opt = parser.parse_args()

需要修改的

```python 最后，在根目录中对train.py中的一些参数进行修改，主要参数解释如下。平时训练，主要用到的只有这几个参数而已：–weights，–cfg，–data，–epochs，–batch-size，–img-size，–project。

parser = argparse.ArgumentParser()

加载预训练的模型权重文件，如果文件夹下没有该文件，则在训练前会自动下载

parser.add_argument('--weights', type=str, default=ROOT / 'yolov5l.pt', help='initial weights path')

模型配置文件，网络结构，使用修改好的yolov5l.yaml文件

parser.add_argument('--cfg', type=str, default='models/yolov5l.yaml', help='model.yaml path')

数据集配置文件，数据集路径，类名等，使用配置好的cat.yaml文件

parser.add_argument('--data', type=str, default=ROOT / 'data/cat.yaml', help='dataset.yaml path')

超参数文件

parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch.yaml', help='hyperparameters path')

训练总轮次，1个epoch等于使用训练集中的全部样本训练一次，值越大模型越精确，训练时间也越长，默认为300

parser.add_argument('--epochs', type=int, default=300)

批次大小，一次训练所选取的样本数，显卡不太行的话，就调小点，反正3060是带不动batch-size=16的，传-1的话就是autobatch

parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs')

输入图片分辨率大小，默认为640

parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=640, help='train, val image size (pixels)')

是否采用矩形训练，默认False，开启后可显著的减少推理时间

parser.addargument('--rect', action='storetrue', help='rectangular training')

继续训练，默认从打断后的最后一次训练继续，需开启default=True

parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')

仅保存最终一次epoch所产生的模型

parser.addargument('--nosave', action='storetrue', help='only save final checkpoint')

仅在最终一次epoch后进行测试

parser.addargument('--noval', action='storetrue', help='only validate final epoch')

禁用自动锚点检查

parser.addargument('--noautoanchor', action='storetrue', help='disable autoanchor check')

超参数演变

parser.add_argument('--evolve', type=int, nargs='?', const=300, help='evolve hyperparameters for x generations')

谷歌云盘bucket，一般不会用到

parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')

是否提前缓存图片到内存，以加快训练速度，默认False

parser.add_argument('--cache', type=str, nargs='?', const='ram', help='--cache images in "ram" (default) or "disk"')

选用加权图像进行训练

parser.addargument('--image-weights', action='storetrue', help='use weighted image selection for training')

训练的设备，cpu；0(表示一个gpu设备cuda:0)；0,1,2,3(多个gpu设备)。值为空时，训练时默认使用计算机自带的显卡或CPU

parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')

是否进行多尺度训练，默认False

parser.addargument('--multi-scale', action='storetrue', help='vary img-size +/- 50%%')

数据集是否只有一个类别，默认False

parser.addargument('--single-cls', action='storetrue', help='train multi-class data as single-class')

是否使用adam优化器，默认False

parser.addargument('--adam', action='storetrue', help='use torch.optim.Adam() optimizer')

是否使用跨卡同步BN，在DDP模式使用

parser.addargument('--sync-bn', action='storetrue', help='use SyncBatchNorm, only available in DDP mode')

dataloader的最大worker数量，大于0时使用子进程读取数据，训练程序有可能会卡住

parser.add_argument('--workers', type=int, default=8, help='maximum number of dataloader workers')

训练结果所存放的路径，默认为runs/train

parser.add_argument('--project', default=ROOT / 'runs/train', help='save to project/name')

训练结果所在文件夹的名称，默认为exp

parser.add_argument('--name', default='exp', help='save to project/name')

如训练结果存放路径重名，不覆盖已存在的文件夹

parser.addargument('--exist-ok', action='storetrue', help='existing project/name ok, do not increment')

使用四合一dataloader

parser.addargument('--quad', action='storetrue', help='quad dataloader')

线性学习率

parser.addargument('--linear-lr', action='storetrue', help='linear LR')

标签平滑处理，默认0.0

parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')

已训练多少次epoch后结果仍没有提升就终止训练，默认100

parser.add_argument('--patience', type=int, default=100, help='EarlyStopping patience (epochs without improvement)')

冻结模型层数，默认0不冻结，冻结主干网就传10，冻结所有就传24

parser.add_argument('--freeze', type=int, default=0, help='Number of layers to freeze. backbone=10, all=24')

设置多少次epoch保存一次模型

parser.add_argument('--save-period', type=int, default=-1, help='Save checkpoint every x epochs (disabled if < 1)')

分布式训练参数，请勿修改

parser.addargument('--localrank', type=int, default=-1, help='DDP parameter, do not modify')

Weights & Biases arguments(一般上用不着)

parser.addargument('--entity', default=None, help='W&B: Entity') parser.addargument('--uploaddataset', action='storetrue', help='W&B: Upload dataset as artifact table') parser.addargument('--bboxinterval', type=int, default=-1, help='W&B: Set bounding-box image logging interval') parser.addargument('--artifactalias', type=str, default='latest', help='W&B: Version of dataset artifact to use')

opt = parser.parseknownargs()[0] if known else parser.parse_args() ```

可视化
tensorboard --logdir runs/train/exp

yolov5测试

• 激活虚拟环境

python conda activate yolo5

• 进入yolov5所在环境

笔者这边为d:/code/python/yolov5-master

python cd d:/code/python/yolov5-master

• 在命令行输入一下指令

python python detect.py --source data/images/bus.jpg --weights pretrained/yolov5s.pt

得到以上输出

• 在本地runs目录下可以找到检测之后的结果

数据处理

自定义数据集

建立井盖隐患数据集

利用python爬虫代码在百度上爬取井盖隐患图片（完好、破损、缺失、未盖、井圈受损），各类分别爬取五百张，从而建立2500张的井盖隐患数据集，但实际并没有这么多符合我们要求的图片。

```python import requests startpn = 0 # 初始 pn 值 str = ('https://image.baidu.com/search/acjson?tn=resultjsoncom&logid=7735428982766424353&ipn=rj&ct=201326592&is=&fp' '=result&fr=&word=%E4%BA%95%E5%9C%88%E7%A0%B4%E6%8D%9F&queryWord=%E4%BA%95%E5%9C%88%E7%A0%B4%E6%8D%9F&cl=2&lm' '=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2' f'&qc=&nc=1&expermode=&nojc=&isAsync=&pn={startpn}&rn=30&gsm=1e&1711546213081=') headers = { 'Host': 'image.baidu.com', 'Cookie': 'BDqhfp=%E4%BA%95%E7%9B%96%E5%AE%8C%E5%A5%BD%E5%9B%BE%E7%89%87%26%26NaN-1undefined%26%260%26%261; ' 'BIDUPSID=D02A8140B4BB076983DDEC1ED5BA460A; PSTM=1709897174; ', 'Referer': ('https://image.baidu.com/search/acjson?tn=resultjsoncom&logid=7735428982766424353&ipn=rj&ct=201326592&is=&fp' '=result&fr=&word=%E4%BA%95%E5%9C%88%E7%A0%B4%E6%8D%9F&queryWord=%E4%BA%95%E5%9C%88%E7%A0%B4%E6%8D%9F&cl=2&lm' '=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2' f'&qc=&nc=1&expermode=&nojc=&isAsync=&pn={start_pn}&rn=30&gsm=1e&1711546213081='), 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 ' 'Safari/537.36 Edg/121.0.0.0 ', } number = 1

for page in range(0, 20): str = ('https://image.baidu.com/search/acjson?tn=resultjsoncom&logid=7735428982766424353&ipn=rj&ct=201326592&is=&fp' '=result&fr=&word=%E4%BA%95%E5%9C%88%E7%A0%B4%E6%8D%9F&queryWord=%E4%BA%95%E5%9C%88%E7%A0%B4%E6%8D%9F&cl=2&lm' '=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2' f'&qc=&nc=1&expermode=&nojc=&isAsync=&pn={startpn + page * 30}&rn=30&gsm=1e&1711546213081=') url = str response = requests.get(url=url, headers=headers) jsondata = response.json() datalist = jsondata['data'] for data in datalist[:-1]: fromPageTitleEnc = data['fromPageTitleEnc'] middleURL = data['middleURL'] print(fromPageTitleEnc, middleURL) imgdata = requests.get(middleURL).content with open(f'img/{number}.jpg', mode='wb') as f: f.write(imgdata) number += 1 ```

数据集预处理

利用labelimg数据标注网站对井盖隐患数据集进行预处理，将图片中的每一类井盖框起来并打上标签。

数据标注

labelimg

labelimg是一款开源的数据标注工具，可以标注三种格式

1. voc 标签格式，保存为xml文件
2. yolo标签格式，保存为txt文件
3. createML标签格式，保存为json格式

python cd 文件目录

• 安装labelimg

python pip install labelimg

• 导入标签信息

python labelimg JPEGImage predefined_classes.txt

• 打开labelimg

python labelimg

• 界面介绍如下

• labelimg的快捷键如下

标注步骤

• 打开图片目录

• 设置标注文件保存的目录并设置自动保存

• 开始标注画框，并选择分类标签，保存快捷键ctrl + s
• d切换到下一张继续标注，不断重复
• 导出数据集标签，选择yolo需要的txt格式

给每张图片中的每一个井盖都标注好类别以后，导出标注完的数据，导出的数据是txt格式的labels，每个txt里面有n行（n为每张图片中的井盖标注数量），每行有五个数据，分别是该井盖的类别（用数字表示的）以及标注井盖的标注框的坐标位置信息：

• 生成txt文件以后，对数据集进行处理，整理成能输入进yolo模型源代码的样子

专用数据集

该数据集包含1325张井盖隐患图片以及这些图片对应的xml格式标签：

而本项目中，yolo模型用到的代码需要数据集的标签为txt格式才能输入，所以需要把比赛数据集给的xml格式标签改为txt格式。

XML和TXT标签

ML格式的标签通常用于PASCAL VOC数据集，包含以下信息：

文件扩展名: .xml

标签内容:

: 图像文件名

: 图像大小信息（宽度和高度）