改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝（TensorRT及NCNN部署）
YOLOv5改进点
2022.10.30 复现TPH-YOLOv5
2022.10.31 完成替换backbone为Ghostnet
2022.11.02 完成替换backbone为Shufflenetv2
2022.11.05 完成替换backbone为Mobilenetv3Small
2022.11.10 完成EagleEye对YOLOv5系列剪枝支持
2022.11.14 完成MQBench对YOLOv5系列量化支持
2022.11.16 完成替换backbone为EfficientNetLite-0
2022.11.26 完成替换backbone为PP-LCNet-1x
2022.12.12 完成SwinTrans-YOLOv5（C3STR）
2022.12.15 完成Slimming对YOLOv5系列剪枝支持
Requirements
pip install -r requirements.txt
Multi-Backbone Substitution for YOLOs
1、Base Model
Train on Visdrone DataSet (Input size is 608)
| No. | Model | mAP | mAP@50 | Parameters(M) | GFLOPs |
|---|---|---|---|---|---|
| 1 | YOLOv5n | 13.0 | 26.20 | 1.78 | 4.2 |
| 2 | YOLOv5s | 18.4 | 34.00 | 7.05 | 15.9 |
| 3 | YOLOv5m | 21.6 | 37.80 | 20.91 | 48.2 |
| 4 | YOLOv5l | 23.2 | 39.70 | 46.19 | 108.1 |
| 5 | YOLOv5x | 24.3 | 40.80 | 86.28 | 204.4 |
2、高精度模型
A、TPH-YOLOv5 
Train on Visdrone DataSet (6-7 size is 640，8 size is 1536)
| No. | Model | mAP | mAP@50 | Parameters(M) | GFLOPs |
|---|---|---|---|---|---|
| 6 | YOLOv5xP2 | 30.0 | 49.29 | 90.96 | 314.2 |
| 7 | YOLOv5xP2 CBAM | 30.1 | 49.40 | 91.31 | 315.1 |
| 8 | YOLOv5x-TPH | 40.7 | 63.00 | 112.97 | 270.8 |
用法：
nohup python train.py --data VisDrone.yaml --weights yolov5n.pt --cfg models/yolov5n.yaml --epochs 300 --batch-size 8 --img 608 --device 0,1 --sync-bn >> yolov5n.txt &
组成部分：
P2 Head、CBAM、TPH、BiFPN、SPP
1、TransBlock的数量会根据YOLO规模的不同而改变，标准结构作用于YOLOv5m
2、当YOLOv5x为主体与标准结构的区别是：（1）首先去掉14和19的CBAM模块（2）降低与P2关联的通道数（128）（3）在输出头之前会添加SPP模块，注意SPP的kernel随着P的像素减小而减小（4）在CBAM之后进行输出（5）只保留backbone以及最后一层输出的TransBlock（6）采用BiFPN作为neck
3、更改不同Loss分支的权重：如下图，当训练集的分类与置信度损失还在下降时，验证集的分类与置信度损失开始反弹，说明出现了过拟合，需要降低这两个任务的权重
消融实验如下：
| box | cls | obj | acc |
|---|---|---|---|
| 0.05 | 0.5 | 1.0 | 37.90 |
| 0.05 | 0.3 | 0.7 | 38.00 |
| 0.05 | 0.2 | 0.4 | 37.5 |
B、SwinTrans-YOLOv5
pip install timm
Usage：
python train.py --data VisDrone.yaml --weights yolov5x.pt --cfg models/accModels/yolov5xP2CBAM-Swin-BiFPN-SPP.yaml --hyp data/hyps/hyp.visdrone.yaml --epochs 60 --batch-size 4 --img 1536 --nohalf
（1）Window size由7替换为检测任务常用分辨率的公约数8
（2）create_mask封装为函数，由在init函数执行变为在forward函数执行
（3）若分辨率小于window size或不是其公倍数时，在其右侧和底部Padding
debug：在计算完之后需要反padding回去，否则与cv2支路的img_size无法对齐
（4）forward函数前后对输入输出reshape
（5）验证C3STR时，需要手动关闭默认模型在half精度下验证（–nohalf）
3、Slighter Model
Train on Visdrone DataSet (1 size is 608，2-6 size is 640)
| No | Model | mAP | mAP@50 | Parameters(M) | GFLOPs | TrainCost(h) | Memory Cost(G) | PT File | FPS@CPU |
|---|---|---|---|---|---|---|---|---|---|
| 1 | YOLOv5l | 23.2 | 39.7 | 46.19 | 108.1 | ||||
| 2 | YOLOv5l-GhostNet | 18.4 | 33.8 | 24.27 | 42.4 | 27.44 | 4.97 | PekingUni Cloud | |
| 3 | YOLOv5l-ShuffleNetV2 | 16.48 | 31.1 | 21.27 | 40.5 | 10.98 | 2.41 | PekingUni Cloud | |
| 4 | YOLOv5l-MobileNetv3Small | 16.55 | 31.2 | 20.38 | 38.4 | 10.19 | 5.30 | PekingUni Cloud | |
| 5 | YOLOv5l-EfficientNetLite0 | 19.12 | 35 | 23.01 | 43.9 | 13.94 | 2.04 | PekingUni Cloud | |
| 6 | YOLOv5l-PP-LCNet | 17.63 | 32.8 | 21.64 | 41.7 | 18.52 | 1.66 | PekingUni Cloud |
A、GhostNet-YOLOv5
（1）为保持一致性，下采样的DW的kernel_size均等于3
（2）neck部分与head部分沿用YOLOv5l原结构
（3）中间通道人为设定（expand）
B、ShuffleNetV2-YOLOv5
（1）Focus Layer不利于芯片部署，频繁的slice操作会让缓存占用严重
（2）避免多次使用C3 Leyer以及高通道的C3 Layer（违背G1与G3准则）
（3）中间通道不变
C、MobileNetv3Small-YOLOv5
（1）原文结构，部分使用Hard-Swish激活函数以及SE模块
（2）Neck与head部分嫁接YOLOv5l原结构
（3）中间通道人为设定（expand）
D、EfficientNetLite0-YOLOv5
（1）使用Lite0结构，且不使用SE模块
（2）针对dropout_connect_rate，手动赋值(随着idx_stage变大而变大)
（3）中间通道一律*6（expand）
E、PP-LCNet-YOLOv5
（1）使用PP-LCNet-1x结构，在网络末端使用SE以及5*5卷积核
（2）SeBlock压缩维度为原1/16
（3）中间通道不变
Pruning for YOLOs
| Model | mAP | mAP@50 | Parameters(M) | GFLOPs | FPS@CPU |
|---|---|---|---|---|---|
| YOLOv5s | 18.4 | 34 | 7.05 | 15.9 | |
| YOLOv5n | 13 | 26.2 | 1.78 | 4.2 | |
| YOLOv5s-EagleEye@0.6 | 14.3 | 27.9 | 4.59 | 9.6 |
1、Prune Strategy
（1）基于YOLOv5块状结构设计，对Conv、C3、SPP(F)模块进行剪枝，具体来说有以下：
- Conv模块的输出通道数
- C3模块中cv2块和cv3块的输出通道数
- C3模块中若干个bottleneck中的cv1块的输出通道数
（2）八倍通道剪枝（outchannel = 8*n）
（3）ShortCut、concat皆合并剪枝
2、Prune Tools
（1）EagleEye
EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning
基于搜索的通道剪枝方法，核心思想是随机搜索到大量符合目标约束的子网，然后快速更新校准BN层的均值与方差参数，并在验证集上测试校准后全部子网的精度。精度最高的子网拥有最好的架构，经微调恢复后能达到较高的精度。
Usage
- 正常训练模型
python train.py --data data/VisDrone.yaml --imgsz 640 --weights yolov5s.pt --cfg models/prunModels/yolov5s-pruning.yaml --device 0
（注意训练其他模型，参考/prunModels/yolov5s-pruning.yaml进行修改，目前已支持v6架构）
- 搜索最优子网
python pruneEagleEye.py --weights path_to_trained_yolov5_model --cfg models/prunModels/yolov5s-pruning.yaml --data data/VisDrone.yaml --path path_to_pruned_yolov5_yaml --max_iter maximum number of arch search --remain_ratio the whole FLOPs remain ratio --delta 0.02
- 微调恢复精度
python train.py --data data/VisDrone.yaml --imgsz 640 --weights path_to_Eaglepruned_yolov5_model --cfg path_to_pruned_yolov5_yaml --device 0
（2）Network Slimming
Learning Efficient Convolutional Networks through Network Slimming
Usage
- 模型BatchNorm Layer \gamma 稀疏化训练
python train.py --data data/VisDrone.yaml --imgsz 640 --weights yolov5s.pt --cfg models/prunModels/yolov5s-pruning.yaml --device 0 --sparse
（注意训练其他模型，参考/prunModels/yolov5s-pruning.yaml进行修改，目前已支持v6架构）
- BatchNorm Layer剪枝
python pruneSlim.py --weights path_to_sparsed_yolov5_model --cfg models/prunModels/yolov5s-pruning.yaml --data data/VisDrone.yaml --path path_to_pruned_yolov5_yaml --global_percent 0.6 --device 3
- 微调恢复精度
python train.py --data data/VisDrone.yaml --imgsz 640 --weights path_to_Slimpruned_yolov5_model --cfg path_to_pruned_yolov5_yaml --device 0
Quantize Aware Training for YOLOs
MQBench是实际硬件部署下评估量化算法的框架，进行各种适合于硬件部署的量化训练（QAT）
Requirements
- PyTorch == 1.8.1
Install MQBench Lib
由于MQBench目前还在不断更新，选择0.0.2稳定版本作为本仓库的量化库。
git clone https://github.com/ZLkanyo009/MQBench.git
cd MQBench
python setup.py build
python setup.py install
Usage
训练脚本实例：
python train.py --data VisDrone.yaml --weights yolov5n.pt --cfg models/yolov5n.yaml --epochs 300 --batch-size 8 --img 608 --nosave --device 0,1 --sync-bn --quantize --BackendType NNIE
Deploy
目前已支持TensorRT及NCNN部署，详见deploy
To do
- Multibackbone: MobileNetV3-small
- Multibackbone: ShuffleNetV2
- Multibackbone: GhostNet
- Multibackbone: EfficientNet-Lite0
- Multibackbone: PP-LCNet
- Multibackbone: TPH-YOLOv5
- Module: SwinTrans（C3STR）
- Module: Deformable Convolution
- Pruner: Network Slimming
- Pruner: EagleEye
- Pruner: OneShot (L1, L2, FPGM), ADMM, NetAdapt, Gradual, End2End
- Quantization: MQBench
- Knowledge Distillation
相关文章：
Yolov11-detect训练自己的数据集
至此，整个YOLOv11的训练预测阶段完成，与YOLOv8差不多。欢迎各位批评指正。
YOLOv10训练自己的数据集
至此，整个YOLOv10的训练预测阶段完成，与YOLOv8差不多。欢迎各位批评指正。
YOLOv10环境搭建、模型预测和ONNX推理
运行后会在文件yolov10s.pt存放路径下生成一个的yolov10s.onnxONNX模型文件。安装完成之后，我们简单执行下推理命令测试下效果，默认读取。终端，进入base环境，创建新环境。（1）onnx模型转换。
YOLOv7-Pose 姿态估计-环境搭建和推理
终端，进入base环境，创建新环境，我这里创建的是p38t17(python3.8，pytorch1.7)安装pytorch：（网络环境比较差时，耗时会比较长）下载好后打开yolov7-pose源码包。imgpath：需要预测的图片的存放路径。modelpath:模型的存放路径。Yolov7-pose权重下载。打开工程后，进入设置。
深度学习硬件基础：CPU与GPU
CPU：叫做中央处理器（central processing unit）作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。[^3]可以形象的理解为有25%的ALU(运算单元)、有25%的Control(控制单元)、50%的Cache(缓存单元)GPU：叫做图形处理器。
YOLOv8-Detect训练CoCo数据集+自己的数据集
至此，整个训练预测阶段完成。此过程同样可以在linux系统上进行，在数据准备过程中需要仔细，保证最后得到的数据准确，最好是用显卡进行训练。有问题评论区见！
YOLOv5中Ghostbottleneck结构shortcut=True和shortcut=False有什么区别
GhostBotleneck结构中的shodcut=True和shorcut=False的区别在干是否使用残差连接。当shorcu=True时，使用残差连接，可以以加速模型的收敛速度和提高模型的准确率，当shorcu=False时，不使用残差连接，可以减少模型的参数数量和计算量。实际上不只是Ghostbottleneck具有残差连接，在C3、C2f等具有Bottleneck模块的结构均可根据此例举一反三。残差块是深度卷积神经网络中的一种基本模块，可以有效地解决梯度消失和梯度爆炸的问题。
基于深度学习的细胞感染性识别与判定
通过引入深度学习技术，我们能够更精准地识别细胞是否受到感染，为医生提供更及时的信息，有助于制定更有效的治疗方案。基于深度学习的方法通过学习大量样本，能够自动提取特征并进行准确的感染性判定，为医学研究提供了更高效和可靠的手段。通过引入先进的深度学习技术，我们能够实现更快速、准确的感染性判定，为医学研究和临床实践提供更为可靠的工具。其准确性和效率将为医学研究带来新的突破，为疾病的早期诊断和治疗提供更可靠的支持。通过大规模的训练，模型能够学到细胞感染的特征，并在未知数据上做出准确的预测。
windows安装conda环境，开发openai应用准备，运行第一个ai程序
作者开发第一个openai应用的环境准备、第一个openai程序调用成功，做个记录，希望帮助新来的你。第一次能成功运行的openai程序，狠开心。
一文详解TensorFlow模型迁移及模型训练实操步骤
当前业界很多训练脚本是基于TensorFlow的Python API进行开发的，默认运行在CPU/GPU/TPU上，为了使这些脚本能够利用昇腾AI处理器的强大算力执行训练，需要对TensorFlow的训练脚本进行迁移。
将 OpenCV 与 gdb 驱动的 IDE 结合使用
能力这个漂亮的打印机可以显示元素类型、标志和（可能被截断的）矩阵。众所周知，它可以在 Clion、VS Code 和 gdb 中工作。Clion 示例安装移入 .放在方便的地方，重命名并移动到您的个人文件夹中。将“source”行更改为指向您的路径。如果系统中安装的 python 3 版本与 gdb 中的版本不匹配，请使用完全相同的版本创建一个新的虚拟环境，相应地安装并更改 python3 的路径。用法调试器中以前缀为前缀的字段是为方便起见而添加的伪字段，其余字段保持原样。
PyTorch中nn.Module的继承类中方法foward是自动执行的么？
在 PyTorch的 nn.Module中，forward方法并不是自动执行的，但它是在模型进行前向传播时必须调用的一个方法。当你实例化一个继承自torch.nn.Module的自定义类并传入输入数据时，需要通过调用该实例来实现前向传播计算，这实际上会隐式地调用forward方法。
文本挖掘的几种常用的方法
1. 文本预处理：首先对文本数据进行清洗和预处理，如去除停用词（如“的”、“是”等常用词）、标点符号和特殊字符，并进行词干化或词形还原等操作，以减少数据噪声和提取更有意义的特征。3. 文本分类：将文本数据分为不同的类别或标签。文本挖掘是一种通过自动化地发现、提取和分析大量文本数据中的有趣模式、关联和知识的技术。这些示例代码只是简单的演示了各种方法的使用方式，具体的实现还需要根据具体的需求和数据进行适当的调整和优化。8. 文本生成：使用统计模型或深度学习模型生成新的文本，如机器翻译、文本摘要和对话系统等。
智能革命：揭秘AI如何重塑创新与效率的未来
智能革命：揭秘AI如何重塑创新与效率的未来
一文搞懂深度信念网络！DBN概念介绍与Pytorch实战
深度信念网络（Deep Belief Networks, DBNs）是一种深度学习模型，代表了一种重要的技术创新，具有几个关键特点和突出能力。首先，DBNs是由多层受限玻尔兹曼机（Restricted Boltzmann Machines, RBMs）堆叠而成的生成模型。这种多层结构使得DBNs能够捕获数据中的高层次抽象特征，对于复杂的数据结构具有强大的表征能力。其次，DBNs采用无监督预训练的方式逐层训练模型。
人工智能在现代科技中的应用和未来发展趋势
未来，深度学习将进一步发展，能够应用于更多的领域，如自动驾驶、智能制造和医疗辅助等。图像识别和计算机视觉：人工智能在图像识别和计算机视觉领域取得了巨大突破，能够自动识别和分类图像中的物体和场景。未来，随着人工智能技术的发展，自动化和机器人技术将实现更高的智能化程度，能够完成更加复杂的任务。语音识别和自然语言处理：人工智能已经实现了高度准确的语音识别技术，使得我们可以通过语音与智能助理交互，如苹果的Siri和亚马逊的Alexa。未来，语音识别技术将变得更加智能和自然，能够理解和回答更加复杂的问题。
在云计算环境中，如何利用 AI 改进云计算系统和数据库系统性能
2023年我想大家讨论最多，热度最大的技术领域就是 AIGC 了，AI绘画的兴起，ChatGPT的火爆，在微软背后推手的 OpenAI 大战 Google几回合后，国内各种的大语言模型产品也随之各家百花齐放，什么文心一言、通义千问、科大讯飞的星火以及华为的盘古等等，一下子国内也涌现出几十种人工智能的大语言模型产品。ChatGPT 爆火之后，你是否有冷静的思考过 AIGC 的兴起对我们有哪些机遇与挑战？我们如何将AI 应用到我们现有的工作学习中？_aigc k8s
神经网络中的分位数回归和分位数损失
分位数回归是一种强大的统计工具，对于那些关注数据分布中不同区域的问题，以及需要更加灵活建模的情况，都是一种有价值的方法。本文将介绍了在神经网络种自定义损失实现分位数回归，并且介绍了如何检测和缓解预测结果的"扁平化"问题。Quantile loss在一些应用中很有用，特别是在金融领域的风险管理问题中，因为它提供了一个在不同分位数下评估模型性能的方法。作者：Shiro Matsumoto。
基于神经网络——鸢尾花识别（Iris）
鸢尾花识别是学习AI入门的案例，这里和大家分享下使用Tensorflow2框架，编写程序，获取鸢尾花数据，搭建神经网络，最后训练和识别鸢尾花。
深度学习知识点全面总结
深度学习定义：一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类：有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等； 无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。深度神经网络的基本思想是通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。神经网络的计算主要有两种：前向传播（foward propagation, FP）作用于每一层的输入，通过逐层计算得到输出结果；
为什么深度学习神经网络可以学习任何东西
尽管如此，神经网络在处理一些对计算机而言极具挑战性的任务上表现出色，特别是在需要直觉和模糊逻辑的领域，如计算机视觉和自然语言处理，神经网络已经彻底改变了这些领域的面貌。在探讨神经网络如何学习的过程中，我们首先遇到了一个基本问题：如果我们不完全知道一个函数的形式，只知道它的部分输入和输出值，我们能否对这个函数进行逆向工程？重要的是，只要知道了这个函数，就可以针对任意输入x计算出对应的输出y。一种简单而有力的思考世界的方式，通过结合简单的计算，我们可以让计算机构造任何我们想要的功能，神经网络，从本质上讲，
如何使用JuiceSSH实现手机端远程连接Linux服务器
处于内网的虚拟机如何被外网访问呢?如何手机就能访问虚拟机呢?cpolar+JuiceSSH 实现手机端远程连接Linux虚拟机(内网穿透,手机端连接Linux虚拟机)
深度学习与神经网络
神经网络是一种模拟人脑神经元行为的计算模型，神经网络由大量的神经元（在计算领域中常被称为“节点”或“单元”）组成，并且这些神经元被分为不同的层，分别为输入层、隐藏层和输出层。每一个神经元都与前一层的所有神经元相连接，连接的强度（或权重）代表了该连接的重要性。神经元接收前一层神经元的信息（这些信息经过权重加权），然后通过激活函数（如Sigmoid、ReLU等）处理，将结果传递到下一层。输入层接收原始数据，隐藏层负责处理这些数据，而输出层则将处理后的结果输出。
程序，进程，线程，超线程之间的联系和区别
当我们谈到计算机程序的执行时，经常会涉及到“程序”，“进程”，“线程”和“超线程”这些概念。通过理解这些概念及其之间的联系和区别，可以帮助我们更好地理解计算机程序的执行方式和并发处理机制。来源：6547网 http://www.6547.cn/blog/442。
绝地求生电脑版的最低配置要求？
更好的方式是通过官方的渠道购买游戏账号，并遵守游戏的规则和使用协议，以保证自己的游戏体验和账号安全性。但请注意，游戏的配置要求可能随着游戏的更新而有所改变，建议您在购买或升级电脑时，参考官方的配置要求以获得最佳游戏体验。如果您的电脑配备了更高性能的处理器，游戏的运行体验将更为流畅。绝地求生是一款较为复杂的游戏，需要较大的内存来加载游戏资源并确保游戏的流畅运行。所以在安装游戏之前，确保您的电脑有足够的存储空间。这些推荐配置可以使您在绝地求生中获得更高的帧率和更好的画面表现，提供更加顺畅和逼真的游戏体验。
labelme安装与使用教程（内附一键运行包和转格式代码）
Labelme是一个开源的图像标注工具，由麻省理工学院的计算机科学和人工智能实验室（CSAIL）开发。它主要用于创建计算机视觉和机器学习应用所需的标记数据集。LabelMe让用户可以在图片上标注对象和区域，为机器学习模型提供训练数据。它支持多种标注类型，如矩形框、多边形和线条等。它是用 Python 编写的，并使用 Qt 作为其图形界面。
讲解mtrand.RandomState.randint low ＞= high
第一个例子生成了一个介于 0 和 10 之间（不包括 10）的随机整数，而第二个示例生成了一个形状为 (3, 2) 的二维数组，其中的元素是介于 1 和 100 之间（不包括 100）的随机整数。这样，我们就可以在实际的密码重置场景中使用 generate_reset_code() 函数来生成一个随机验证码，并将其发送给用户进行密码重置操作。这段代码的预期目标是生成一个范围为 [low, high) 的随机整数，即在 5 到 3 之间（不包括 3）生成一个整数。的问题，并生成所需范围内的随机整数。
讲解opencv检测黑色区域
本文介绍了使用OpenCV检测黑色区域的两种方法：阈值方法和颜色范围方法。阈值方法通过将图像转换为灰度图像并应用阈值处理来检测黑色区域。颜色范围方法通过在RGB或HSV颜色空间中定义合适的颜色范围来检测黑色区域。这些方法对于图像处理、目标定位和计算机视觉任务都非常有用。当用OpenCV检测黑色区域的一个实际应用场景是汽车驾驶辅助系统中的车道检测。import cv2# 转换为灰度图像# 应用阈值处理# 查找车道线轮廓# 找出最长的轮廓（假设为车道线）# 拟合多项式曲线。
讲解UserWarning: Update your Conv2D
Conv2D"告警信息是在旧版深度学习框架中使用较新的CNN模型时常见的问题。通过查阅官方文档并根据指导更新代码，我们能够适应新的API、参数或者用法，确保模型的正确性和性能。由于不同的框架和版本有所不同，我们需要根据具体情况来解决这个问题。及时更新框架和代码，保持与最新和推荐的版本保持同步，是进行深度学习研究和开发的重要环节。
讲解Unknown: Failed to get convolution algorithm. This is probably because cuDNN
"Unknown: Failed to get convolution algorithm. This is probably because cuDNN"错误通常与cuDNN库的卷积算法获取失败有关。在解决这个错误时，你需要注意cuDNN库的版本兼容性，确保正确安装和设置cuDNN库，以及更新GPU驱动程序。如果问题仍然存在，你可以尝试重新编译深度学习框架。希望本文对你解决该错误提供了一些帮助和指导。