神经网络中的分位数回归和分位数损失
在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测)”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测)”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求有95%的可能性小于或等于该值)，那么缺货数量会减少到大约20分之1。
获得这些百分位数值的机器学习方法有：
scikit-learn:GradientBoostingRegressor(loss='quantile, alpha=alpha)LightGBM: LGBMRegressor(objective='quantile', alpha=alpha)XGBoost: XGBoostRegressor(objective='reg:quantileerror', quantile_alpha=alpha) (version 2.0~)
这种”预测值落在某个范围内的可能性有多大(区间预测)”的方法都被称作分位数回归，上面的这些机器学习的方法是用了一种叫做Quantile Loss的损失。
Quantile loss是用于评估分位数回归模型性能的一种损失函数。在分位数回归中，我们不仅关注预测的中心趋势（如均值），还关注在分布的不同分位数处的预测准确性。Quantile loss允许我们根据所关注的分位数来量化预测的不确定性。
假设我们有一个预测问题，其中我们要预测一个连续型变量的分布，并且我们关注不同的分位数，例如中位数、0.25分位数、0.75分位数等。对于第q分位数，Quantile Loss定义为：
这里：
- yy 是真实值。
- yy 是模型的预测值。
- qq 是目标分位数，取值范围为0,10,1。
这个损失函数的核心思想是，当模型的预测值超过真实值时，损失是预测值与真实值的差值乘以q。当预测值低于真实值时，损失是预测值与真实值的差值乘以1−q。这确保了对于不同的分位数，我们有不同的惩罚。如果我们更关心较小分位数（例如，中位数），我们会设定较小的q，反之亦然。
用Pytorch实现分位数损失
下面是一个使用Pytorch将分位数损失定义为自定义损失函数的示例。
importtorch
defquantile_loss(y_true, y_pred, quantile):
errors=y_true-y_pred
loss=torch.mean(torch.max((quantile-1) *errors, quantile*errors))
returnloss
对于训练来说，跟正常的训练方法一样：
for epoch in range(num_epochs):
for batch_x, batch_y in dataloader:
optimizer.zero_grad()
outputs = model(batch_x)
loss = quantile_loss(outputs, batch_y, quantile)
loss.backward()
optimizer.step()
让我们看看这个自定义的损失函数是否如预期的那样工作。
Pytorch分位数损失测试
首先，我们尝试为x生成均匀随机分布(-5~5)，为y生成与x指数成比例的正态随机分布，看看是否可以从x预测y的分位数点。
# Generate dummy data
num_samples = 10000
shape = (num_samples, 1)
torch.manual_seed(0)
# x is uniform random from -5 to 5
# y is random normal distribution * exp(scaled x)
x_tensor = torch.rand(shape) * 10 - 5
x_scaled = x_tensor / 5
y_tensor = torch.randn(shape) * torch.exp(x_scaled)
# Convert values to NumPy array (for graphs)
x = x_tensor.numpy()
y = y_tensor.numpy()
网络结构很简单，两个中间层64个节点+每层relu。在没有任何正则化或提前停止的情况下使用100次epoch。待预测的四分位数(百分位数)在列中为[0.500,0.700,0.950,0.990,0.995]，在行中为批大小[1,4,16,64,256]，总共有25个预测。在10,000个训练数据实例(蓝色)中，低于预测输出值(红色)的实例的比率在图中被标记为“实际”值。
低于指定百分位数值的样本百分比通常接近指定值，并且输出分位数预测的是非常直接的。
再考虑一个稍微复杂的例子，其中y=clip(x， - 2,2) + randn。其中clip(x， - 2,2)是剪辑函数(将值限制在指定范围内)。当数字超出给定范围时，该函数将其限制到最近的边界（如果将范围设置为-2到2，并输入-5的输入值，该函数将返回-2;如果输入10，它将返回2)，而randn是遵循正态分布的随机数。网络结构和其他设置与前一种情况相同。
与前一种情况一样，低于指定百分位数值的样本百分比通常接近指定值。分位数预测的理想形状总是左上角图中红线的形状。它应该随着指定的百分位数的增加而平行向上移动。当移动到图的右下方时，预测的红线呈现出更线性的形状，这不是一个理想的结果。
让我们用一个更复杂的形状，我们的目标是y=2sin(x) + randn。其他设置与前一种情况相同。
可以看到低于指定百分位数值的样本百分比通常接近指定值。当向5x5图的右下方移动时，分位数预测的形状偏离了正弦形状。在图的右下方，预测值的红线变得更加线性。
如何选择Q
我们看到，如果设置过高的quantile，会得到扁平化的值，那么如何判断使用Quantile Loss得到的结果是否“扁平”，如何“避免扁平呢”?
检测“扁平化”的方法之一是一起计算第50、68和95个百分位值，并检查这些值之间的关系，即使要获得的最终值是99.5百分位值。如果样本分布服从正态分布，以μ为均值，σ为标准差
在μ±σ区间内的概率约为68；在μ±2σ区间内的概率约为95；在μ±3σ区间内的概率约为99.7
如果第68百分位-第50百分位、第95百分位-第50百分位和99.5百分位-第50百分位值的比值明显偏离1:2:3，我们可以确定偏离的百分位值已经“变平”。
避免扁平化”的第一种方法是减少批量大小，如上面的实验所示。较小的批量大小避免了这个问题，并且不太可能产生平坦的预测。但是减少批大小也有缺点，比如收敛不稳定和增加训练时间，所以它只是有时一个容易采用的选择。
第二种方法是在同一批次中收集相似的样本，而不是随机生成批次。这避免了“在批内低于和高于预测值的样本比例与指定的百分位数值之间的平衡”。
最后"扁平化"是无法避免的，我们只能进行缓解，下列符号用于下列方程。
- P0:第50个百分位值
- P1:第68个百分位值
- P2:第95百分位值
- P3: 99.5百分位值
使用上述变量，可以使用以下流程图获得适当的99.5%百分位数值。
总结
分位数回归是一种强大的统计工具，对于那些关注数据分布中不同区域的问题，以及需要更加灵活建模的情况，都是一种有价值的方法。
本文将介绍了在神经网络种自定义损失实现分位数回归，并且介绍了如何检测和缓解预测结果的"扁平化"问题。Quantile loss在一些应用中很有用，特别是在金融领域的风险管理问题中，因为它提供了一个在不同分位数下评估模型性能的方法。
https://avoid.overfit.cn/post/e64a72a342af4aeda08b249ebca2c214
作者：Shiro Matsumoto
相关文章：
Yolov11-detect训练自己的数据集
至此，整个YOLOv11的训练预测阶段完成，与YOLOv8差不多。欢迎各位批评指正。
YOLOv10训练自己的数据集
至此，整个YOLOv10的训练预测阶段完成，与YOLOv8差不多。欢迎各位批评指正。
YOLOv10环境搭建、模型预测和ONNX推理
运行后会在文件yolov10s.pt存放路径下生成一个的yolov10s.onnxONNX模型文件。安装完成之后，我们简单执行下推理命令测试下效果，默认读取。终端，进入base环境，创建新环境。（1）onnx模型转换。
YOLOv7-Pose 姿态估计-环境搭建和推理
终端，进入base环境，创建新环境，我这里创建的是p38t17(python3.8，pytorch1.7)安装pytorch：（网络环境比较差时，耗时会比较长）下载好后打开yolov7-pose源码包。imgpath：需要预测的图片的存放路径。modelpath:模型的存放路径。Yolov7-pose权重下载。打开工程后，进入设置。
深度学习硬件基础：CPU与GPU
CPU：叫做中央处理器（central processing unit）作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。[^3]可以形象的理解为有25%的ALU(运算单元)、有25%的Control(控制单元)、50%的Cache(缓存单元)GPU：叫做图形处理器。
YOLOv8-Detect训练CoCo数据集+自己的数据集
至此，整个训练预测阶段完成。此过程同样可以在linux系统上进行，在数据准备过程中需要仔细，保证最后得到的数据准确，最好是用显卡进行训练。有问题评论区见！
基于深度学习的细胞感染性识别与判定
通过引入深度学习技术，我们能够更精准地识别细胞是否受到感染，为医生提供更及时的信息，有助于制定更有效的治疗方案。基于深度学习的方法通过学习大量样本，能够自动提取特征并进行准确的感染性判定，为医学研究提供了更高效和可靠的手段。通过引入先进的深度学习技术，我们能够实现更快速、准确的感染性判定，为医学研究和临床实践提供更为可靠的工具。其准确性和效率将为医学研究带来新的突破，为疾病的早期诊断和治疗提供更可靠的支持。通过大规模的训练，模型能够学到细胞感染的特征，并在未知数据上做出准确的预测。
Jetson AGX Orin安装archiconda、Pytorch
Jetson AGX Orin安装archiconda、Pytorch
windows安装conda环境，开发openai应用准备，运行第一个ai程序
作者开发第一个openai应用的环境准备、第一个openai程序调用成功，做个记录，希望帮助新来的你。第一次能成功运行的openai程序，狠开心。
一文详解TensorFlow模型迁移及模型训练实操步骤
当前业界很多训练脚本是基于TensorFlow的Python API进行开发的，默认运行在CPU/GPU/TPU上，为了使这些脚本能够利用昇腾AI处理器的强大算力执行训练，需要对TensorFlow的训练脚本进行迁移。
将 OpenCV 与 gdb 驱动的 IDE 结合使用
能力这个漂亮的打印机可以显示元素类型、标志和（可能被截断的）矩阵。众所周知，它可以在 Clion、VS Code 和 gdb 中工作。Clion 示例安装移入 .放在方便的地方，重命名并移动到您的个人文件夹中。将“source”行更改为指向您的路径。如果系统中安装的 python 3 版本与 gdb 中的版本不匹配，请使用完全相同的版本创建一个新的虚拟环境，相应地安装并更改 python3 的路径。用法调试器中以前缀为前缀的字段是为方便起见而添加的伪字段，其余字段保持原样。
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝（TensorRT及NCNN部署）
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝（TensorRT及NCNN部署）2021.10.30 复现TPH-YOLOv52021.10.31 完成替换backbone为Ghostnet2021.11.02 完成替换backbone为Shufflenetv22021.11.05 完成替换backbone为Mobilenetv3Small2021.11.10 完成EagleEye对YOLOv5系列剪枝支持2021.11.14 完成MQBench对YOLOv5系列量
PyTorch中nn.Module的继承类中方法foward是自动执行的么？
在 PyTorch的 nn.Module中，forward方法并不是自动执行的，但它是在模型进行前向传播时必须调用的一个方法。当你实例化一个继承自torch.nn.Module的自定义类并传入输入数据时，需要通过调用该实例来实现前向传播计算，这实际上会隐式地调用forward方法。
文本挖掘的几种常用的方法
1. 文本预处理：首先对文本数据进行清洗和预处理，如去除停用词（如“的”、“是”等常用词）、标点符号和特殊字符，并进行词干化或词形还原等操作，以减少数据噪声和提取更有意义的特征。3. 文本分类：将文本数据分为不同的类别或标签。文本挖掘是一种通过自动化地发现、提取和分析大量文本数据中的有趣模式、关联和知识的技术。这些示例代码只是简单的演示了各种方法的使用方式，具体的实现还需要根据具体的需求和数据进行适当的调整和优化。8. 文本生成：使用统计模型或深度学习模型生成新的文本，如机器翻译、文本摘要和对话系统等。
智能革命：揭秘AI如何重塑创新与效率的未来
智能革命：揭秘AI如何重塑创新与效率的未来
一文搞懂深度信念网络！DBN概念介绍与Pytorch实战
深度信念网络（Deep Belief Networks, DBNs）是一种深度学习模型，代表了一种重要的技术创新，具有几个关键特点和突出能力。首先，DBNs是由多层受限玻尔兹曼机（Restricted Boltzmann Machines, RBMs）堆叠而成的生成模型。这种多层结构使得DBNs能够捕获数据中的高层次抽象特征，对于复杂的数据结构具有强大的表征能力。其次，DBNs采用无监督预训练的方式逐层训练模型。
人工智能在现代科技中的应用和未来发展趋势
未来，深度学习将进一步发展，能够应用于更多的领域，如自动驾驶、智能制造和医疗辅助等。图像识别和计算机视觉：人工智能在图像识别和计算机视觉领域取得了巨大突破，能够自动识别和分类图像中的物体和场景。未来，随着人工智能技术的发展，自动化和机器人技术将实现更高的智能化程度，能够完成更加复杂的任务。语音识别和自然语言处理：人工智能已经实现了高度准确的语音识别技术，使得我们可以通过语音与智能助理交互，如苹果的Siri和亚马逊的Alexa。未来，语音识别技术将变得更加智能和自然，能够理解和回答更加复杂的问题。
在云计算环境中，如何利用 AI 改进云计算系统和数据库系统性能
2023年我想大家讨论最多，热度最大的技术领域就是 AIGC 了，AI绘画的兴起，ChatGPT的火爆，在微软背后推手的 OpenAI 大战 Google几回合后，国内各种的大语言模型产品也随之各家百花齐放，什么文心一言、通义千问、科大讯飞的星火以及华为的盘古等等，一下子国内也涌现出几十种人工智能的大语言模型产品。ChatGPT 爆火之后，你是否有冷静的思考过 AIGC 的兴起对我们有哪些机遇与挑战？我们如何将AI 应用到我们现有的工作学习中？_aigc k8s
基于神经网络——鸢尾花识别（Iris）
鸢尾花识别是学习AI入门的案例，这里和大家分享下使用Tensorflow2框架，编写程序，获取鸢尾花数据，搭建神经网络，最后训练和识别鸢尾花。
深度学习知识点全面总结
深度学习定义：一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类：有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等； 无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。深度神经网络的基本思想是通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。神经网络的计算主要有两种：前向传播（foward propagation, FP）作用于每一层的输入，通过逐层计算得到输出结果；
为什么深度学习神经网络可以学习任何东西
尽管如此，神经网络在处理一些对计算机而言极具挑战性的任务上表现出色，特别是在需要直觉和模糊逻辑的领域，如计算机视觉和自然语言处理，神经网络已经彻底改变了这些领域的面貌。在探讨神经网络如何学习的过程中，我们首先遇到了一个基本问题：如果我们不完全知道一个函数的形式，只知道它的部分输入和输出值，我们能否对这个函数进行逆向工程？重要的是，只要知道了这个函数，就可以针对任意输入x计算出对应的输出y。一种简单而有力的思考世界的方式，通过结合简单的计算，我们可以让计算机构造任何我们想要的功能，神经网络，从本质上讲，
如何使用JuiceSSH实现手机端远程连接Linux服务器
处于内网的虚拟机如何被外网访问呢?如何手机就能访问虚拟机呢?cpolar+JuiceSSH 实现手机端远程连接Linux虚拟机(内网穿透,手机端连接Linux虚拟机)
深度学习与神经网络
神经网络是一种模拟人脑神经元行为的计算模型，神经网络由大量的神经元（在计算领域中常被称为“节点”或“单元”）组成，并且这些神经元被分为不同的层，分别为输入层、隐藏层和输出层。每一个神经元都与前一层的所有神经元相连接，连接的强度（或权重）代表了该连接的重要性。神经元接收前一层神经元的信息（这些信息经过权重加权），然后通过激活函数（如Sigmoid、ReLU等）处理，将结果传递到下一层。输入层接收原始数据，隐藏层负责处理这些数据，而输出层则将处理后的结果输出。
程序，进程，线程，超线程之间的联系和区别
当我们谈到计算机程序的执行时，经常会涉及到“程序”，“进程”，“线程”和“超线程”这些概念。通过理解这些概念及其之间的联系和区别，可以帮助我们更好地理解计算机程序的执行方式和并发处理机制。来源：6547网 http://www.6547.cn/blog/442。
绝地求生电脑版的最低配置要求？
更好的方式是通过官方的渠道购买游戏账号，并遵守游戏的规则和使用协议，以保证自己的游戏体验和账号安全性。但请注意，游戏的配置要求可能随着游戏的更新而有所改变，建议您在购买或升级电脑时，参考官方的配置要求以获得最佳游戏体验。如果您的电脑配备了更高性能的处理器，游戏的运行体验将更为流畅。绝地求生是一款较为复杂的游戏，需要较大的内存来加载游戏资源并确保游戏的流畅运行。所以在安装游戏之前，确保您的电脑有足够的存储空间。这些推荐配置可以使您在绝地求生中获得更高的帧率和更好的画面表现，提供更加顺畅和逼真的游戏体验。
labelme安装与使用教程（内附一键运行包和转格式代码）
Labelme是一个开源的图像标注工具，由麻省理工学院的计算机科学和人工智能实验室（CSAIL）开发。它主要用于创建计算机视觉和机器学习应用所需的标记数据集。LabelMe让用户可以在图片上标注对象和区域，为机器学习模型提供训练数据。它支持多种标注类型，如矩形框、多边形和线条等。它是用 Python 编写的，并使用 Qt 作为其图形界面。
讲解mtrand.RandomState.randint low ＞= high
第一个例子生成了一个介于 0 和 10 之间（不包括 10）的随机整数，而第二个示例生成了一个形状为 (3, 2) 的二维数组，其中的元素是介于 1 和 100 之间（不包括 100）的随机整数。这样，我们就可以在实际的密码重置场景中使用 generate_reset_code() 函数来生成一个随机验证码，并将其发送给用户进行密码重置操作。这段代码的预期目标是生成一个范围为 [low, high) 的随机整数，即在 5 到 3 之间（不包括 3）生成一个整数。的问题，并生成所需范围内的随机整数。
讲解opencv检测黑色区域
本文介绍了使用OpenCV检测黑色区域的两种方法：阈值方法和颜色范围方法。阈值方法通过将图像转换为灰度图像并应用阈值处理来检测黑色区域。颜色范围方法通过在RGB或HSV颜色空间中定义合适的颜色范围来检测黑色区域。这些方法对于图像处理、目标定位和计算机视觉任务都非常有用。当用OpenCV检测黑色区域的一个实际应用场景是汽车驾驶辅助系统中的车道检测。import cv2# 转换为灰度图像# 应用阈值处理# 查找车道线轮廓# 找出最长的轮廓（假设为车道线）# 拟合多项式曲线。
讲解UserWarning: Update your Conv2D
Conv2D"告警信息是在旧版深度学习框架中使用较新的CNN模型时常见的问题。通过查阅官方文档并根据指导更新代码，我们能够适应新的API、参数或者用法，确保模型的正确性和性能。由于不同的框架和版本有所不同，我们需要根据具体情况来解决这个问题。及时更新框架和代码，保持与最新和推荐的版本保持同步，是进行深度学习研究和开发的重要环节。
讲解Unknown: Failed to get convolution algorithm. This is probably because cuDNN
"Unknown: Failed to get convolution algorithm. This is probably because cuDNN"错误通常与cuDNN库的卷积算法获取失败有关。在解决这个错误时，你需要注意cuDNN库的版本兼容性，确保正确安装和设置cuDNN库，以及更新GPU驱动程序。如果问题仍然存在，你可以尝试重新编译深度学习框架。希望本文对你解决该错误提供了一些帮助和指导。