通过三个直观步骤理解ROC曲线
作者 | Valeria Cortez
来源 | DeepHub IMBA
ROC曲线是一个分类模型效果好坏评判的的可视化表示。
在这篇文章中，我将分三个步骤头开始构建ROC曲线。
步骤1：获取分类模型预测
当我们训练一个分类模型时，我们得到得到一个结果的概率。在这种情况下，我们的例子将是偿还贷款的可能性。
概率通常在0到1之间。价值越高，这个人就越有可能偿还贷款。
下一步是找到一个临界值，将概率分类为“会偿还”或“不会偿还”。
在图1的例子中，我们选择了0.35的阈值:
所有达到或超过这个门槛的预测，都被归类为“会偿还”所有低于这个阈值的预测，被归类为“不会偿还”
然后我们看看这些预测是正确的还是错误的。有了这些信息，我们可以建立一个混淆矩阵。
所有真正积极的方面，那些真正回报的人，都是蓝点。
如果他们被归类为“会偿还”，我们有一个真正的积极(TP)如果他们被归类为“不会偿还”，我们就有了一个假阴性(FN)
所有的负的，那些没有偿还的，是红点。
如果他们被归类为“不会偿还”，我们就有了一个真正的负资产(TN)如果他们被分类为“将偿还”，我们有一个假阳性(FP)
步骤2：计算真阳性率和假阳性率
到目前为止，我们已经对所有的预测进行了分类，我们知道这些分类是否正确。有了这些，我们将计算下面两个指标:
真阳性率(TPR):从过去所有“偿还”的人，我们正确分类的百分比是多少假阳性率(FPR):从所有过去“没有偿还”的人，我们有多少百分比的错误分类
我们可以在图3中看到这些计算的公式。
下面，在图4的第二个图中，我们可以看到我们的原始示例在0.35的阈值处。此时，我们
正确分类90%的阳性，那些“回报”(TPR)40%的负面评价，那些“没有偿还”的人(FPR)
我们可以看到，TPR和FPR的结果随着阈值的增大而降低。如果我们看第一个，阈值为0
所有阳性均正确分类，因此TPR = 100%所有的阴性均被误分类，因此FPR = 100%
在最后一个图的例子中，阈值为1:
所有阳性均误诊，因此TPR = 0%所有阴性均正确分类，因此FPR = 0%
总的来说，我们可以看到这是一种取舍。当我们提高阈值时，我们会更好地对消极因素进行分类，但这是以错误地对更多积极因素进行分类为代价的。
步骤3：绘制每个截止点的TPR和FPR
为了绘制ROC曲线，我们需要计算多个不同阈值的TPR和FPR(这一步包含在所有相关库中，如scikit-learn)。
对于每个阈值，我们在x轴上绘制FPR值，在y轴上绘制TPR值。然后我们用一条线把这些点连接起来。就是这样!
下面的图5中，我们可以看到ROC曲线上的每个点是如何代表某一分类在给定截断点处的FPR和TRP。
注意，1处的阈值是如何引出第一个点(0,0)而0处的阈值是如何引出最后一个点(1,1)的。
曲线下覆盖的面积称为曲线下面积(AUC)。这是用来评价一个分类模型的性能。AUC越高，模型在区分类方面就越好。
这意味着在一个理想的世界中，我们希望我们的线覆盖大部分左上方的图形，以获得更高的AUC。
推荐阅读
一只端午节鸭蛋粽子的背后：AI 与农业
高文、张钹、杨强隔空论道：AI精度与隐私的博弈
90行Python代码，让张小龙的微信地球转起来
突发！印度封禁抖音、微信、快手等 59 款中国 App
厉害！国内大学生计算机编程第一人，一人挑战一个队，百度最年轻 T10，现创业自动驾驶
Balancer因通缩代币STA遭遇闪电贷攻击，价值50万美元资产被黑
浅谈分布式存储中的网络通信
你点的每个“在看”，我都认真当成了AI
相关文章：
JAVA 实现 快速排序算法
2019独角兽企业重金招聘Python工程师标准>>> /*** 快速排序* * param list*/public static void fastSorted(int[] list, int i, int j) {if (i > j) {return;}int needToSortLen j;int referIndex i;while (i ! j) {while (list[referIndex] < list[j] &am…
Net 下安装、调试的常见问题与错误！！！
作者：多人 出处：csdn Q:新建项目时出错：Visual Studio .NET 已检测到指定Web服务器运行的不是ASP.NET 1.1版。您将无法运行ASP.NET Web应用程序或服务。Ahttp://support.microsoft.com/default.aspx?scidkb;en-us;817267--------------…
joomla 1.7遇到的麻烦——不能删除模板的解决办法
虽然最近了解了不少的 joomla 1.7的扩展，但大多都没有什么实战经验，所以从今天开始 准备不同的试用各类插件、并以实战的方式来记录这个过程。不过，在做这些之前，我试用了几个免费的模板，感觉还可以，不过毕…
疫情排查节时86%？不会代码也能玩转模型训练？腾讯大神揭秘语音语义及AutoML黑科技 | 内含福利...
出品 | AI科技大本营（ID:rgznai100）2020年7月3日，AI ProCon 2020 AI开发者万人大会，隆重举行！作为CSDN策划并主办的系列技术「开发者大会」之一，本次大会通过线上直播的方式，吸引到了10000开发者…
js调用ios的方法
摘要 在做h5应用的时，有时有些功能js并不能实现的特别完美。比如下载进度条或上传文件进度等。如果能调用ios或者android的方法，实现进度，以及文件上传或者下载列表更好一些。如果使用第三方的js插件。又要考虑到ios和android的版本问题&…
可以弹出确认对话框的自定义Web服务器控件ConfirmButton
作者：活靶子[原创] 出处：AspxBoy.Com 经常在论坛里看到类似这样的问题：“…如何在点击删除按钮的时候弹出个确认删除对话框”。下面我们来自己写一个这样的自定义Web服务器控件!思路如下：继承System.Web.UI.WebControls.Butt…
阿里巴巴副总裁司罗：达摩院如何搭建NLP技术体系？
出品 | AI科技大本营（ID:rgznai100）司罗把人工智能分为四个层面。在计算智能层面，近年来取得了一定成就，而在更高层面的感知、认知和创造智能上还在探索中。感知智能是指找出自然界的实体，比如找到新闻、故事中的人名、…
数字化校园passport
公共表：aspnetdb->membership,role,..... 用户表：用户名，昵称，真实姓名。tel,qq,mobile,email,用户类别 用户类别： 教师 学生 家长 贵宾 校友 网友 学年学期 班级 年级段 备课级组 处室 教师相关表： 任课…
fullPage教程 -- 整屏滚动效果插件 fullpage详解
为什么80%的码农都做不了架构师？>>> 本文为 H5EDU 机构官方 HTML5培训 教程，主要介绍：fullPage教程 -- 整屏滚动效果插件 fullpage详解 1、引用文件[html] view plain copy print?在CODE上查看代码片派生到我的代码片 <link …
用DataReader还是DataSet?
作者：Jonathan Goodyear 出处：网络 我经常听到有人问这个问题：“在ASP.NET Web应用程序中我应该用DataReader类还是DataSet类呢？”在很多文章以及新闻组的贴子中我经常看到这样的误解，即认为DataReaderÿ…
张钹院士：探索第三代人工智能，需要勇闯无人区的人才
整理 | 夕颜出品 | AI科技大本营（ID:rgznai100）【导读】7 月 3-4 日，由 CSDN 主办的第三届 AI 开发者大会（AI ProCon 2020）在线上举行。本次大会有超万人报名参与，参与人群覆盖 50 领域、4000 家企业。其中…
C#删除文件夹
我们知道在c#中如果一个文件夹中有内容的话，直接使用Directory.Delete(文件夹)；是删不掉的，那么如何进行删除？下面这个两个方法可以帮助你。 1、采用递归的方式，先删除文件夹中的文件，然后删除空文件夹。 p…
PHPNow升级PHP版本为5.3.5的方法
在WIN上有时候需要测试一些PHP程序，又不会自行独立配置环境，那么PHPNow是非常好的选择，这篇文章主要为大家分享下如果将phpnow的php版本升级为5.3.5在WIN上有时候需要测试一些PHP程序，又不会自行独立配置环境，那么PHPN…
针对《评人工智能如何走向新阶段》一文，继续发布国内外的跟贴留言427-438条如下：
427，SNN机理性测试 SNN利用时空处理，脉冲稀疏性和较高的内部神经元带宽来最大化神经形态计算的能量效率。尽管可以在这种情况下使用常规的基于硅的技术，但最终的神经元突触电路需要多个晶体管和复杂的布局，从而限制了集成密度。论…
C#程序设计语言Version2.0简介
[翻译] lover_P 2004-01-26 ------------------------------------------------------------------------------------------------------------------------------------------------------------ 本文翻译自Microsoft官方参考材料，提供给我们的计算机科学技术网的…
腾讯布局移动应用商店 总下载量累计达40亿次
腾讯布局移动应用商店 总下载量累计达40亿次 腾讯应用中心产品总监祝涛29日在上海表示，移动互联网近年来在国内快速发展，腾讯应用中心作为国内最大的软件商店之一，截至目前总下载量已超过40亿次。 祝涛在当天由腾讯应用中心举行的一个开发者/…
iOS开源JSON解析库MJExtension
iOS中JSON与NSObject互转有两种方式：1、iOS自带类NSJSONSerialization 2、第三方开源库SBJSON、JSONKit、MJExtension。项目中一直用MJExtension来进行JSON与Model的互转，非常方便、强大，接下来介绍一下这个轻量、强大的开源库。 1、什么是MJ…
针对《评人工智能如何走向新阶段》一文，继续发布国内外的跟贴留言439-448条如下：
439，彩虹一号无人机实现人类永不落地的追求 日媒：中国亮出杀手锏 世界各国一直在研究提高飞机的续航能力 国内研制的彩虹一号无人机采用人工智能和其他高新技术，飞行高度30000米，并终于研制成功实现人类永不落地的追求。 440&a…
Asp.Net中查询域名的Whois信息
作者：活靶子 出处：AspxBoy.Com 演示http://www.aspxboy.com/whois.aspx拷贝代码请到这里 http://www.aspxboy.com/WhoisCode.htm<% Page Language"C#" %><% Import Namespace"System.Net.Sockets" %><% Import …
Python 安装 xlsx模块
为什么80%的码农都做不了架构师？>>> Python 安装 xlsx模块 很多时候自动化测试时测试用例是写在excel中的如何读取转换成字典是一个比较关键的问题，使用pip命令安装模块如下：pip install openpyxl 验证使用的python代码如下&…
利用WebClient和WebRequest类获得网页源代码C#
作者：不详 请速与本人联系 GetPageHtml.aspx<% Page language"c#" validateRequest "false" Codebehind"GetPageHtml.aspx.cs" AutoEventWireup"false" Inherits"eMeng.Exam.GetPageHtml" %><!DO…
针对《评人工智能如何走向新阶段》一文，继续发布国内外的跟贴留言449-456条如下：
449，IBM发布重磅产品：推出新的人工智能能力。IBM研发AI向用户提供自动化的运维（生态）服务。 IBM新任CEO Arvind Krishna5月6日在IBM举办的“Think digital”大会上说：IBM致力于帮助企业（用户）加…
POI如何使用已有Excel作为模板二三事
关于POIPOI是Apache的一个开源项目，起初的目标是允许用户使用java代码来对Excel进行操作，发展到今天POI本身支持的范围已经逐步扩展到对Microsoft Office主要产品，包括：Excel\Word\PPT\Visio的全面支持，目前稳定版本为…
Graphviz样例之无向图
Graphviz是一个开源软件，有源码，支持不同平台。linux系统下使用XDot程序显示dot格式的文件。 Graphviz显示图形时，可以选择不同的策略进行布局和布线显示图形。 Graphviz的官方网站（点击进入）：Graphviz | G…
使用command-privilege给H3C、华为设备的用户帐号授权
一、H3C设备的权限默认分为0-3这四种级别 数值越小，用户的级别越低 (1)访问权限0 级 : ping、tracert、telnet 等网络诊断小程序，不可以dis current (2)监控权限 1级: dis current、reset、可开debug这种高级系统诊断工具，不能进入system视图…
针对《评人工智能如何走向新阶段》一文，继续发布国内外的跟贴留言457-465条如下：
457，常识推理攻关进展 人工智能要变得像人一样聪明常识推理能力是必备的 机器缺乏常识推理，何时到了破局的时候？！这是迄今为止一直困扰人工智能50多年的难题。 OpenAI于去年发布GPT—2，它是一个具有15亿参数的通用语…
使用 Global.asax 文件
作者：未知 请速与本人联系 Global.asax 文件 除了编写 UI 代码外，开发人员还可以将应用程序级别的逻辑和事件处理代码添加到他们的 Web 应用程序中。此代码不处理 UI 的生成，并且一般不为响应个别页请求而被调用。相反，它负…
安装hadoop下的sqoop1.99.3及配置问题全解决
2016年8月27日，解决sqoop先下载的是sqoop1.99.7，结果配置的时候，出现了没有server/conf目录，以及启动时出现无法配置错误./bin/sqoop.sh server startyqubuntu:/opt/sqoop-1.99.7$ ./bin/sqoop.sh server startSetting conf dir: …
让Asp.NET的DataGrid可排序、可选择、可分页
‘***************************************************************‘Author: 李洪根‘MAIL: lihonggen0gci-corp.com‘专栏： http://www.csdn.net/develop/author/netauthor/lihonggen0/‘如需引用，请指明出处！ CSDN论坛VB版欢迎您&#…
asp.net mvc 3 unobtrusive client side validation not working in IE
http://stackoverflow.com/questions/5909260/jquery-1-6-form-validate-not-working-in-ie7-ie8 http://stackoverflow.com/questions/7008970/asp-net-mvc-3-unobtrusive-client-side-validation-not-working-in-ie