收藏 | 提高数据处理效率的 Pandas 函数方法
作者：俊欣
来源：关于数据分析与可视化
前言
大家好，这里是俊欣，今天和大家来分享几个Pandas方法可以有效地帮助我们在数据分析与数据清洗过程当中提高效率，加快工作的进程，希望大家看了之后会有收获。
首先导入模块和读取数据，这回用到的数据集中有各种各样类型的数据,链接为：https://www.kaggle.com/dgomonov/new-york-city-airbnb-open-data
import pandas as pd
df = pd.read_csv("AB_NYC_2019.csv")
df.head()
01
pandas.factorize()
针对离散型的数据，我们通常用“sklearn”模块中的“LabelEncoder”方法来对其进行打标签，而在“pandas”模块中也有相对应的方法来对处理，“factorize”函数可以将离散型的数据映射为一组数字，相同的离散型数据映射为相同的数字，例如我们针对数据集当中的“room_type”这一列来进行处理
pd.factorize(df['room_type'])结果返回的是元组形式的数据，由两部分组成，其中的第一部分是根据离散值映射完成后的数字，另一部分则是具体的离散值数据。
02
pandas.get_dummies()
在上面的例子当中，我们对离散值进行了编码，编码的结果有大小的意义，例如针对尺码的离散值：【X，XL，XXL】我们映射出来的结果是{X: 1，XL: 2，XXL: 3}，但是有时候离散值取值之间没有大小的意义，例如颜色：【红色、蓝色、黄色】等，而这个时候用上述的方法就不太合适了，我们会使用独热编码的方式来对离散值进行编码。
所谓独热编码，就是将离散型特征的每一种取值都看成一种状态，若某一个特征当中有N个不相同的取值，则我们就可以将该特征抽象成N中不同的状态。而在“Pandas”模块当中有相应的方法来实现上面的功能：
pd.get_dummies(df['room_type'])
## 参数prefix: 给输出的列添加前缀
## drop_first: 将第一列的给去掉
我们将它与源数据进行合并的话
df.join(pd.get_dummies(df['room_type']))
03
pandas.qcut()
有时候我们需要对数据集中的某一列进行分箱处理，也就是把一段连续的数据切分成若干段，每一段的值看成一个分类。例如我们把学生年龄按15岁划分成一组，0-15岁的叫做少年，16-39岁的叫做青年，而31-45岁的叫做壮年。在这个过程当中我们把连续的年龄分成三个类别，“少年”、“青年”、和“壮年”就是各个类别的名称或者叫做是标签。在“Pandas”模块当中也有相对应的方法来实现分箱操作。
pd.qcut(df['price'],4) # 第二个参数确定的是要分成几段
当然出来的结果是Interval类型的数据，例如
pd.qcut(df['price'],4)[0]
-------------------------------------
## output
## Interval(106.0, 175.0, closed='right')我们可以将其变成字符串的格式
pd.qcut(df['price'],4)[0]
-------------------------------------
## output
## Interval(106.0, 175.0, closed='right')
04
pandas.drop_duplicates()
数据集当中存在的重复值可能会对机器学习以及深度学习的模型造成不好的影响，当遇到这样的情况的时候，我们使用“pandas”模块当中的“drop_duplicates”的方法来去除重复值，我们先人为的制造一些重复值出来，
df.loc[1] = df.loc[0]
df.loc[2] = df.loc[0]
df.loc[3] = df.loc[0]
df.head()
df.drop_duplicates(inplace=True) # 前面几行的重复值被去除掉了
df.head()
05
pandas.clip()
由于极值的存在，经常会对模型的训练结果产生较大的影响，而在“pandas”模块中有针对极值的处理方法，“clip”方法中对具体的连续型的数据设定范围，要是遇到超过所规定范围的值，则会对其进行替换，替换成所设定范围中的上限与下限，例如下面的例子，我们针对数据集当中的“price”这一列进行极值的处理
df['price'] = df['price'].clip(100,140)
df.head(8)超过140的值被替换成了140了，没到100的值被100给代替了
更多精彩推荐
大手笔 ！Julia Computing 获 2400 万美元融资，前 Snowflake CEO 加入董事会芯片开发语言：Verilog 在左，Chisel 在右深度学习实现场景字符识别模型｜代码干货
相关文章：
如何让两个div在同一行显示?一个float搞定
最近在学习div和css，遇到了一些问题也解决了很多以前以为很难搞定的问题。比如：如何让两个div显示在同一行呢？（不是用table表格，table对SE不太友好）其实，<div> 是一个块级元素，…
使用sudo进入root权限，以及防止root密码被恶意篡改
一、前言 sudo是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具，减少了root用户的登陆和管理时间，提高了安全性。Sudo不是对shell的一个代替，它是面向每个命令的。 而防止root用户密码被恶意更改，主要是用户基本上…
赠书 | 干货！用 Python 动手学强化学习
01了解强化学习新闻报道中很少将强化学 习与机器学习、深度学习、人工智能这些关键词区分开来，所以我们要先介绍什么是强化学习，再讲解其基本机制。强化学习与机器学习、人工智能这些关键词之间的关系；强化学习相对于其他机器学习方法的优点和…
php如何调用c接口无错版
1.首先是要安装好PHP 2.进入PHP的下载解压目录下的ext目录 #cd /root/php-5.3.6/ext #./ext_skel --extnamehmc 说明： ./ext_skel --extnamemodule_name module_name是你自己可以选择的扩展模块的名字，例如我选择的hmc。执行工具后会自动在ext目录下建…
onchange事件只生效一次的问题
今天遇到一个file表单元素，对onchange事件的响应问题，发现仅响应一次，网上查到解决方法，在这里转载一下文件选择框的onchange事件只在第一次改变时生效，以后再选择文件不会触发onchange事件。解决方法1：用j…
WSFC2016 SMB多通道与网络调校
SMB多通道是微软Windows Server 2012时新增的一项功能，微软SMB3.0协议的一部分，主要用于SMB文件传输时，检测到多张可通信网卡，自动使用多张网卡进行传输，提高吞吐量，链路容错。 Windows Server 2012和之前的…
一个常用的正则表达验证类
这是 風語深蓝很早以前写的一个正则表达式验证工具类，包含了一些常见的校验和支持自定义的正则表达式匹配，可以选择完全匹配，也可以获取所有匹配项。曾用它仿造Eclispe下的正则表达式插件写过一个工具。因为最近突然有几个朋友都在问这方面的…
Signal和slot的声明和连接
信号(SIGNAL)和槽(SLOT)是Qt编程的一个重要部分。这个机制可以在对象之间彼此并不了解的情况下将它们的行为联系起来。Signal和slot的声明（一）在Qt程序设计中，凡是包含signal和slot的类中都要加上Q_OBJECT的定义，下面的例子给出了…
重磅！深度学习知识总结和调参技巧开放下载了
近年来，人工智能正在进入一个蓬勃发展的新时期，这主要得益于深度学习和CV领域近年来的发展和成就。在这其中，卷积神经网络的成功也带动了更多学术和商业应用的发展和进步。为了避免“内卷”，更多人选择学习进阶，但是仍…
Oracle优化器:星型转换
Oracle 8i中引入了星型转换(star transformation)的优化器新特性以便更有效地处理星型查询。星型查询语句多用于基于星型模型设计的数据仓库应用中。星型模型的称谓源于该种模型以图形化表现时看起来形似一颗海星。这颗星的中央会由一个或多个事实表(fact tables)组成ÿ…
php安装模式mod_php和Fastcgi的选择与对比
安装php又面临到了模式的选择，以前都是选择mod_php模式，因为这样安装比较方便哈，今天突然关心起FastCGI这种模式，败毒了一把，找到了一些关于mod_php和Fastcgi的选择与对比这方面的讨论，现在发出来留一个记号…
暴雨之后，评估与重建可以用这个数据集
作者：神经星星来源：HyperAI超神经场景描述：连续多日的暴雨给郑州和河南部分城市，带来了严重的洪涝灾害，牵动了全国人民的心。灾难面前，现阶段的科技和具体解决方案，也能发挥出关键作用。关键词&…
从jQuery的缓存到事件监听
很久以前，我还在cnblogs里面逛的时候就提出过一个问题（刚找了半天没找到）。不知道大家有没有发现，用jQuery选择器"选择"之后的DOM上会添加jQuery*********属性。 <DIV idd1 jQuery1294122065250"1">abc…
对一些品种数量校正
update sphwph set shl1-1 where spidSPH00002323 and piciJHAYMA00017433_5 and hwHWI00000022 update sphwph set shl-11 where spidSPH00002323 and piciJHAYMA00021159_2 and hwHWI00000022 3月7日调拨后少了398 update sphwph set shl0398 where piciJHAYMA00024241_1 an…
收藏喜+1！值得使用的100个Python小技巧
目前Python可以说是非常流行，在目前的编程语言中，Python的抽象程度是最高的，是最接近自然语言的，很容易上手。你可以用它来完成很多任务，比如数据科学、机器学习、Web开发、脚本编写、自动化等。下面，给大家…
一款基jquery超炫的动画导航菜单
今天给大家分享一款基jquery超炫的动画导航菜单。这款导航菜单，初始时页面中间一个按钮，单击按钮，菜单从左侧飞入页中。再次单击按钮，导航飞入左侧消息。动画效果很非常炫。一起看下效果图： 在线预览 源码下载 实现的…
如何用C#动态编译、执行代码
在开始之前，先熟悉几个类及部分属性、方法：CSharpCodeProvider、ICodeCompiler、CompilerParameters、CompilerResults、Assembly。 一、CSharpCodeProvider 提供对C#代码生成器和代码编译器的实例的访问。如果要动态生成VB代码，可…
【解决】MySql 5.6 运行崩溃错误
【解决】MySql 5.6 运行崩溃错误 最近弄了一台云主机，配置是20G磁盘空间，1G运行内存的Linux服务器。在上面安装了LAMP（RHEL7.2Apache2.4MySql5.6PHP5.6），然后搭建wordpress网站，可是网站运行没多久…
制作安全网站的checklist
原作者charlee、原始链接 http://tech.idv2.com/2008/04/19/secure-website-checklist/ fcicq最近在IPA上看到一篇安全相关的文章，它的最末尾有个checklist，于是催我把它翻译了。前几天比较忙，周末没什么事儿了，就翻译一下吧。 原…
百变冰冰！手把手教你实现CVPR2021最新妆容迁移算法
作者：小潘师兄来源：AI算法与图像处理简介在本文中，我们从不同的角度将妆容迁移问题分解为两步提取-分配过程。为此，我们提出了一种基于风格的可控GAN模型，该模型由三个部分组成，每个部分分别对应于目标风格…
Vlan 4096的限制原因
为什么80%的码农都做不了架构师？>>> VLAN配置的最大可能值为4094，它的由来如下所述： IEEE802.1q协议也就是“Virtual Bridged Local Area Networks”（虚拟桥接局域网，简称虚拟局域网）协议&#…
Hive 数据模型
Hive 数据模型 Hive 数据表有五种类型：内部表，外部表，分区表，桶表，视图表，默认以 tab 分隔 * MySQL (Oracle) 表默认以逗号分隔，因此，要想导入 MySQL(Oracle) 数据，需要设…
完整中英文世界国家级联下拉列表插件【前端版】
为什么80%的码农都做不了架构师？>>> 这个小东西是之前小项目上临时增加功能的产物，那时候在网上找了很久都没有能用的插件，要么是数据残缺少得可怜，还有就是实现手段非常低效不可维护那种，各种奇拔问题&am…
何时使用margin和padding？
margin和padding的意义相信大家都很清楚，可是在具体应用中，到底应该使用哪一个，就比较难于判断了。 这篇文章 说得挺清楚的，在这里翻译一下，供参考。 何时应当使用margin 需要在border外侧添加空白时。 空白处不需要…
10年IT老兵给新人程序员的几点建议
【CSDN 编者按】对于很多计算机专业的同学而言，“进大厂”已经成为毕业后职业道路的首选。但是面试官最喜欢什么样的应届生你知道吗？在校期间应该为找工作做哪些准备？除了技术好，在职场中还有哪些必备软实力？今天&…
asp.net文件上传下载的简单实现
使用FileUpload上传： protected void btnUpload_Click(object sender, EventArgs e) { if (FileUpload1.HasFile) { /*通过文件扩展名判断文件类型*/ string fileExt System.IO.Path.Ge…
JAVA数组的定义及用法
数组是有序数据的集合，数组中的每一个元素具有同样的数组名和下标来唯一地确定数组中的元素。 1. 一维数组 1.1 一维数组的定义 type arrayName[]; type[] arrayName; 当中类型(type)能够为Java中随意的数据类型，包含简单类型组合类型，数组名…
英特尔公布新技术路线图，将为 AWS、高通代工芯片
编译|刘春霖出品|AI科技大本营(ID:rgznai100)图源|IC photo今天英特尔宣布其旗下的工厂将开始制造高通芯片，并公布了公司有史以来最详细的制程工艺和封装技术路线图，希望在 2025 年前赶上台积电、三星电子。除了公布其近十多年来首个全新晶体管架构 Ribb…
epoll相关资料整理
http://www.cppblog.com/converse/archive/2008/10/13/63928.htmlepoll相关资料整理 学习epoll有一段时间了,最近终于有一个服务器采用了epoll模型,从中积累了一些epoll的资料.个人感觉目前可以找到的epoll相关的资料太少了,因为epoll仅被linux 2.6以上版本内核所支持,它的应用…
18.绝对路径和相对路径
什么是绝对路径（Absolute Pathname）？ 1.绝对路径必定由“/”开头 2.绝对路径是为档案/文件的所在位置做指向 3.在任何时候，都可以用绝对路径来找到我们想要的文件 PS：绝对路径只对当前所在目录有效。 什么是相对路径&a…