python空值填充_pandas | DataFrame基础运算以及空值填充
今天是pandas数据处理专题的第四篇文章，我们一起来聊聊DataFrame的基本运算。
上一篇文章当中我们介绍了DataFrame数据结构当中一些常用的索引的使用方法，比如iloc、loc以及逻辑索引等等。今天的文章我们来看看DataFrame的一些基本运算。
数据对齐
我们可以计算两个DataFrame的加和，pandas会自动将这两个DataFrame进行数据对齐，如果对不上的数据会被置为Nan(not a number)。
首先我们来创建两个DataFrame：
import numpy as np
import pandas as pd
df1 = pd.DataFrame(np.arange(9).reshape((3, 3)), columns=list('abc'), index=['1', '2', '3'])
df2 = pd.DataFrame(np.arange(12).reshape((4, 3)), columns=list('abd'), index=['2', '3', '4', '5'])
得到的结果和我们设想的一致，其实只是通过numpy数组创建DataFrame，然后指定index和columns而已，这应该算是很基础的用法了。
然后我们将两个DataFrame相加，会得到：
我们发现pandas将两个DataFrame加起来合并了之后，凡是没有在两个DataFrame都出现的位置就会被置为Nan。这其实是很有道理的，实际上不只是加法，我们可以计算两个DataFrame的加减乘除的四则运算都是可以的。如果是计算两个DataFrame相除的话，那么除了对应不上的数据会被置为Nan之外，除零这个行为也会导致异常值的发生(可能不一定是Nan，而是inf)。
fill_value
如果我们要对两个DataFrame进行运算，那么我们当然不会希望出现空值。这个时候就需要对空值进行填充了，我们直接使用运算符进行运算是没办法传递参数进行填充的，这个时候我们需要使用DataFrame当中为我们提供的算术方法。
DataFrame当中常用的运算符有这么几种：
add、sub、div这些我们都很好理解，那么这里的radd、rsub方法又是什么意思呢，为什么前面要加上一个r呢？
看起来费解，但是说白了一文不值，radd是用来翻转参数的。举个例子，比如说我们希望得到DataFrame当中所有元素的倒数，我们可以写成1 / df。由于1本身并不是一个DataFrame，所以我们不能用1来呼叫DataFrame当中的方法，也就不能传递参数，为了解决这种情况，我们可以把1 / df写成df.rdiv(1)，这样我们就可以在其中传递参数了。
由于在算除法的过程当中发生了除零，所以我们得到了一个inf，它表示无穷大。
我们可以在add、div这些方法当中传入一个fill_value的参数，这个参数可以在计算之前对于一边出现缺失值的情况进行填充。也就是说对于对于只在一个DataFrame中缺失的位置会被替换成我们指定的值，如果在两个DataFrame都缺失，那么依然还会是Nan。
我们对比下结果就能发现了，相加之后的(1, d), (4, c)以及(5, c)的位置都是Nan，因为df1和df2两个DataFrame当中这些位置都是空值，所以没有被填充。
fill_value这个参数在很多api当中都有出现，比如reindex等，用法都是一样的，我们在查阅api文档的时候可以注意一下。
那么对于这种填充了之后还出现的空值我们应该怎么办呢？难道只能手动找到这些位置进行填充吗？当然是不现实的，pandas当中还为我们提供了专门解决空值的api。
空值api
在填充空值之前，我们首先要做的是发现空值。针对这个问题，我们有isna这个api，它会返回一个bool型的DataFrame，DataFrame当中的每一个位置表示了原DataFrame对应的位置是否是空值。
dropna
当然只是发现是否是空值肯定是不够的，我们有时候会希望不要空值的出现，这个时候我们可以选择drop掉空值。针对这种情况，我们可以使用DataFrame当中的dropna方法。
我们发现使用了dropna之后，出现了空值的行都被抛弃了。只保留了没有空值的行，有时候我们希望抛弃是的列而不是行，这个时候我们可以通过传入axis参数进行控制。
这样我们得到的就是不含空值的列，除了可以控制行列之外，我们还可以控制执行drop的严格程度。我们可以通过how这个参数来判断，how支持两种值传入，一种是'all'，一种是'any'。all表示只有在某一行或者是某一列全为空值的时候才会抛弃，any与之对应就是只要出现了空值就会抛弃。默认不填的话认为是any，一般情况下我们也用不到这个参数，大概有个印象就可以了。
fillna
pandas除了可以drop含有空值的数据之外，当然也可以用来填充空值，事实上这也是最常用的方法。
我们可以很简单地传入一个具体的值用来填充：
fillna会返回一个新的DataFrame，其中所有的Nan值会被替换成我们指定的值。如果我们不希望它返回一个新的DataFrame，而是直接在原数据进行修改的话，我们可以使用inplace参数，表明这是一个inplace的操作，那么pandas将会在原DataFrame上进行修改。
df3.fillna(3, inplace=True)
除了填充具体的值以外，我们也可以和一些计算结合起来算出来应该填充的值。比如说我们可以计算出某一列的均值、最大值、最小值等各种计算来填充。fillna这个函数不仅可以使用在DataFrame上，也可以使用在Series上，所以我们可以针对DataFrame中的某一列或者是某些列进行填充：
除了可以计算出均值、最大最小值等各种值来进行填充之外，还可以指定使用缺失值的前一行或者是后一行的值来填充。实现这个功能需要用到method这个参数，它有两个接收值，ffill表示用前一行的值来进行填充，bfill表示使用后一行的值填充。
我们可以看到，当我们使用ffill填充的时候，对于第一行的数据来说由于它没有前一行了，所以它的Nan会被保留。同样当我们使用bfill的时候，最后一行也无法填充。
总结
今天的文章当中我们主要介绍了DataFrame的一些基本运算，比如最基础的四则运算。在进行四则运算的时候由于DataFrame之间可能存在行列索引不能对齐的情况，这样计算得到的结果会出现空值，所以我们需要对空值进行处理。我们可以在进行计算的时候通过传入fill_value进行填充，也可以在计算之后对结果进行fillna填充。
在实际的运用当中，我们一般很少会直接对两个DataFrame进行加减运算，但是DataFrame中出现空值是家常便饭的事情。因此对于空值的填充和处理非常重要，可以说是学习中的重点，大家千万注意。
相关文章：
Python学习之路基础篇--10Python基础，函数进阶
1 命名空间 对于Python 来说命名空间一共有三种 1 内置命名空间 —— Python 解释器 就是Python 解释器一启动就可以使用的名字，储存在内置命名空间中。内置的名字在启动解释器的时候被加载进内存里 2 全局命名空间 —— 我们所命名的，但不是函数中的代码…
C语言中整型浮点型在计算机中的存储
第一次写博客，遣词造句有点菜，算是一次简单梳理，慢慢学习人家的博客风格，随着学习的深入再做修改。 本次学习的是C语言在VS下的编译调试，对于初学者两说，首先说一下如何监控变量，以及监控变量在…
判断交换机性能好坏的九个因素
【文章摘要】把握千兆交换机的主要性能指标是关键，而判断交换机性能的好坏，需要从以下几方面的因素出发... 把握千兆交换机的主要性能指标是关键，而判断交换机性能的好坏，需要从以下几方面的因素出发： 转发技术 …
xgboost回归预测模型_偏最小二乘回归分析法 从预测角度对所建立的回归模型进行比较...
在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用一组变量(常称为自变量或预测变量)去预测另一组变量(常称为因变量或响应变量)， 除了最小二乘准则下的经典多元线性回归分析(MLR)，提取自变量组主成分的主…
win7的IE缓存，临时文件，cookies和历史记录
2019独角兽企业重金招聘Python工程师标准>>> vista、win7的缓存以及临时文件、Cookies和历史记录都在以下几个地方： 缓存: %userprofile%\AppData\Local\Microsoft\Windows\Temporary Internet Files Temp: %userprofile%\AppData\Local\Temp Cookies: %…
Sql Server函数全解(四)日期和时间函数
阅读目录 1.获取系统当前日期的函数getDate();2.返回UTC日期的函数UTCDATE()3.获取天数的函数DAY(d)4.获取月份的函数MONTH(d)5.获取年份的函数YEAR(d)6.获取日期中指定部分字符串值的函数DATENAME(dp,d)7.获取日期中指定部分的整数值的函数DATEPART(dp,d)8.计算日期和时间的函…
关于python的比赛_【蓝桥杯】——python集团的比赛技巧,Python,组
【蓝桥杯】—— Python组比赛技巧蓝桥杯是大学生IT学科赛事，由工业和信息化部人才交流中心主办，所以对于大学生还说还是非常值得去参加的，2020年第十一届蓝桥杯新增了大学Python组，不分组别，第一届没有历届的真题&…
杭电 HOJ 1312 Red and Black 解题报告
搜索，bfs。依旧用队列做。边界处懒得处理，全部初始化为-1。当然，0也可以。AC代码如下： #include<iostream> #include<deque> using namespace std;struct Point {int x,y; } x,y;int main() {char str[22];int i,j,n,…
pfile和spfile的区别
pfile和spfile的区别 pfile 默认的名称为“init例程名.ora”文件路径：/app/oracle/product/10.2.0/dbs，这是一个文本文件，可以用任何文本编辑工具打开。spfile 默认的名称为“spfile例程名.ora”文件路径：/app/oracle/product/10…
json操作2
import jsonfopen(a.txt,w,encodingutf-8)goods{ 宝马:111111, 奔驰:222222}resjson.dumps(goods,ensure_asciiFalse)#把字典转成jsonf.write(res) json.dump(goods,f,ensure_asciiFalse)#把字典转成json,json会帮你write一次 ----颜色不一样的代码一致运行结果ÿ…
缓冲区和数组的输入输出问题
最近编写程序的时候一直被数据的输入输出所困扰，由此写篇博文总结一下最近遇到的问题和解决方法，错误之处望指正。 1.数组使用的一些语法注意事项 （1）数组的定义 一维数组：类型名 数组名 [常量表达式] 常量表达式中可…
目前python主要应用领域零售_python3读取HDA零售企业数据（一）
#-*- coding:utf-8 -*-# 下载河南FDA各药品经营企业目录import urllib.requestimport urllib.parseimport reimport osimport http.cookiejarheader {Connection: Keep-Alive,Accept: application/x-ms-application, image/jpeg, application/xamlxml, image/gif, image/pjpeg…
调试webservice遇到“测试窗体只能用于使用基元类型作为参数的方法”的解决办法...
之前一直写webservice 没有遇见这种情况，因为一般返回的参数整形 字符串 之类的 都是基本类型，最多也就是把xml序列化为一个字符串返回，这次遇到了返回一个引用类型的，不能直接调试了。所以，现在只能写一个程序把webse…
EJB3.1 JBoss7.1 Eclipse3.7
为什么80%的码农都做不了架构师？>>> EJB3.1 JBoss7.1 Eclipse3.7 ------Hello World 一、环境配置： JDK：正常配置 Eclipse：正常下载，解压（V3.7） JBoss：正常下载…
NOIP2012-摆花
放题目不解释~~~~ 【试题描述】 小明的花店新开张，为了吸引顾客，他想在花店的门口摆上一排花，共m盆。通过调查顾客的喜好，小明列出了顾客最喜欢的n种花，从1到n标号。为了在门口展出更多种花，规定第i种花不能…
github提交代码却没有显示绿格子
在github上提交代码之后，进入github上面查看自己的提交，可以看看刚刚的提交内容，但是却一直没有显示绿格子，一个原因是本地git的配置邮箱和github上面的邮箱不一致。 解决办法是，打开本地的git bash，然后直…
spark+openfire即时通讯工具二次开发参考文档
摘自: http://gmd20.blog.163.com/blog/static/168439232010527525542/ 其中Spark是开源的基于XMPP协议的即时通讯工具，公司最近也换到用这个了，说是在服务器（openfire）上可以备份消息，然后可以看员工的聊天记录 smac…
python selenium 等待页面加载完毕_Selenium_等待页面加载完毕
隐式等待WebDriver driver newFirefoxDriver();driver.get("www.baidu.com");driver.manage().timeouts().implicitlyWait(20, TimeUnit.SECONDS);WebElement element driver.findElement(By.cssSelector(".abc"));((JavascriptExecutor)driver).executeS…
TechEd 2012奥兰多！
亚特兰大TechEd 2011如同昨天的事情，今天又无比期待奥兰多的TechEd 2012！如果可能的话，我将继续为大家分享关于奥兰多TechEd 2012 的现场见闻！ 转载于:https://blog.51cto.com/suhua/845796
【常见CPU架构对比】维基百科
Comparison of instruction set architectures https://en.wikipedia.org/wiki/Comparison_of_instruction_set_architectures转载于:https://www.cnblogs.com/timeObjserver/p/9441242.html
Python基础学习1（Python的Windows和Linux的安装及简单学习）
一Python的安装 1.Windows下安装Python （1）windows 命令行的几个常见的命令 dir：查看当前目录下的所有文件，以及目录 cd NAME：进入到NAME目录下（tab键自动补全） D: 切换到D盘 type NUL…
Python Tutorial（十）：浏览标准库（一）
10.1 操作系统接口 os模块提供很多函数用于和操作系统的交互： 确定使用import os风格而不是from os import *。这将避免os.open()被内建的open()函数遮住，它的操作截然不同。 内建的函数dir()和help()作为交互助手对于大的模块像os是非常有用的ÿ…
学业水平考试b能上985吗_河南单招哪些学院好考？哪些专业能录取？
高职单招的录取规则是什么?在符合报考条件的前提下，考试是由两部分组成：文化素质评价职业适应性测试、职业技能测试。文化素质评价大多院校采用学业水平考试等级成绩折合一定的分值计入。有些学校采用现场考试语数外三门，以实际成绩计入。职…
单例模式Java实现
为什么80%的码农都做不了架构师？>>> public class Singleton {private static Singleton instance null;// 同步时加锁的静态对象private static final Object OL new Object();private Singleton() {// Class initialize}/** 在多线程环境下执行时的…
Go环境搭建、Sublime Text 3 安装Go语言相关插件gosublime
Go 语言环境安装 1.brew install go 默认安装，被安装了/usr/local/Cellar/go 目录并自设置了环境变量。 2.go env 可查看目前的go的环境变量 3.配置一个GOPATH环境变量，是工作目录。 根据约定，GOPATH下需要建立3个目录： bin 存储编…
ABAP性能实例七例
一、SQL Interface 1.Select ... Where vs. Select Check 用Select … Where语句效率比Select Check语句要高，例如： SELECT * FROM SBOOK INTO SBOOK_WA WHERE CARRID LH AND CONNID 0400. ENDSELECT. SELECT * FROM SBOOK INTO SBOOK_WA. CHECK: SB…
C语言中打印‘%’
C语言中打印‘%’不能直接printf("%")，这里的%有特殊含义的，要想打印的话，需要输入printf("%%")，两个%才可以将它打印出来。C语言中的其他的特殊字符，以后再慢慢做整理。
vba 字体颜色_多掌握一些VBA语句，让自己书写代码更加顺畅
VBA 是好东西，对于身在职场的人员，或者是积极打拼的创业者，是数据分析的首选，他可以实现量身定做，解决一些规律性强的问题。或者代替人处理一些可以描述出有逻辑关系的数据分析。多掌握一些VBA语句，让自己书…
编写jQueryUI插件(widget)
使用jQueryUI的widget来写插件，相比于基本的jquery插件有一些好处： * 方便实现继承，代码重用 * 默认是单例 * widget已经给你实现好的一些常用方法，例如destroy 带来好处的同时也带来了荆棘和陷阱，本文的目的就是梳理这…
mail 发送email
（一）首先安装ssmpt和mailutils： sudo apt-get install ssmtp mailutils （二）接下来编辑配置文件sudo gedit /etc/ssmtp/ssmtp.conf rootYOUR_PERSONAL_MAILDOMAIN mailhubsmtp.gmail.com:465 rewriteDomaingmail.com A…