两个使用 Pandas 读取异常数据结构 Excel 的方法，拿走不谢！
作者 | 周萝卜
来源 | 萝卜大杂烩
通常情况下，我们使用 Pandas 来读取 Excel 数据，可以很方便的把数据转化为 DataFrame 类型。但是现实情况往往很骨干，当我们遇到结构不是特别良好的 Excel 的时候，常规的 Pandas 读取操作就不怎么好用了，今天我们就来看两个读取非常规结构 Excel 数据的例子
本文使用的测试 Excel 内容如下
文末可以获取到该文件
指定列读取
一般情况下，我们使用 read_excel 函数读取 Excel 数据时，都是默认从第 A 列开始读取的，但是对于某些 Excel 数据，往往不是从第 A 列就有数据的，此时我们需要参数 usecols 来进行规避处理
比如上面的 Excel 数据，如果我们直接使用 read_excel(src_file) 读取，会得到如下结果
我们得到了很多未命名的列以及很多我们根本不需要的列数据
此时我们可以通过 usecols 来指定读取哪些列数据
from pathlib import Path
src_file = Path.cwd() / 'shipping_tables.xlsx'df = pd.read_excel(src_file, header=1, usecols='B:F')
可以看到生成的 DataFrame 中只包含我们需要的数据，特意排除了 notes 列和 date 字段
usecols 可以接受一个 Excel 列的范围，例如 B:F 并仅读取这些列，header 参数需要一个定义标题列的整数，它的索引从0开始，所以我们传入 1，也就是 Excel 中的第 2 行
我们也可以将列定义为数字列表
df = pd.read_excel(src_file, header=1, usecols=[1,2,3,4,5])也可以通过列名称来选择所需的列数据
df = pd.read_excel(src_file,header=1,usecols=['item_type', 'order id', 'order date', 'state', 'priority'])这种做法在列的顺序改变但是列的名称不变的时候非常有用
最后，usecols 还可以接受一个可调用的函数
def column_check(x):if 'unnamed' in x.lower():return Falseif 'priority' in x.lower():return Falseif 'order' in x.lower():return Truereturn Truedf = pd.read_excel(src_file, header=1, usecols=column_check)该函数将按名称解析每一列，并且必须为每一列返回 True 或 False
当然也可以使用 lambda 表达式
cols_to_use = ['item_type', 'order id', 'order date', 'state', 'priority']
df = pd.read_excel(src_file,header=1,usecols=lambda x: x.lower() in cols_to_use)范围和表格
在某些情况下，Excel 中的数据可能会更加不确定，在我们的 Excel 数据中，我们有一个想要读取的名为 ship_cost 的表，这该怎么获取呢
在这种情况下，我们可以直接使用 openpyxl 来解析 Excel 文件并将数据转换为 pandas DataFrame
以下是使用 openpyxl（安装后）读取 Excel 文件的方法：
from openpyxl import load_workbook
import pandas as pd
from pathlib import Path
src_file = src_file = Path.cwd() / 'shipping_tables.xlsx'wb = load_workbook(filename = src_file)查看所有的 sheet 页，获取某个 sheet 页，获取 Excel 范围数据
wb.sheetnames
sheet = wb['shipping_rates']
lookup_table = sheet.tables['ship_cost']
lookup_table.ref
现在我们以及知道要加载的数据范围了， 接下来就是将该范围转换为 Pandas DataFrame
# 获取数据范围
data = sheet[lookup_table.ref]
rows_list = []# 循环获取数据
for row in data:cols = []for col in row:cols.append(col.value)rows_list.append(cols)df = pd.DataFrame(data=rows_list[1:], index=None, columns=rows_list[0])
这样我们就获取到了干净的表数据了
好了，今天的两个小知识点就分享到这里了，我们下次再见！
往
期
回
顾
资讯
AI 将有自我视觉？Facebook正在研究新系统
资讯
阿里云投入 20 亿发力操作系统
资讯
“倚天”一出，谁与争锋？阿里发布云芯片
技术
ST-GCN 实现人体姿态行为分类
分享
点收藏
点点赞
点在看
相关文章：
ArcEngine中的缩放地图
在ArcEngine地图操作中，缩放地图的功能经常用到，这里做一个小结。 缩放地图一般可分为以下几种情况： 1.缩放地图：与放大地图相对，一般是手动绘制区域或固定比例缩放，可调用命令或Expand函数来； …
【小记】批处理FOR循环中的参数/D
2019独角兽企业重金招聘Python工程师标准>>> 官方说明 FOR /D %variable IN (set) DO command [command-parameters] 如果集中包含通配符，则指定与目录名匹配，而不与文件名匹配。 栗子 REM Eg1.bat REM 与此批处理同级的目录名称全部打印出来…
php 的opcode缓存apc以及其安装
先说说php程序的执行流程吧，说明了这个，才好开始我们的优化之旅。 客户端（譬如浏览器） —》请求Get hello.php —-》cgi服务器接（譬如apache）收到请求，根据配置寻找php的处理程序（…
1024 程序员节专题论坛来袭，权威解读 MindSpore、CANN 5.0 特性和 HCIA MDC 开发者认证...
“授人以鱼不如授人以渔”，一句古话中蕴含的发展真理，我们将其套用到如今炽手可热的 AI 领域之上会发现无比适用。2018 年，华为提出了普惠 AI 的概念，降低 AI 开发门槛，让 AI 开发者获取能力，让技术走近每一…
leetcode之Reorder List
Given a singly linked list L: L0→L1→…→Ln-1→Ln,reorder it to: L0→Ln→L1→Ln-1→L2→Ln-2→… You must do this in-place without altering the nodes values. For example,Given {1,2,3,4}, reorder it to {1,4,2,3}. 这道题分三步： 1：首先将…
shiro多realm验证之——shiro实现不同身份使用不同Realm进行验证（转）
转自: http://blog.csdn.net/xiangwanpeng/article/details/54802509 (使用特定的realm实现特定的验证) 假设现在有这样一种需求：存在两张表user和admin，分别记录普通用户和管理员的信息。并且现在要实现普通用户和管理员的分开登…
前端开发中的性能那点事
前端开发中的性能那点事（一）巧用xdebug 前言： 在我们平时的php开发中，一个大的项目经过长时间的积累以后你会发现性能越来越慢，而性能到底消耗在了什么地方，常常是一个令人头疼的问题，function…
运动目标检测ViBe算法
一、运动目标检测简介 视频中的运动目标检测这一块现在的方法实在是太多了。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。先简单从视频中的背景类型来讨论。 静态背景下的目标检测，就是从序列图像中…
急缺开源人才怎么办？来看看大厂和高校怎么解决
开源，是数字中国建设的热点领域之一，也是数字经济时代的基础。在我国加速实现数字化转型的背景下，开源已经从个人行为、企业行为发展到了国家新基建的战略层面。它打破传统的组织架构与商业教条，彻底颠覆了工业经济时代的运转逻辑…
经验分享 | Burpsuite抓取非HTTP流量
使用Burp对安卓应用进行渗透测试的过程中，有时候会遇到某些流量无法拦截的情况，这些流量可能不是HTTP协议的，或者是“比较特殊”的HTTP协议(以下统称非HTTP流量)。遇到这种情况，大多数人会选择切换到Wireshark等抓包工具来分析。下…
Xdebug 配置
第一部分： 安装预编译模块安装预编译模块是很容易的。只需要将它们放到一个目录中，并将下面的内容添加到php.ini中：（不要忘记更改路径和文件名为你自己的值，并确信你使用的是完整路）zend_extension_ts &qu…
yield学习续：yield return迭代块在Unity3D中的应用——协程
必读好文推荐： Unity协程（Coroutine）原理深入剖析 Unity协程（Coroutine）原理深入剖析再续 上面的文章说得太透彻，所以这里就记一下自己的学习笔记了。 首先要说明的是，协程并不是线程࿰…
从神经元谈到深度神经网络
作者 | 泳鱼来源 | 算法进阶本文将从神经元到逻辑回归模型结构，并将其扩展到深度深度网络模型。一、谈谈智慧对于人类智慧奥秘的探索，不同时代、学科背景的人对于智慧的理解及其实现方法有着不同的思想主张。有的主张用显式逻辑体系搭建人工智能系统&…
【阿里聚安全·安全周刊】Intel芯片级安全漏洞事件|macOS存在漏洞
关键词：Intel漏洞丨mac OS漏洞丨三星漏洞丨安卓安全丨CPU漏洞丨phpMyAdmin漏洞丨iOS设备|安卓恶意软件检测|Burpsuite 本周资讯top3 【Intel漏洞】芯片级安全漏洞后续：谷歌表示不止Intel，每个1995年后的处理器都可能受影响 1月3日，…
BigPipe：高性能的“流水线技术”网页
原文地址：http://www.facebook.com/note.php?note_id389414033919 译文地址：http://isd.tencent.com/?p2419 作者：蒋长浩 Facebook的网站速度做为最关键的公司任务之一。在2009年，我们成功地实现了Facebook网站速度提升两倍 。…
超硬核全套Java视频教程(学习路线+免费视频+配套资料)
文内福利，扫码免费领取Hello，各位锋迷们，我是小千。很多学习Java的小伙伴都在找的全套免费java视频教程，这里全都有，资料齐全，拿来吧你！零基础学Java的学习路线图是怎样的？ÿ…
手机触屏滑动图片切换插件swiper.js
今天给大家分享一款手机触屏滑动图片切换插件swiper.js是一款swiper手机触屏滑动图片幻灯片，适合各种尺寸。效果图如下： 在线预览 源码下载 实现的代码。 html代码： <div style"max-width: 640px; margin: 0 auto;"><di…
Nginx防盗链，Nginx访问控制， Nginx解析php相关配置， Nginx代理
2019独角兽企业重金招聘Python工程师标准>>> Nginx防盗链 Nginx防盗链配置需要与不记录日志和过期时间结合在一起，因为都用到了location。 打开配置文件，注释掉一部分内容（红框上方），添加内容（红…
web高性能开发系列随笔
在BlogJava里写了一些关于高性能WEB开发的随笔，因为都是跟前端技术相关(html,http,js,css等)，所以也贴到博客园来，吸收下人气。 1、 HTTP服务器. 2、性能测试工具推荐 3、 图片篇. 4、 如何加载JS，JS应该放在什么位置. 5、…
《Effective C++》第8章 定制new和delete-读书笔记
章节回顾： 《Effective C》第1章 让自己习惯C-读书笔记 《Effective C》第2章 构造/析构/赋值运算（1）-读书笔记 《Effective C》第2章 构造/析构/赋值运算（2）-读书笔记 《Effective C》第3章 资源管理（1&am…
观点：AI 与自动化是矛盾的
作者：cerebralab.com译者：张雨佳原文标题：AI and automation are at odds想象一下，我们生活在一个完美、和谐的地方，所有人在某一天同意让电脑代替人类驾驶汽车，而不是像现在逐步推进自动驾驶。那么&#x…
kaggle之数据分析从业者用户画像分析
数据为kaggle社区发布的数据分析从业者问卷调查分析报告，其中涵盖了关于该行业不同维度的问题及调查结果。本文的目的为提取有用的数据，进行描述性展示。帮助新从业的人员更全方位地了解这个行业。 参考学习视频:http://www.tianshansoft.com/ 数据集&am…
mysql读写分离（MySQL Proxy 安装和使用）
一、必备软件： 1、LUA 可以去LUA的官方下载：www.lua.org 2、MySQL Proxy 这里有好多二进制版本。 http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/ 或者去MYSQL官方下载源代码。 3、测试过程中取消了B和C的REPLICATION。这样SQL语句…
微软副总裁、Kubernetes 头号贡献者的他，给云原生带来奇迹！
我们做了一个街头采访，调查路人眼中的程序员到底是怎样的？提到程序员，大家似乎都有刻板印象：总是格子衬衫牛仔裤双肩包打扮，总是埋头敲代码，加班是常态……谁说程序员呆板木讷，只会埋头敲一行行…
查询Oracle中字段名带.的数据
SDE中的TT_L线层会有SHAPE.LEN这样的字段，使用： SQL>select shape.len from tt_l; 或 SQL>select t.shape.len from tt_l t; 是查询不出来的。 需要这样查询： SQL>select t."SHAPE"."LEN" from tt_l t; 转载于:…
再谈session共享
之前一篇已经写过了《springboot中redis的使用和分布式session共享问题》，但是示例不完全，本文加以完善。 使用spring-session-data-redis解决session共享，而不需要再引入其他jar即可 集成简单，上手迅速。 项目结构 1.pngpom <…
使用MySQL Proxy解决MySQL主从同步延迟
MySQL的主从同步机制非常方便的解决了高并发读的应用需求，给Web方 面开发带来了极大的便利。但这种方式有个比较大的缺陷在于MySQL的同步机制是依赖Slave主动向Master发请求来获取数据的，而且由于服务器负 载、网络拥堵等方面的原因，Master与…
Python 操作 MongoDB 数据库！
作者 |黄伟呢来源 |数据分析与统计学之美MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。先来看看MySQL与MongoDB 概念区别：今天的重点，就是要为大家讲述如何使用Python操…
Linux下用汇编输出Hello, world
下列是Intel汇编语法实现的 Hello, world!程序。 ;; hello.asm ;; nasm -f elf hello.asm; will output hello.o ;; ld -s -o hello hello.o;; section, same to segment segment .data ; 数据段声明, 下列代码将放在数据段中msg db "Hello, world!", 0xA ; 要…
利用bigpipe机制实现页面模块的异步渲染 chunked技术
bigpipe基于HTTP/1.1 支持的chunked编码，可以由浏览器接收到服务器发送的chunked块后，立即解析该块代码。因为chunked编码使消息主体成块发送，每块有自己的大小指示器，在所有的块之后会紧接着一个可选的包含实体头域的尾部。这种编…