当前位置: 首页 > 编程日记 > 正文

3行Python代码就能获取海量数据?

一谈起数据分析,首先想到的就是数据,没有数据,谈何分析。

毕竟好的菜肴,没有好的原材料,是很难做的~

所以本期小F就给大家分享一个获取数据的方法,只需三行代码就能搞定。

「GoPUP」,大佬造的轮子,大概有100+的免费数据接口。

GitHub:https://github.com/justinzm/gopup

使用文档:http://doc.gopup.cn/#/README

主要有指数数据、宏观经济数据、新经济数据、微博KOL数据、信息数据、生活数据、疫情数据等。

# 安装gopup
pip install gopup  --upgrade

安装成功后,就能使用了。

01 微博指数

获取指定关键词的微博指数。

# 微博指数
import gopup as gp
df_index = gp.weibo_index(word="马保国", time_type="1month")
print(df_index)

time_type="1month"; 1hour, 1day, 1month, 3month 选其一。

三行Python代码实现数据获取。

02 百度指数

获取指定关键词的百度搜索指数。

# 百度指数
import gopup as gp
cookie = "此处输入您在网页端登录百度指数后的 cookie 数据"
index_df = gp.baidu_search_index(word="马保国", start_date='2020-11-15', end_date='2020-11-25', cookie=cookie)
print(index_df)

需要登陆百度指数,获取你的Cookie。

设置关键词,时间起始,就能获取到马保国老师的热度数据了。

后面还有百度资讯、媒体、需求图谱、人群年龄、性别、兴趣分布数据接口,就不一一介绍了。

感兴趣的同学可以自行去查看文档。

03 头条指数

获取指定关键词的头条指数。

# 头条指数
import gopup as gp
index_df = gp.toutiao_index(keyword="马保国", start_date='20201115', end_date='20201125')
print(index_df)

接口挂了,不知为何~

还有相关性、情感、地域、城市、年龄、性别、用户阅读兴趣分析数据等接口。

04 谷歌数据

需要通过代理才能使用,不过上面这三类已经完全够用了。

# 谷歌数据
import gopup as gp
index_df = gp.google_index(keyword="马保国", start_date='2020-11-15T10', end_date='2020-11-25T23')
print(index_df)

05 宏观经济数据

有一个杠杆率的数据可以使用。

# 杠杆数据
import gopup as gp
df_index = gp.marco_cmlrd()
print(df_index)

不懂经济学,所以不明觉厉。

06 新经济数据

这个数据倒是蛮有趣的,主要是公司数据。

比如独角兽和倒闭公司的数据。

# 独角兽公司数据
import gopup as gp
df_index = gp.nicorn_company()
print(df_index)

一共是240家独角兽公司。

蚂蚁、字节、阿里云、滴滴,都是行业中的大佬。

# 倒闭公司数据
import gopup as gp
df_index = gp.death_company()
print(df_index)

倒闭的公司一共有6921家。

看到不少P2P的公司。

剩下还有有一个特许经营许可数据,好像是吊牌销售的意思。

前段时间看到一篇文章,讲的就是南极人吊牌销售的事情,南极人都不自己搞生产,而是代工。

07 KOL数据&信息数据

主要是微博的KOL,所以没啥用。

# KOL数据
import gopup as gp
g = gp.pro_api(token = "……")
df_index = g.weibo_user(keyword="雷军")
print(df_index)

信息数据是新闻联播文字稿。

08 中国油价数据

包含汽油和柴油的调价信息数据。

# 油价数据
import gopup as gp
df_index = gp.energy_oil_hist()
print(df_index)

时间从2000年直到2020年,细数20年油价变化。

09 百度迁徙数据

可以用来做飞线图或者OD图。

# 迁徙数据
import gopup as gp
migration_area_baidu_df = gp.migration_area_baidu(area="湖北省", indicator="move_in", date="20200201")
print(migration_area_baidu_df)

单次返回100个城市的数据。

10 影视数据

实时电影票房数据,最近又有病例出现,数据应该也比较惨淡。

这里需要一个WebDES.js文件,才能请求成功。

# 实时电影票房数据
import gopup as gp
df_index = gp.realtime_boxoffice()
print(df_index)

「如果声音不记得」当日1千万的票房,太少了。

单日影院数据,今年影院能倒闭一大堆。

# 单日影院数据
import gopup as gp
df_index = gp.day_cinema(date="2020-12-08")
print(df_index)

得到票房前100的数据。

最高应该是8万多的收入。

实时电视剧播映指数,天气冷了选个好剧或者综艺,窝在被窝刷起来。

# 电视剧数据
import gopup as gp
df_index = gp.realtime_tv()
print(df_index)

大秦赋,小F也在看,感觉还不错。

还有实时综艺播映指数、艺人商业价值、流量价值等数据。

11 全国高等学校数据

普通高等学校名单,包含名称、主管部门,所在省市、所在地、办学层次等信息。

# 普通高等学校数据
import gopup as gp
df_index = gp.university()
print(df_index)

一共是2631所高校。

还有成人高等学校以及高等学校详情数据。

有网易、丁香园、百度三家的疫情数据。

# 世界历史累计确诊数据
import gopup as gp
covid_163_df = gp.covid_163(indicator="世界历史累计数据")
print(covid_163_df)

目前累计207个国家有疫情出现。

全世界总共就233个国家和地区,快接近90%了。

由于数据接口太多了,小F就不一一介绍了。

查看文档:http://doc.gopup.cn/#/data/index_data

更多精彩推荐
  • 给AI系统做“安全体检”,阿里安全提出自动化AI对抗平台CAA | AAAI 2021

  • GitHub标星7000+,快速恢复像素化图像,效果惊人

  • 赠书 | AI 还原宋代皇帝,原来这么帅?!

  • 红帽"干掉" CentOS 8,CentOS Stream 上位

  • 对标鸿蒙 OS,Google 下一代操作系统 Fuchsia 源码公开!

相关文章:

c语言中int和指针和字符所占字节

Linux下 sizeof(int);int 4字节 sizeof(char);字符1字节 char * p"12345"; sizeof(p);指针占4字节

SCCM 2012 SP1系列(七)分发部署exe软件

2、exe软件分发以skydrive为例,打开SCCM控制台,展开应用程序管理,右键“包”选择“创建包”打开创建包和应用程序向导,填写部署包的相关信息,勾选“此包包含源文件”,然后点击“浏览”选择sykdrive文件位置…

关于勒索病毒的防御

关于勒索病毒的防御Windows的445漏洞与139漏洞由来已久,大面积暴发只是迟早的事情。关于防御方法其实也有很多,早就满地都是了。但是快速、大量、不断网的部署防御却不容易。比如使用端口排除、删除文件与打印共享服务、修改注册表、使用防火墙、以及组策…

linux的根文件系统中的proc文件夹详解

什么是proc文件系统 |linux /proc目录介绍|proc中文手册proc文件系统是一个伪文件系统,它只存在内存当中,而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。用户和应用程序可以通过proc得到系统的信息,…

学习C语言必须知道的理论知识(第一章)

计算机语言:人和计算机都能识别的语言。 程序:就是一组计算机能识别和执行的指令叫做程序。 程序设计:从确定任务到得到结果,写出文档的全过程。 机器指令:计算机能直接识别和接受的二进制代码称为机器指令(machine instruction) …

赠书 | 实现病人数据自动分析建模,Python能做的比你想象得更多

者 | 李秋键责编 | 晋兆雨头图 | CSDN下载自视觉中国*文末有赠书福利数据表格整理等作为我们工作学习生活中最为繁琐和无趣的任务之一,消耗掉了我们的大多数时间。而今天我们就将利用Python对病人数据进行建模,并自动生成表单,从而节省了我们…

Java中元组的使用

元组在计算机领域有着特殊的意义,这个名字听起来似乎有些陌生, 平时在写代码也基本没什么应用场景, 然而, 出人意料的是, 元组跟程序设计密切相关, 可能有的同学不知道, 关系数据库中的「纪录」…

「修炼开始」一文带你入门深度学习

来源 | Jack Cui责编 | Carol封图 | CSDN下载自视觉中国前言图解 AI 算法系列教程,不仅仅是涉及深度学习基础知识,还会有强化学习、迁移学习等,再往小了讲就比如拆解目标检测算法,对抗神经网络(GAN)等等。难…

Lucene.net中文分词探究

一、中文分词方式: 中文分词几种常用的方式: A. 单字分词 单字分词,顾名思义,就是按照中文一个字一个字地进行分词。如:我们是中国人,效果:我/们/是/中/国/人。 B. …

httpd服务相关实验

实验环境: CentOS6.8 1、连接测试: 在/etc/httpd/conf/httpd.conf telnet 172.16.252.242 80 GET /index.html HTTP/1.1 Host: 172.16.252.242 # KeepAlive: Whether or not to allow persistent connections (more than # one request per connection).…

WMI使用集锦

1.WMI简介WMI是英文Windows Management Instrumentation的简写,它的功能主要是:访问本地主机的一些信息和服务,可以管理远程计算机(当然你必须要拥有足够的权限),比如:重启,关机&…

基于Ubuntu交叉编译FFmpeg Windows SDK

写在前面 FFmpeg是一个开源且跨平台的音视频解决方案,集采集、转码、流式化为一身,项目的libavcodec编解码模块和libavformat媒体格式模块,支持非常非常丰富的编解码格式和容器封装格式,是做媒体相关开发工作必须要掌握和借鉴的一…

未来2年,程序员如何吊打高学历工程师?服气!

人工智能已成为新时代的风向标,如果你是对人工智能感兴趣的互联网工作者、大学生、研究生并期望在 AI 方向发展,建议你一定要深入学习一下人工智能。因为,未来将是人工智能的时代!为什么会有这个判断呢?第一&#xff0…

元素宽高的获取

elem.clientWidth/Height 获取某个元素可视区的宽高(不包括边框); elem.offsetWidth/Height 获取某个元素的宽高(计算边框); 当元素有padding值时,上面两个方法获取的值都包括padding。 doc…

VC++技术内幕(三)

C*View <- Cview <- CWnd <- Cobject C*View 两个最重要的基类&#xff1a;CView和CWnd,CWnd提供了C*View的”窗口属性”&#xff0c;CView则提供了它和应用程序框架其他部分间的联系。 在视窗内绘图&#xff1a; OnDraw成员函数&#xff1a; 是CView类中的虚成员函数…

用ASP.NET如何读取NT用户名

公司有个最近要开发一个小系统,是采用ASP.NET开发,现在被一难题卡住了. 需实现功能: 用户登录进来后系统自动取得用户名&#xff0c;这样就不用用户再登录了&#xff0c; 方便用户使用&#xff0c;并根据用户名取他的权限. 难点: 现在读NT用户名读不倒. 折腾了大半…

《赛博朋克2077》是捏脸游戏?上科大学生社团开发了一款赛博“滤镜”

作者 | eEhyQx出品 | AI科技大本营现象级大作《赛博朋克2077》终于没有跳票顺利发布了&#xff01;你通关了吗&#xff1f;来自上海科技大学的学生社团GeekPie打造了一款全新的“滤镜”&#xff0c;CyberMe。只需上传一张照片&#xff0c;一秒将你带入夜之城&#xff01;上传一…

vue父组件调用子组件的方法

vue组件与组件通信有如下几种情况&#xff1a; 平行组件父组件与子组件子组件与父组件它们之间通信有几种方法有&#xff1a; props自定义事件vuex今天我们聊一下父组件调用子组件的一种方法 parent.vue <template><div><h1>我是父组件</h1><child …

Ajax无刷新实现图片切换特效

1.页面cs代码usingSystem;usingSystem.Data;usingSystem.Configuration;usingSystem.Web;usingSystem.Web.Security;usingSystem.Web.UI;usingSystem.Web.UI.WebControls;usingSystem.Web.UI.WebControls.WebParts;usingSystem.Web.UI.HtmlControls;usingAjaxPro;publicpartial…

授权管理【学习笔记】《卓有成效的管理者》 第二章 掌握自己的时间

每日一贴,今天的内容关键字为授权管理 比拟《领导力》那本书&#xff0c;德鲁克这本书可操作性更强一些。 管理别人之前&#xff0c;先管理好自己&#xff1b;管理好自己&#xff0c;首先是管理好自己的时光。其实个人时光管理&#xff0c;有专门的书籍&#xff0c;在公司里&am…

再不参与就晚了!!2020年结束前最后一波内测福利!人人有份!

各位程序猿们都下载CSDN官方出品的插件了吧&#xff1f;什么&#xff1f;还有不知道插件是什么的同学&#xff1f;&#xff1f;你错过了太多&#xff01;更酷更高效的浏览器插件&#xff0c;一键万能操作&#xff0c;新标签页极简个性&#xff0c;让你的工作效率UP UP UP&#…

Node.js Express 框架 Express

Express 简介 Express 是一个简洁而灵活的 node.js Web应用框架, 提供了一系列强大特性帮助你创建各种 Web 应用&#xff0c;和丰富的 HTTP 工具。 使用 Express 可以快速地搭建一个完整功能的网站。 Express 框架核心特性&#xff1a; 可以设置中间件来响应 HTTP 请求。 定义…

Ajax实现无刷新树

1.建立一个aspx页面html代码<html xmlns"http://www.w3.org/1999/xhtml"><head id"Head1"runat"server"><title>小山</title><link type"text/css"href"../../Styles/tree_css/tree.css"rel&quo…

GEMM性能提升200倍,AutoKernel算子优化工具正式开源

作者 | OPEN AI LAB 研究员 吕春莹出品 | AI科技大本营头图 | CSDN下载自视觉中国随着AI技术的快速发展&#xff0c;深度学习在各个领域得到了广泛应用。深度学习模型能否成功在终端落地应用&#xff0c;满足产品需求&#xff0c;一个关键的指标就是神经网络模型的推理性能。于…

MySQL的log_bin和sql_log_bin 到底有什么区别?

2019独角兽企业重金招聘Python工程师标准>>> log_bin:二进制日志。 二进制日志的作用&#xff1a; 1&#xff1a;数据恢复 如果你的数据库出问题了&#xff0c;而你之前有过备份&#xff0c;那么可以看日志文件&#xff0c;找出是哪个命令导致你的数据库出问题了&a…

Ajax实现在textbox中输入内容,动态从数据库中模糊查询显示到下拉框中

功能&#xff1a;在textbox中输入内容&#xff0c;动态从数据库模糊查询显示到下拉框中&#xff0c;以供选择1.建立一aspx页面&#xff0c;html代码 <HTML><HEAD><title>WebForm1</title><SCRIPT language"javascript">//城市-------…

数据连接linux网络编程之TCP/IP基础(四):TCP连接的建立和断开、滑动窗口

在写这篇文章之前&#xff0c;xxx已经写过了几篇关于改数据连接主题的文章,想要了解的朋友可以去翻一下之前的文章 一、TCP段格式&#xff1a; TCP的段格式如下图所示 源端口号与目标端口号 源端口号和目标端口号&#xff0c;加上IP首部的源IP地址和目标IP地址唯一确定一个TCP连…

鲲鹏高校行太原站来袭,两大课程一站式掌握未来潮流

未来是算力比拼的时代&#xff0c;也是属于象牙塔中莘莘学子们的时代。北京时间12月14日&#xff0c;为了进一步培养计算产业人才&#xff0c;拓展鲲鹏产业生态影响力&#xff0c;由中北大学信息商务学院主办&#xff0c;山西鲲鹏生态创新中心承办的鲲鹏高校行系列活动在中北大…

R语言通过loess去除某个变量对数据的影响

当我们想研究不同sample的某个变量A之间的差异时&#xff0c;往往会因为其它一些变量B对该变量的固有影响&#xff0c;而影响不同sample变量A的比较&#xff0c;这个时候需要对sample变量A进行标准化之后才能进行比较。标准化的方法是对sample 的 A变量和B变量进行loess回归&am…

Ajax实现DataGrid/DataList动态ToolTip

1.建立一aspx页面&#xff0c;html代码2.cs代码 usingSystem.Data.SqlClient;usingSystem.IO;protectedvoidPage_Load(objectsender, EventArgs e) { if (!Page.IsPostBack) { BindData(); } if (ID ! "") …