5 亿微博数据疑泄露，Python 爬虫如何避免踩天坑？
作者 | 马超
来源 | CSDN（ID：CSDNnews）
3月19日，默安科技CTO魏兴国发微博称，微博数据泄露了不少用户的手机号，当中涉及不少微博认证的明星和企业家。
亦有网友在他的微博评论区表示：“有超过5.38亿条微博用户信息在暗网出售，其中1.72亿条有账户基本信息，售价0.177比特币。涉及到的账号信息包括用户ID、账号发布的微博数、粉丝数、关注数、性别、地理位置等。”
目前，这条微博已经删除。
针对此事，微博方面回应称，数据泄露属实，目前微博已经及时强化安全策略，微博一直有提供根据通讯录手机号查询微博好友昵称的服务，用户授权后可以使用该服务。
但微博不提供用户性别和身份证号等信息，也没有“根据用户昵称查手机号”的服务。因此这起数据泄露不涉及身份证、密码，对微博服务没有影响。
据此我们可以判断出这次微博个人信息泄漏的安全事件，其原因应该是通讯录好友匹配攻击导致的。很多社交App都有通过通讯录匹配好友的功能。攻击者可以伪造本地通讯录来获得手机号到微博用户账号的关联。比如通过伪造的手机号匹配好友，并不断列举，就能关联出所有用户帐号到微博ID到手机号的关系。
本次事件纠其本质其实是利用合法API的不合理使用来套取、收集信息的过程，简单来讲就是一个爬虫引发的血案。
有关爬虫的是是非非实在太多了，据笔者观察2019年几乎所有的大数据即爬虫公司全部被查，包括新颜科技与魔蝎科技的CEO被查、公信宝被封、聚信立也宣布将暂停爬虫服务、国内大数据风控平台龙头同盾科技也被曝解散爬虫部门。
这其中最惹人关注的事件，还是那位来自巧达科技的程序员，因为写了一段爬虫程序，非法从某招聘网站上下载简历信息而被起诉，引发了全网关于程序员面向“监狱”编程的大讨论。
而站在笔者角度来看，有关爬虫的争议和信息泄漏防护需要从数据持有方和数据爬取方两个角度来审视。
数据持有方的盾：DLP数据泄露防护系统
这次信息泄漏事件发生后，我们可以看到微博第一时间就回应不涉及身份证、密码等敏感信息的外流，我相信这背后的底气还是来自于微博对其数据泄漏防护（Data leakage prevention, DLP）的信心。
远程办公大背景下，先要做好内部预防：据国家计算机信息安全测评中心数据显示，重要资料被黑客窃取和被内部员工泄露的比例为1：99.也就是说有互联网出口的企业，其内部重要机密通过网络泄密而造成重大损失的事件中，只有1%是被黑客窃取造成的，而都是由于内部员工有意或者无意之间泄露而造成的。尤其是在目前远程办公的背景下，这种由员工引发的信息泄漏情况其实风险更高，企业在数据边界建立一套安全防护体系十分重要。
员工终端出口防控：部分大厂都有一套数据沙盒运行或者加密机制，用来阻止数据由使用的客户端流出，并且一般在DLP的整体解决方案中，还会使用图像处理技术还会将员工屏幕图像的频域中加入特定指纹，以追踪员工泄漏截屏信息。记得在2017年阿里脚本秒杀月饼的事件中，就有人因泄漏截图信息而被处理，这背后其实就是频域指纹的技术。再有就是对内网中包括U盘、移动硬盘、红外、WIFI、蓝牙等输出端口实施监控，对拷贝到移动存储设备的文档进行强制加密。
互联网出口防控：而针对互联网出口DLP技术几乎和AI图像处理与NLP技术同步发展，一般都会使用最新的分类模型，监控异常流量，防止数据外泄，这里还是再次强调一下系统上云的重要性。
数据爬取方之道：避免面向监狱编程
根据最新的流量分析，互联网40%左右的流量都是机器人也就是爬虫发起的，站在数据爬取方的角度，必须关注爬虫技术的法律边界，“技术无罪”的号往往不能保护广大程序员。
而有关爬虫的法律问题，笔者特意咨询了法务同事，根据我国的《刑法》、《网络安全法》的规定，爬虫可能涉及到的犯罪行为有如下情况：
1．首先侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，不论情节严重与否，构成非法侵入计算机信息系统罪。
2．违反国家有关规定，向他人出售或者提供公民个人信息，构成“侵犯公民个人信息罪”。也就是说通过出售个人信息获利或者侵入含有国家机密的系统均会构成犯罪，但这两种情况均不会是无心之过，但是以下规定需要格外注意。
3．违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，构成犯罪。也就是如果使用爬虫的抓取力度过大，造成被攫取的网站无法正常运行的情况，并造成严重后果的也会构成犯罪。我们前文所述巧达科技的程序员也是因为爬虫流量太大，造成目标网络接近瘫痪，而涉嫌触犯此条被捕。
也就是说避免面向监狱编程的三原则是
1． 不要触碰国家事务、国防建设的系统
2． 不要触碰个人信息，更不能贩卖个人信息
3． 合理设置爬取流量，避免DDOS攻击式的爬虫
另外为避免其它民事纠纷，要尽量遵守Robots 协议。Robots 协议是一种存放于网站根目录下的 ASCII 编码的文本文件，它通常告诉网络搜索引擎的漫游器也就是爬虫，此网站中的哪些内容是不应被爬虫获取的，哪些是可以被爬虫获取的。严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。
因为司法实践中一般也会考虑行业的通行规范，因此一般遵守Robots 协议得到的信息不会被认为是商业机密或者个人隐私数据。或者说遵守协议所得的信息即使涉密其泄密责任一般也不会由爬取方承担。
实际遭遇信息泄漏时应该做什么
在所有的信息泄漏中最麻烦的就是密码或者身份证信息泄漏，对此笔者有如下建议：
1． 检查自己的征信记录：如果征信记录中有异常，尤其是遭遇不明原因的贷款时，那么大概率是遇到严重的信息泄漏情况了。此时如果联系不上贷款平台，可以尽早报案，以保护自己的合法权益。
2． 解除三方平台的绑定关系：一般来说银行对于客户银行卡的保护力度还是比三方支付公司要大的，所以如遇信息泄漏，可以先解除与三方支付平台的绑定关系及关闭定时自动扣款服务，必要时再更换银行卡。
作者简介：马超，CSDN博客专家、阿里云MVP、华为云MVP，金融科技行业资深从业者，著名的国产操作系统及数据库软件的布道者。
【end】◆精彩推荐◆推荐阅读百万人学AI：CSDN重磅共建人工智能技术新生态对标Pytorch，清华团队推出自研AI框架“计图”医疗保健、零售、金融、制造业……一文带你看懂大数据对工业领域的影响！如何开发日均吸引100万活跃用户的DApp？先收藏再看！Kubernetes这么火你还不知道是啥？赶紧来看看吧~微信 iOS 版正式支持深色模式；谷歌宣布彻底取消I/O开发者大会；Visual Studio 2019 16.5发布你点的每个“在看”，我都认真当成了AI
相关文章：
GDB使用总结
经典编译参数： # cc -g -o xx xx.c 或者 # cc xx.c -g -o xx 如果调试不是进程总的程序 可以直接 #gdb 程序名即可 # i 打印行号 #break 行号 #r 重新开始调试 利用set args 命令就可以修改发送给程序的参数，而使用show args 命令…
Spring概述
Spring 是什么Spring是一个开源的轻量级Java SE（Java 标准版本号）/Java EE（Java 企业版本号）开发应用框架，其目的是用于简化企业级应用程序开发。应用程序是由一组相互协作的对象组成。而在传统应用程序开发中…
Nginx模块开发
最简单的Nginx模块开发，虽然简单，但是是最重要的第一步。 主要是看：http://blog.codinglabs.org/articles/intro-of-nginx-module-development.html 1.准备模块文件 在nginx-1.4.2安装目录新建一个自己的模块的目录 # mkdir myModule 再新…
程序猿惯用口头禅与内心真实 OS，快来看看你中招没？
作者 | 他二哥来源 | 腾讯技术工程滑动查看真实内心 OS滑动查看真实内心 OS滑动查看真实内心 OS滑动查看真实内心 OS滑动查看真实内心 OS滑动查看真实内心 OS滑动查看真实内心 OS滑动查看真实内心 OS滑动查看真实内心 OS【end】◆精彩推荐◆推荐阅读百万人学AI：CSDN…
每日学习笔记(1)
1，python2.4不支持下面这种异常处理语法 try: except: finally: 只有2.5以上才行，为此只能改成下述写法,damn fuck python 2.4... try: try: except: finally: 2,python实现单例模式的一种方法: class MyCl…
linux svn使用方法
1 安装 svn sudo apt-get install subversion 2 查看svn版本号 svn version 3 下载源代码 下面以举例 svn co svn://192.168.5.88/ erppurchase -username hming -password hming /var/www/test 4更新代码 cd /var/www/test/ svn up 当前目录下所有的文件都更新 svn up -r 200…
64% 的企业未实现智能化，5成公司算法工程师团队规模小于 10人，AI 工程师的机遇在哪里？...
整理 | 夕颜责编 | 唐小引出品 | CSDN（ID:CSDNnews）当前，人工智能技术已应用于各行各业，落地成为大家关注的核心问题。在经历了 2019 年的行业低谷期之后，无论是行业巨头还是新兴独角兽，都开始审视 AI 能够…
指针的本质--u_char*指针在Nginx源码中的应用及原因
GNU下的void *p相当于char *p 也就是移动一个字节。 下面的代码是Nginx中内存池的结构体代码，其中last和end是表示内存地址的。 last是u_char*指针类型也就是unsigned char typedef struct {u_char *last;u_char *end;ngx_pool_t …
原来这就是乡下人
来源：http://user.qzone.qq.com/313998514/blog/1215427152#!app2&viaQZ.HashRefresh&poscatalog_private 今天早晨一早就去做家教了, 原因是我的学生要去香港去学习七天, 明天就要走了, 所以为了赶时间, 今天的课就提到早晨来上. 这些都很正常, 早晨6:17我…
如何查看Apache的连接数和当前连接数
查看Apache的连接数和当前的连接数以及IP访问次数，下面有个不错的示例，大家可以参考下，希望对大家解决问题有所帮助查看了连接数和当前的连接数 复制代码 代码如下:netstat -ant | grep $ip:80 | wc -l netstat -ant | grep $ip:80 | grep ES…
linux环境insight安装与使用
去官网下载：ftp://sourceware.org/pub/insight/releases 安装步骤 # wget ftp://sourceware.org/pub/insight/releases/insight-6.8-1a.tar.bz2 # tar xvf insight-6.8-1a.tar.bz2 # cd ./ # ./configure --prefix/usr/local/insight # make 注意第一次make…
磁盘加密软件TrueCrypt知识大全（二）之创建文件型加密卷
磁盘加密软件TrueCrypt知识大全（二）之创建文件型加密卷 1、在“TrueCrypt”窗口中选择“创建加密卷（C）”按钮，在向导中选择“创建文件型加密卷”，然后一直下一步。 2、在TrueCrypt加密卷创建向导中单击“选…
你的企业在什么情况下需要人工智能？快来看看你需要具备哪些条件与能力吧！...
作者 | Anzhela Sychyk译者 | 风车云马 责编 | 徐威龙出品 | AI科技大本营（ID:rgznai100）如今有关人工智能的炒作多得令人眼花缭乱。各个行业都极力采用这种技术，以获得相对于其他企业的竞争优势——降低运营成本，并改善客户体验。…
struts2学习笔记--线程安全问题小结
在说struts2的线程安全之前,先说一下,什么是线程安全?这是一个网友讲的, 如果你的代码所在的进程中有多个线程在同时运行，而这些线程可能会同时运行这段代码。如果每次运行结果和单线程运行的结果是一样的，而且其他的变量的值也和预期的是一样的&#x…
函数指针--Nginx和Redis中两种回调函数写法
1.Nginx和Redis中两种回调函数写法 #include <stdio.h>//仿Nginx风格 //结构外声明函数指针类型 typedef void (*ngx_connection_handler_pt)(int c); //仿redis风格 typedef void redisCommandProc(int c); typedef struct { int a; //结构内定义函数指针变量pshow voi…
人生苦短，不光要用Python，还要在VSCode里用
作者 | imbennyguo出品 | CSDN博客在程序员圈子里，Visual Studio Code（以下简称VSCode）可以说是目前最火的代码编辑器之一了。它是微软出品的一款可扩展的轻量级开源编辑器，并且支持全平台系统。这些特性使得VSCode颇受欢迎&#…
从XXX 产品的失败谈起
从XXX 产品的失败谈起 从去年年中公司开始秘密研究一项高级产品，以替换陈旧体系下的老款产品，为此，创建了一个产品开发部 门，由七八个富有本行业开发经验的全职成员构成，经过一年多的努力，即将投入市场了&…
C++ 经常使用类 string类
6.3.2使用string对象 string word"I love China" *链接字符串* string descriptionadjective " " word; _Note_: 不能连接两个字符串字面量，以下的语句是错误的 string test "I have" "a dream"; 6.3.3訪问字符串中的字…
Nginx源码分析--字符串处理
ngx_string.cvoid ngx_strlow(u_char *dst, u_char *src, size_t n); 将src的前n个字符转换成小写存放在dst字符串当中，调用者需要保证dst指向的空间大于等于n。操作不会对原字符串产生变动。如要更改原字符串，可以：ngx_str_t str ngx_strin…
信息保留的二值神经网络IR-Net，落地性能和实用性俱佳 | CVPR 2020
出品 | AI科技大本营（ID:rgznai100）导语：在CVPR 2020上，商汤研究院链接与编译组和北京航空航天大学刘祥龙老师团队提出了一种旨在优化前后向传播中信息流的实用、高效的网络二值化新算法IR-Net。不同于以往二值神经网络大多关注量…
Jq-table最后一行添加样式
豪情姓名QQE-mail豪情249056406jikeytanggmail.comtony1234567puaggmail.comtony1234567puaggmail.comtony1234567puaggmail.comtony1234567puaggmail.com豪情啊不得了真是的运行代码
Same binary weight (位运算)
题目描述 The binary weight of a positive integer is the number of 1s in its binary representation.for example,the decmial number 1 has a binary weight of 1,and the decimal number 1717 (which is 11010110101 in binary) has a binary weight of 7.Give a positi…
Nginx源码分析--基本数据类型的别名
typedef intptr_t ngx_int_t; typedef uintptr_t ngx_uint_t; typedef intptr_t ngx_flag_t; intptr_t在 # /usr/include/stdint.h 中，下面是stdint.h部分代码 #ifndef _STDINT_H #define _STDINT_H 1#include <features.h> #include…
EnterpriseDB Migration 迁移工具使用测试(2)
下面我们来测试EnterpriseDB Migration 工具对于Oracle 大对象(LOB)的迁移情况； 首先在在Oracle实例Scott模式下创建具有LOB对象的表,如： SQL> create table tlob (t1 int primary key,t2 clob,t3 blob); Table created. -- 并填充数据 SQL> begin…
生物学的机器学习：使用K-Means和PCA进行基因组序列分析 COVID-19接下来如何突变？...
作者 | Andre Ye译者 | 孟翔杰来源 | DeepHub IMBA许多人没有想到，病毒就像地球上为生存而挣扎的其他生物一样，它们会进化或变异。只要看一看人类病毒来源的蝙蝠携带的病毒RNA序列片段即可。AAAATCAAAGCTTGTGTTGAAGAAGTTACAACAACTCTGGAAGAAACTAAGTT…以及…
sql server时间转换
--getdate 获取当前时间select getdate()--dateadd 原有时间加： 2013-02-17 13:20:16 此时间加12个月 select dateadd(MONTH,12,2013-02-17 13:20:16) --返回：2014-02-17 13:20:16.000 （参数month可以改为 day，year等日期加相应…
cgdb安装与使用
官网：http://cgdb.github.io/ 安装 # wget http://cgdb.me/files/cgdb-0.6.7.tar.gz # tar -zvxf cgdb-0.6.7.tar.gz # cd cgdb-0.6.7 # ./configure --prefix/usr/local # make && make install 使用 1：cgdb分为上下两栏，…
[MFC]多线程传参问题 [AfxBeginThread]
前言MFC中使用多线程比较简单，大家都推荐用AfxBeginThread来实现，但使用过程中确遇到传入this之后不能得到对象内部字段数据的问题。正文一、问题代码1.1 Test.h#pragmaonceclassCTest{public: CTest(void); ~CTest(void); voidThreadMethod…
学习Python，这22个包怎能不掌握？
作者 | Erik-Jan van Baaren译者 | 弯月，责编 | 屠敏头图 | CSDN 下载自东方 IC出品 | CSDN（ID：CSDNnews）以下为译文：如今全球各个行业内 Python 的使用状况怎么样呢？这个问题就是我写这篇文章的初衷。我找…
JSTL标签库的一些基础实例
如题所示，只是一些简单的入门实例，代码如下：<% page language"java" import"java.util.*" pageEncoding"UTF-8"%> <%taglib prefix"c" uri"http://java.sun.com/jsp/jstl/core"%…