arcpy实现空间查询_布隆过滤！Python实现亿级数据集中元素快速查找
前段时间在做数据碰撞分析时，遇到一个在数亿级的int型数据集中查找30万个特定int值是否存在的需求，当时尝试了几种方式
- 通过分片，然后做增量分析
- HashMap
这两种方式第一种太慢，即使后面进一步实现了分布式计算，可仍然无法接受；第二种直接写爆内存。
后续经过探索尝试，通过字典查找树、布隆过滤都可以高效的实现上述需求，接下来分别分享下两种方式的具体实现。
字典查找树
Trie树，即字典树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串，所以经常被搜索引擎系统用于文本词频统计。它的优点是：最大限度地减少无谓的字符串比较，查询效率比哈希表高。
基本特性
- 根节点不包含字符，除根节点外每一个节点都只包含一个字符。
- 从根节点到某一节点，路径上经过的字符连接起来，为该节点对应的字符串。
- 每个节点的所有子节点包含的字符都不相同。
通过这三个基本性质，我们不难发现Trie的核心思想是空间换时间，利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。对于庞大的空间消耗，我们可以用链表来动态开辟空间，达到空间上利用率的最大化。
代码实现
具体源码分享，详见我分享的另一篇文章——《Python实现大数据集下高效查询、联想、统计的数据结构——Tire树》
我们看下字典查找树是记录数据的结构，下面是我们将19825011312, 19825029527两个手机号码添加到树中。
那么它的性能如何？使用profile对TrieTree算法进行性能测试，具体测试结果数据不贴了，说下结论。
- 500万条17位数字字符串添加，单次执行微秒级。
- 500万数据集中查询某特定元素是否存在，微妙级。
- 500万数据集中通过某特定前缀字符串联想其他元素，毫秒级
布隆过滤
Burton Howard Bloom 在 1970 年提出了一个叫做 Bloom Filter(中文翻译：布隆过滤)的算法。它主要就是用于解决判断一个元素是否在一个集合中，但它的优势是只需要占用很小的内存空间以及有着高效的查询效率。官方的说法是：它是一个保存了很长的二级制向量，同时结合 Hash 函数实现的。
基本特性
- 属于概率数据结构，只要返回数据不存在，则肯定不存在，返回数据存在，但只能是大概率存在。
- 无法删除其中的元素。
- 无法返回元素本身
特性原理介绍，如图所示：
- 首先需要初始化一个二进制的数组，长度设为 L(图中栗子为 9)，同时初始值全为 0 。
- 当写入一个 N1=19825011312的数据时，需要进行K次 hash 函数的运算(栗子中进行了2 次)；与 HashMap 有点类似，通过算出的 HashCode 与 L 取模后定位到 0、4 处，将该处的值设为 1。
- N2=19825029527也是同理计算后将 2、7 位置设为 1。
- 当有一个N3=19825011312需要判断是否存在时，也是做同样两次 Hash 运算，定位到 0、4 处，此时他们的值都为 1 ，所以认为N3=1000 存在于集合中。
- 当有一个 N4=18805289099时，也是同理。也是做同样两次 Hash 运算，定位到5、7处，可5处的值为 0，所以认为 N4不存在于集合中。
总结讲起来就是：
对写入的数据做 K次 hash 运算定位到数组中的位置，同时将数据改为 1 。当有数据查询时也是同样的方式定位到数组中。 若其中的有一次计算hash计算结果所定位的数字为 0 则认为数据肯定不存在于集合，否则数据可能存在于集合中。
布隆过滤代码实现
pybloom库安装
pip install pybloom模式一 BloomFilter 定容
模式二 ScalableBloomFilter 可以自动扩容
欢迎转载，若对你有帮助，点赞支持哦。
相关文章：
比特币如何实现—《区块链历史链条》2
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 11比特币为什么还没有挖完 比特币系统靠调节难度系数保证比特币不被太快挖完。每10分钟，全网矿工共同计算一道难题，竞争记账…
centos7 系统下搭建 lnmp 环境
目录 目录概述准备工作开始编译安装1. 安装 Nginx1. 解压2. 环境准备3. 编译过程4. Nginx 服务2. 安装 MySQL1. 解压2. 环境准备3. 安装 CMake 编译器：4. 编译过程5. 初始化数据库6. MySQL 服务3. 安装 PHP1. 安装依赖包2. 编译安装3. 配置 PHP4. 整合 LNMP1 编辑 N…
dp uva1218
题目链接 一共有三种状态： 1、d[u][0]：u是服务器，每个子结点可以是也可以不是。 2、d[u][1]：u不是服务器，但u的父亲是，u的子结点都不是服务器。 3、d[u][2]：u和u的父亲都不是服务器，…
浏览器安全检查己通过_百度主动推送三项合一功能
百度主动推送三项合一功能作者：68喜功能模块：搜索关键词记录推送熊掌号当天推送熊掌号历史推送普通主动推送*///错误显示屏蔽error_reporting(E_ERROR | E_WARNING | E_PARSE);require ./common.inc.php; //引入公用函数$starid 1; //初始ID 开$limit…
EOS账户权限
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 账户和权限 钱包 账户 授权和权限 其他 默认账户配置(单个签名) 多签名账户和自定义权限 帐户是存储在区块链中的人类可读标识符。 每个交易都根据…
怎样在表格中选出同一类_3分钟教会你如何将不同表格中的数据关联在一起
原标题： 3分钟教会你如何将不同表格中的数据关联在一起版权声明：本文为博主原创文章，未经博主允许不得转载。智能输入超级表格 微视频关键词： 智能输入 关联不同表格 逻辑输入「超级表格微视频」第六期提升效率、 增强免疫力&…
矢量图面层和线层相交得到相交后的线层文件（gis相交）
目的：将arcgis里的面层和线层相交(重叠)部分的线单独生成一个shp文件，用于道路路网密度计算等。注意：进行相交运算后生成的是线要素文件，相当于把面线相交部分的线单独拿了出来。操作例子：将图示的面层和线层相交处理。…
区块链3.0：拥抱EOS
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 EOS是当下最火的区块链技术，被社会广泛看好为下一代区块链3.0。不同于以太坊的学习，EOS的主语言是C，本文作为EO…
python3.9.0 print_关于 Python 3.9，那些你不知道的事
原标题：关于 Python 3.9，那些你不知道的事作者 | Ayushi Rawat编译 | 高卫华题图 | 视觉中国Python一直在满足社区需求，并且将成为未来使用最多的语言。Python的下一个版本带来了更快速的进程释放，性能的提升，简便的新…
djangorestframework怎么这么好用!
一年前就已经用过restframework, 当时觉得这个只是给web框架打辅助的, 他能实现的我也都实现(可能没有那么好用, 嘿嘿) 但是我有一种东西叫做效率, 时间就是金钱, 别人造好的就直接用就可以了, 自己其实没必要在去重复. 最近写一个调查问卷系统, 利用了以下知识点 1. django 2.…
第五百六十四天 how can I 坚持
变得越来越成熟了啊，放下的速度越来越快了。 我不会去羡慕那些亿万富翁，也不会去鄙视一个流浪汉，人人生而平等，just oncelife。 学会线代睡觉，晚上竟然又看起了不良人2.哎。转载于:https://www.cnblogs.com/52-it/p/60…
EOSIO Dawn 4.0 发布
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 关于Dawn 4.0 RAM分配的反馈 一些社区成员表示担心，在其他任何人发现之前，有些人会通过购买便宜的内存来获得不合理的利润。…
shell脚本俄罗斯方块游戏
亲自测试了一个大牛写的shell脚本，感兴趣可以看看，效果如下： 代码如下： 1 #!/bin/bash2 3 # Tetris Game4 # 10.21.2003 xhchen<[email]xhchenwinbond.com.tw[/email]>5 6 #APP declaration7 APP_NAME"${0##*[\\/]}&…
python 虚拟现实_虚拟现实 | MOOC中国 - 慕课改变你，你改变世界
你将学到什么Discover the fundamentals of Virtual Reality, the hardware and history, different applications, and the psychology and challenges of the medium.Learn the basics of 3D graphics, how we create objects and how to lay them out to create an environm…
Linux常用开发环境软件-jdk安装
linux下安装jdk1.8版本 用rpm -qa | grep java查看rpm安装的jdk版本卸载openjdk[roothuangdanfeng ~]# rpm -e --nodeps tzdata-java-2016c-1.el6.noarch [roothuangdanfeng ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64 [roothuang…
EOS Cleos 命令使用指南
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 命令参考 操作 语法 例子 获取所有命令 $ cleos 例子 获取所有子命令 $ cleos ${command} 例子 链接节点 $ cleos --url node:{node}:no…
如何养出一个三十几亿身家的儿子
简评：他是 Atlassian 联合创始人（$36亿）的父亲，他以前是花旗银行和 IBM 的高管，是在澳大利亚设立花旗银行的那个人。晚饭时间饭桌上与孩子们聊的是「global issues」。 为了避免混淆，以下简称「父亲」和「儿…
jQuery学习- 内容选择器
<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>内容选择器</title><script src"js/jquery.js"></script><script type"text/javascript">$(function(){//利用:contains获取包…
quickpcb添加pcb库_quickpcb使用说明
怎样抄板呢？抄板流程是怎样的？抄板比设计难度低得多，抄板，其实就是依葫芦画瓢。抄板步骤的简单说明：1.扫描电路板图片2.运行Quickpcb2005程序3.在文件菜单中调入扫描的电路板图片4.这个软件提供了测量工具和计算器&…
[mqtt]mqtt嵌入式移植
目前在无线这块，很多4G模组的厂商已经将mqtt放入模块内，无需在项目代码中再实现mqtt移植 github eclipse paho source code: https://github.com/mqtt/mqtt.github.io/wiki/libraries STM32 mqtt移植: http://sun2y.me/2017/05/12/MQTT%E5%8D%8F%E8%AE%A…
vue中点击第一次没有触发按钮怎么操作_vue如何触发某个元素的单击事件?
我来回答一波吧，，，因为没复习，，导致知识点结合不紧密。。。原生的中。。我们的写法是这样的王蒿大爷function myFunction(){document.getElementById("demo").innerHTML"Hello World";}window.οn…
微信小程序request合法域名怎么配置啊
request合法域名怎么配置啊， 有木有配置好的大神发来看看呀！ 用你申请小程序的后台账号，登录微信公众平台。然后点击设置，可配置服务器信息。<ignore_js_op>WechatIMG14.jpg (18.29 KB, 下载次数: 0) 登陆后 <ignore_js_…
全球比特币和区块链领域创业企业全景图
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 全球比特币和区块链创业企业中，美国的数量占全球55%，其次为英国占6%，新加坡占3%，中国仅占2%&#x…
iphone 在设置了initial-scale=1 之后，在设置滚动条之后，没有滑动效果的解决办法...
iphone在设置了initial-scale1 之后，我们终于可以以1:1 的比例进行页面设计了。 关于viewport，还有一个很重要的概念是：iphone 的safari 浏览器完全没有滚动条，而且不是简单的“隐藏滚动条”，是根本没有这个功能。 iph…
python入门小练习_python入门题目小练
Q1:Return the number (count) of vowels in the given string.We will consider a, e, i, o, and u as vowels for this Kata.The input string will only consist of lower case letters and/or spaces.也就是返回给定字符串中的元音字母(a, e, i, o, u)个数。分析࿱…
Cookie 用法
//Cookie:是一个客户端状态保持机制，（网站的数据是存在客户端），与隐藏域与ViewState对象都属于这种客户端状态保持，Cookie中存储的是关于网站相关的文本字符串数据。Cookie的存储方式有两种，如果不指定过期…
比特币vs分布式账本vs以太坊vs区块链
链客，专为开发者而生，有问必答！ 此文章来自区块链技术社区，未经允许拒绝转载。 我们经常被告知，区块链 - 比特币背后的技术 - 不仅将重新布线银行业，还包括社会保障支付，医疗保健甚至数字投票…
git 修改标签名称_Git常用命令汇总，希望能帮到你
展示帮助信息git help -g回到远程仓库的状态抛弃本地所有的修改，回到远程仓库的状态。git fetch --all && git reset --hard origin/master重设第一个commit也就是把所有的改动都重新放回工作区，并清空所有的commit，这样就可以重新提…
js字符串去重
js字符串去重： 1、 去掉字符串前后所有空格： function Trim(str) { return str.replace(/(^\s*)|(\s*$)/g, ""); }说明： 如果使用jQuery直接使用$.trim(str)方法即可，str表示要去掉前后所有空格的字符串。 2、 去掉字…
JavaScript-也来谈--闭包
闭包，以前研究过，可能是当初理解的不够透彻，现在又忘了，(给自己一个台阶下-...)毕竟js一直没怎么用， 为了防止自己过段时间再忘了，写篇重要的闭包重点， 这样时不时也能温习下知识，不…