python使用布隆过滤器筛选数据
2023-04-18 13:12:27 时间
布隆过滤器
它是一种独特的数据结构,用以判断:一个数据可能存在或一定不存在
算法思路:
- 开一个指定长度的数组,将所有的元素值设为0
- 添加元素时,执行hash,得到多个位置下标,将数组对应位置设置为1
- 检查元素是否存在时,执行hash,得到多个位置下标,查看数组中对应下标的值:
1> 如果值均为1,则可能存在
2> 如果值有一个是0,则一定不存在
综上所述,布隆过滤器可以用来判断一定不存在的值,且效率较高,但是随着插入的数据不断增加,判断错误的概率也逐渐变大。有一个极端情况就是全部位置都为1,这个时候就什么都判断不出来了。
示例代码
主要使用pybloom_live
github项目主页:https://github.com/joseph-fox/python-bloomfilter
一般有两种使用方法:
- 一种是固定容量限制的布隆过滤器,当加入的元素大于容量限制时会报错,这样会保证错误率小于给定的概率
from pybloom_live import BloomFilter bf = BloomFilter(1000) # 固定最大容量1000 bf.add("a") print("a" in bf) # True print("b" in bf) # False
- 另一种是可伸缩的过滤器,当加入的元素大于容量限制时不会报错,但会增加错误率
from pybloom_live import ScalableBloomFilter scala_bf = ScalableBloomFilter(1000) scala_bf.add("a") print("a" in scala_bf) # True print("b" in scala_bf) # False
参考文章
python-布隆过滤器:https://www.cnblogs.com/yscl/p/12003359.html
相关文章
- Python使用tkinter组件Label显示简单数学公式
- 内网渗透之DCOM横向移动
- 以目标为导向的语义交流的共同语言——一个课程学习框架
- python爬虫前奏【成信笔记】
- HTML 5 File API:文件拖放上传功能
- 教你快速创建 Python 虚拟环境
- pyenv 实现Python多版本自由切换
- 用 Python 对 Excel文件进行批量操作
- Python - 接入钉钉机器人
- Python - 抓取 iphone13 pro 线下店供货信息并发送到钉钉机器人,最后设置为定时任务
- crontab - 解决 mac 下通过 crontab 设置了 Python 脚本的定时任务却无法运行
- [源码解析] PyTorch分布式(5) ------ DistributedDataParallel 总述&如何使用
- Python科普系列——类与方法(上篇)
- SAP对STO的交货单执行PGI,报错 -Fld selectn for mvmt type 643 acct 400020 differs
- Spring Boot 实现通用 Auth 认证的 4 种方式
- 盘点4种使用Python批量合并同一文件夹内所有子文件夹下的Excel文件内所有Sheet数据
- OushuDB 学习经验分享(三):技术特点
- Java和Python思维方式的不同之处
- Python中日志记录新技能
- 奥比中光Gemini OpenCV—Python使用