mongo踩坑-upsert插入重复数据
2023-04-18 15:26:21 时间
在线上环境碰到一张 mongo 表里有重复数据,最终追溯到了 node mongo 插入数据那里,发现了 mongo 的 upsert 并非是线程安全的,在并发的情况下会产生重复数据。后面查阅 monog 的文档,也指出了使用 upsert 方法时要给表加上唯一索引。
Upsert with Unique Index
When using the upsert: true option with the update() method, and not using a unique index on the query field(s), multiple instances of a update() operation with similar query field(s) could result in duplicate documents being inserted in certain circumstances.
我一般都是这样子创建唯一索引:
db.collection.createIndex(unique_keys, { backgroud : true, unique : true})
这里也分析一下为啥 upsert 会产生重复数据吧。是因为 upsert 操作不是原子性的,upsert 分为俩步:
- 找数据
- 覆盖数据或插入数据
在并发下,多个线程同时 upsert 并完成找数据这一步操作,此时这些线程都没有找到数据,然后都进行插入数据的操作,于是重复数据便产生了。解决这一问题的方案有俩种,一种是给表加唯一索引,另外一种是给 upsert 这俩部操作加上一个写锁。
总结
以后用 mongo 时,尽量给每张表都加上唯一索引吧,有重复数据的时候还得先去重才能建索引,太麻烦了,不如一开始就建好唯一索引。
相关文章
- 直接在代码里面对list集合进行分页
- .NET Framework 4.5新特性详解
- 大数据的简要介绍
- 大数据的由来
- 高斯混合模型的自然梯度变量推理
- timing-wheel 仿Kafka实现的时间轮算法
- 使用Navicat软件连接自建数据库(Linux系统)
- 那一天,我被Redis主从架构支配的恐惧
- Redis 深入了解键的过期时间
- C#使用委托调用实现用户端等待闪屏
- 基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
- GRAND | 转录调控网络预测数据库
- JFreeChart API中文文档
- 临床相关突变查询数据库
- TIGER | 人类胰岛基因变化查询数据库
- 视频边缘计算网关EasyNVR在视频整体监控解决方案中的应用分析
- Apache Arrow - 大数据在数据湖后的下一个风向标
- 常见的电商数据指标体系
- AKShare-艺人数据-艺人流量价值
- MySQL中多表联合查询与子查询的这些区别,你可能不知道!