mongodb清除连接和日志
最近在做并发,服务器卡死了。
感觉是pymongo未能完全close掉和mongodb创建的tcp连接,并且在mongo连接未自动释放前进行高频连接,导致连接数爆满造成的。
所以对建立的连接进行清除,以此记录并做分享。
db.serverStatus().connections
current 当前连接数 available 可用连接数 connection.totalCreated 创建到服务器的所有传入连接的计数。此数字包括已关闭的连接。
清除所有当前的currentOp:
var ops = db.currentOp().inprog;
for(i = 0; i < ops.length; i++){
var opid = ops[i].opid;
db.killOp(opid);
print("Stopping op ... #"+opid)
};
上面的命令无法关闭current连接
关闭current的方法一:
查看所有current的tcp连接: netstat -nat | grep ‘27017’
查看指定端口的进程号 netstat -tpna | grep :35522
然后kill掉该进程 kill -9 14335
再到db-shell中查看,已经关闭一个current了。
这种方式关掉的tcp连接状态会变成TIME_WAIT,端口依旧被占用,因为ACK是由我们主动关闭发出的。 不过还好的是一般等一段时间链接自动会被释放,端口也不再被占用了。
可以看到35522和35524都已经被释放。
关闭current的方法二:
如果你知道是由哪个程序连接的mongodb,比如python程序 那么可以使用命令查看程序端口占用情况 ps -aux | grep python
然后kill掉对应的python程序,run.py,也能完成current的清除
批量清除指定程序:
ps -efww|grep -w "run.py" |grep -v grep|cut -c 9-15|xargs kill -9
日志
查看日志位置
cat /etc/mongod.conf
日志文件过大,不能通过vim查看,用tail查看最后100行
tail -n 100 mongo.log
不需要重启服务,重新开启一个新日志文件的方法
use admin
db.runCommand({logRotate:1})
运行过程中不能删除日志文件,清空日志文件但不删除文件的命令(删除后没有生成日志)
: >run.log
也可以使用旋转日志 logRotate :对日志进行切割
去重script
db.getCollection('集合名').aggregate([{$group:{_id:{'去重字段':'$去重字段'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}] ,{ allowDiskUse: true }).forEach(function(doc){doc.dups.shift();db.getCollection('集合名').remove({_id: {$in: doc.dups}});})
导出数据 mongoexport -h localhost:27017 -u 用户名 -p 密码 -d 库名 -c 集合名 -o 导出文件路径
相关文章
- 从本体论开始说起——运营商关系图谱的构建及应用
- 如何成为一名数据科学家?
- 从未见过的堂兄杀了人,你的DNA是关键证据
- 20个安全可靠的免费数据源,各领域数据任你挑
- 20个安全可靠的免费数据源,各领域数据任你挑
- 阿里云李飞飞:All in Cloud时代,云原生数据库优势明显
- 基于Hadoop生态系统的一高性能数据存储格式CarbonData(性能篇)
- 大数据告诉你:10年漫威,到底有多少角色
- TigerGraph:实时图数据库助力金融风控升级
- Splunk利用Splunk Connected Experiences和Splunk Business Flow 扩大数据访问
- 大数据开发常见的9种数据分析手段
- 以免在景区看人,我爬了5W条全国景点门票数据...
- 【实战解析】基于HBase的大数据存储在京东的应用场景
- 数据科学家告诉你哪些计算机科学书籍是你应该看的
- Kafka作为大数据的核心技术,你了解多少?
- Spring Boot 整合 Redis 实现缓存操作
- 大数据学习必须掌握的五大核心技术有哪些?
- 基于Antlr在Apache Flink中实现监控规则DSL化的探索实践
- 甲骨文再次被Gartner评为分析型数据管理解决方案魔力象限领导者
- 爬取吴亦凡微博102118条转发数据,扒一扒流量的真假