统计ES性能的python脚本
2023-09-14 09:11:55 时间
思路:通过http请求获取es集群中某一index的索引docs数目变化来进行ES性能统计
import time from datetime import datetime import urllib2 def get_docs(data_type, today): # curl '192.168.3.153:9200/_cat/indices/metadata-dis-2017.05.16-*-93001?v' url = 'http://192.168.3.153:9200/_cat/indices/%s-dis-%s-*' % (data_type, today) out = urllib2.urlopen(urllib2.Request(url)) data = out.read() docs_cnt = 0 for line in data.split('\n'): if line: docs_cnt += int(line.split()[5]) return docs_cnt def main(): today = datetime.now().strftime("%Y.%m.%d") init_data = {"event": 0, "metadata": 0} docs_cnt, docs_cnt2, total_speed = dict(init_data), dict(init_data), dict(init_data) data_types = docs_cnt.keys() cnt = 0 sleepy_time = 20 for data_type in data_types: try: got_doc_cnt = get_docs(data_type, today) except: got_doc_cnt = docs_cnt[data_type] docs_cnt[data_type] = got_doc_cnt while True: time.sleep(sleepy_time) for data_type in data_types: try: got_doc_cnt = get_docs(data_type, today) except: got_doc_cnt = docs_cnt[data_type] docs_cnt2[data_type] = got_doc_cnt cnt += 1 for data_type in data_types: speed = (docs_cnt2[data_type]-docs_cnt[data_type])/(sleepy_time+0.0) total_speed[data_type] += speed print "cnt=%d %s speed = %.1f total_speed=%.1f" % (cnt, data_type, speed, total_speed[data_type]/cnt) docs_cnt = dict(docs_cnt2) if __name__ == "__main__": main()
相关文章
- Python虚拟环境的安装和配置-virtualenv与windows下多个python版本共存
- Python程序 #!/usr/bin/python 的解释
- Python之tkinter:动态演示调用python库的tkinter带你进入GUI世界(Canvas)
- Python之多线程:python多线程设计之同时执行多个函数命令详细攻略
- Python语言学习之图表可视化:python语言中可视化工具包的简介、安装、使用方法、经典案例之详细攻略
- Python语言学习之双下划线那些事:python和双下划线使用方法之详细攻略
- Python之ffmpeg-python:ffmpeg-python库的简介、安装、使用方法之详细攻略
- 〖Python自动化办公篇⑲〗 - python实现邮件自动化 - 邮件发送
- 教你用Python自制拼图小游戏,轻松搞定熊孩子
- python条件判断之直接加数字
- windows下使用pip安装python模块lxml
- python基础===一行 Python 代码实现并行(转)
- python基础===正则表达式,常用函数re.split和re.sub
- Python日期存入elasticsearch的坑
- 关于OpenCV for Python入门之Dlib实现人脸检测
- 【Python基础】python爬虫之异步网络爬虫ǃ
- python零基础学编程:Python是什么?为什么Python这么火,学Python能干什么?
- python工具方法 15 基于opencv的多目标模板匹配
- opencv视频输入每帧处理之后组合视频导出(python)
- Python爬虫自学系列(五)
- 我要偷偷的学Python,然后惊呆所有人(第十二天)