Python通过Manager方式实现多个无关联进程共享数据
2023-09-14 09:12:28 时间
Python实现多进程间通信的方式有很多种,例如队列,管道等。
但是这些方式只适用于多个进程都是源于同一个父进程的情况。
如果多个进程不是源于同一个父进程,只能用共享内存,信号量等方式,但是这些方式对于复杂的数据结构,例如Queue,dict,list等,使用起来比较麻烦,不够灵活。
Manager是一种较为高级的多进程通信方式,它能支持Python支持的的任何数据结构。
它的原理是:先启动一个ManagerServer进程,这个进程是阻塞的,它监听一个socket,然后其他进程(ManagerClient)通过socket来连接到ManagerServer,实现通信。
manager.py代码,实现server和client两个类
# encoding=utf-8
__author__ = 'kevinlu1010@qq.com'
'''
进程间通信
'''
from multiprocessing.managers import BaseManager
from multiprocessing import RLock
MANAGER_PORT = 6000
MANAGER_DOMAIN = '0.0.0.0'
MANAGER_AUTH_KEY = 'aaaaaaaaaaaaaaa'
#定义一个Manager类
class InfoManager(BaseManager): pass
class DictItem():
def __init__(self, ):
self.items = dict()
def set(self, key, value):
self.items[key] = value
def get(self, key):
return self.items.get(key)
def __setitem__(self, key, value):
self.set(key, value)
#为这个manager类注册存储容器,也就是通过这个manager类实现的共享的变量,
#这个变量最好是一个类实例,自己定义的或者python自动的类的实例都可以
#这里不能把d改成dict(),因为Client那边执行d['keyi']='value'的时候会报错:d这个变量不能修改
d = DictItem()
lock = RLock()
InfoManager.register('dict', callable=lambda: d)
InfoManager.register('open_qq_login_lock', callable=lambda: lock)
class ManagerServer():
'''
multiprocess Manager服务类
'''
def __init__(self, domain, port, auth_key):
self.domain = domain
self.port = port
self.auth_key = auth_key
def start_manager_server(self):
self.queue_manager = InfoManager(address=('', self.port), authkey=self.auth_key)
# self.dict = self.queue_manager.dict()
self.server = self.queue_manager.get_server()
def run(self):
self.start_manager_server()
self.server.serve_forever()
def stop(self):
self.server.shutdown()
self.is_stop = 1
class ManagerClient():
'''
访问mutiprocess Manager的类
'''
def __init__(self, domain, port, auth_key):
self.domain = domain
self.port = port
self.auth_key = auth_key
# self.get_share_dict()
self.info_manager = InfoManager(address=(self.domain, self.port), authkey=self.auth_key)
self.info_manager.connect()
def get_dict(self):
# self.dict = m.dict()
self.dict = self.info_manager.dict()
return self.dict
def get_open_qq_login_lock(self):
self.open_qq_login_lock = self.info_manager.open_qq_login_lock()
return self.open_qq_login_lock
if __name__ == '__main__':
pass
用法
1.启动一个ManagerServer,这个进程是阻塞的
import manager
def run():
manager_server = manager.ManagerServer(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
manager_server.run()
if __name__ == '__main__':
run()
2.实例化一个client,获取共享的变量
# 进程间共享变量
manager_client = manager.ManagerClient(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
share_dict = manager_client.get_dict()
open_qq_login_lock = manager_client.get_open_qq_login_lock()
注意:
1.对client获取的变量修改,不会影响server那边的变量,例如server中,client1获取变量params1,把它修改为params2,server那边的数据不会修改。如果要修改server的数据,需要调用server的方法,把server那边的数据刷新。
相关文章
- 使用Python编写打字训练小程序
- Python之位移操作符所带来的困惑
- 最常用的几个python库--学习引导
- Linux 下用 crontab 设置定时执行python 程序
- python使用requests发送text/plain报文数据
- Python 进阶(二)模块
- Python 日期和时间_python 当前日期时间_python日期格式化
- python:pip升级pip本身和setuptools(Python 3.7.15)
- Atitit python3.0 3.3 3.5 3.6 新特性 Python2.7新特性1Python 3_x 新特性1python3.4新特性1python3.5新特性1值得关注的新特性1Python3.6新特性2 Python2.7新特性Python 2.7的新特性 - 牛皮糖NewPtone - 博客园.html Python 3_x 新特性及10大变化_python_脚本之家.htm
- Atitit.得到网络邻居列表java php c#.net python
- Python:利用python编程将上海十六区,2020年5月份房价实时地图(数据来源房天下)进行柱状图、热图可视化
- Python编程语言学习:python语言中快速查询python自带模块&函数的用法及其属性方法、如何查询某个函数&关键词的用法、输出一个类或者实例化对象的所有属性和方法名之详细攻略
- 100天精通Python(进阶篇)——第38天:多进程multiprocessing模块基础+代码实战
- 已解决2. Set PROTOCOL_BUPFERS_PYTHON_iMPLEMENTATION=python (but this will use pure-Python parsing and w
- 《看漫画学Python》1、2版分享,python最佳入门教程,中学生用业余时间都能学会,北大教授看完都这样定义它
- 四阶Runge-Kutta(Python实现)
- 【Python成长之路】python并发学习:多进程与多线程的用法及场景介绍
- 【Python成长之路】python 基础篇 -- global/nonlocal关键字使用
- 【Python 八股文】- 进程、线程、协程
- python里使用Condition对象来唤醒指定数量的协程
- Python开发案例之用Python子进程关闭Excel自动化中的弹窗
- Python编程入门教程(以在线评测平台为载体)
- python中多进程+协程的使用以及为什么要用它
- 【Leetcode刷题Python】62. 不同路径
- 【Leetcode刷题Python】718. 最长重复子数组
- 〖Python语法进阶篇⑤〗 - 进程间的通信
- 【Python 问题解决】---- ModuleNotFoundError: No module named ‘xlwt‘
- 【Python实战】 ---- python 自带的 venv 虚拟环境更新 pip 失败
- 【Python】1.python 删除文件夹和文件
- 使用Python访问CANoe COM接口实践