使用Python提供高性能计算服务

前言

python具有丰富的库，并且很容易作为胶水语言很容易与c/c++进行交互集成。

因此为了适应快速变化的业务和兼顾计算效率，在上层采用python作为server提供service，在底层采用c/c++进行计算是一种对于算法开发者非常适宜的方式。

python flask库提供http接口以及相关demo页面，gunicorn提供多核并行能力，底层c++库提供单线程上的计算。

下面通过一个例子说明这种架构。代码地址：python_hps

准备

在实验开始之前，需要安装flask、gunicorn、apach bench tool等工具。

注：所有实验均在linux系统中进行。测试机器为4核虚拟机。

sudo pip install flask  sudo pip install gunicorn  sudo apt-get install apache2-utils 

计算

计算部分模拟真实计算，因此计算量比较大，在我测试的虚拟机上单核单线程跑400ms左右。

c++核心计算部分，随便写的：

API_DESC int foo(const int val)      float result = 0.0f;      for(int c=0;c 1000;c++)      {          for(int i=0;i i++)          {              result += (i);              result += sqrt((float)(i*i));              result += pow((float)(i*i*i),0.1f);          }      }      return (int)result; 

python wrapper，采用ctypes：

#python wrapper of libfoo  class FooWrapper:      def __init__(self):          cur_path = os.path.abspath(os.path.dirname(__file__))          self.module = ctypes.CDLL(os.path.join(cur_path,./impl/libfoo.so))      def foo(self,val):              self.module.foo.argtypes = (ctypes.c_int,)          self.module.foo.restype = ctypes.c_int          result = self.module.foo(val)          return result 

flask http API：

@app.route(/api/foo,methods=[GET,POST])  def handle_api_foo():      #get input      val = flask.request.json[val]      logging.info([handle_api_foo] val: %d % (val))      #do calc      result = fooWrapper.foo(val)      logging.info([handle_api_foo] result: %d % (result))      result = json.dumps({result:result})      return result 

单核服务

首先测试python单核服务，同时也是单线程服务(由于python GIL的存在，python多线程对于计算密集型任务几乎起反作用)。

在script目录下执行run_single.sh，即

#!/bin/sh  #python  export PYTHONIOENCODING=utf-8  #start server  cd `pwd`/..  echo "run single pocess server"  python server.py  cd -  echo "server is started." 
#!/bin/sh  ab -T application/json -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo 

CPU运转

ab测试结果

可以看出CPU只用了1个核，负载是2.44 request/second。

多核

在script目录下执行run_parallel.sh，即

#!/bin/sh  #python  export PYTHONIOENCODING=utf-8  #start server  cd `pwd`/..  echo "run parallel pocess server"  gunicorn -c gun.conf server:app  cd -  echo "server is started." 

其中gun.conf是一个python脚本，配置了gunicorn的一些参数，如下：

import multiprocessing  bind = 0.0.0.0:4096  workers = max(multiprocessing.cpu_count()*2+1,1)  backlog = 2048  worker_class = "sync"  debug = False  proc_name = foo_server 
#!/bin/sh  ab -T application/json -p post.data -n 100 -c 10 http://127.0.0.1:4096/api/foo 

CPU运转

ab测试结果

可以看出CPU用满了4个核，负载是8.56 request/second。是单核的3.5倍左右，可以任务基本达成多核有效利用的的目的。

总结

使用flask、gunicorn基本可以搭建一个用于调试或者不苛责过多性能的服务，用于算法服务提供非常方便。本文提供该方案的一个简单示例，实际业务中可基于此进行修改完善。

作者：自律所以自由

来源：51CTO

Python Http Server实现服务监听和地址回调 在日常第三方地址调用过程中，很多接口时异步接口，可以使用轮询的方式基于第一次请求返回的参数查询处理的结果，这种方式往往比较麻烦，特别是对一些长时间无法处理的任务，往往需要多次轮询才能获取结果。通过配置回调地址的方式来实现调用结果的监听；部分服务如阿里云MNS Topic、腾讯云的CMQ，都支持通过配置HttpEndpoint的方式实现消息的http方式订阅监听；这两种模式都是本地启动：HTTP Server，第三方服务通过已经配置的地址来请求服务，最终实现服务的监听。下面通过一个Python3 Http Server实现对：异步长文本语音合成和mns topic演示相关功能。
阿里云机器翻译产品机器批量翻译服务 Python SDK 调用指南 阿里云机器翻译产品下的机器批量翻译服务，支持同时对多段文本进行翻译。本文介绍如何使用机器批量翻译提供的Python SDK，包括SDK的安装方法及SDK代码示例。
【Python】简单Web框架从零开始（一）：Web服务 一、前言 使用Python可以很方便的搭建一个网站，有很多现成的Web框架可以使用例如：Django，Tornado，web.py，web2py，Flask，Bottle等等。我几年前使用Tornado框架为项目做过一个多人协作的管理平台，后来为了想深入学习就自己写了一个简单的Web框架，并在新项目中投入使用已有1年左右，虽然没有上面提到的那些框架那么强大，但也勉强够用。这次刚好有时间做一个简单的记录。