zl程序教程

您现在的位置是:首页 >  后端

当前栏目

Grumpy:Google 用 Go 开发的 Python 运行时

2023-09-11 14:20:08 时间

Google 运行着大量的 Python 代码,youtube.com 的前端服务器是 Python 写的,YouTube 的 API 主要也是 Python 写的。到了 YouTube 的量级,性能非常重要。YouTube 的前端主要依赖 CPython 2.7,所以 Google 花费了大量精力来优化运行时,并调整应用,以获得最好的性能。

了解 CPython 的读者应该都知道,GIL(Global Interpreter Lock)的存在,制约了 Python 应用的并发能力。

调研了很多其他 Python 运行时,并没有哪种方案能够在不引入新问题的前提下解决并发问题。

Google 的工程师开始思考一个问题,是不是可以开发一个针对实时服务进行优化的新运行时呢?

Grumpy 应运而生了。

Grumpy 是一个实验性的 Python 运行时。它将 Python 代码翻译成 Go 程序,转译(transpiled)得到的程序可以与 Go 运行时无缝集成。

因为 Google 目前有大量的 Python 代码,所以高度兼容 CPython 就非常重要。

Grumpy 有两个重要的设计选择。

首先,不支持 C 扩展模块。虽然代价是无法利用现有的大量 Python C 扩展,但是优势很明显,就是可以灵活地针对并行负载设计API和对象表示。而且 Grumpy 去掉了 GIL,这就可以利用 Go 的垃圾收集来管理对象生命周期,而不再是依赖引用计数。

其次,Grumpy 不是解释器。Grumpy 程序和其他任何 Go 程序一样编译、链接。尽管牺牲了开发和部署的灵活性,但是静态编译时可以进行更多优化。和 Go 代码的互操作也非常强大。Grumpy 程序可以像导入 Python 模块那样导入 Go 包。不支持exec 、 eval 和 compile 等动态特性,Google 的产品中不会使用这些特性,所以这也是可以接受的。

按功能分,Grumpy 可以分为 grumpc 、 Grump 运行时和 Grumpy 标准库三块。其中grumpc 负责将 Python 程序转换为 Go 程序。解析 Python 代码,生成 Go 代码。它是用 Python 实现的。

只支持 Python 2.7,社区有很多吐槽,不过 Google 的很多代码还是以该版本为主,也是可以理解的。

Grumpy 还在开发之中,感兴趣的读者可以在 GitHub 上查阅相关代码。

本文转自d1net(转载)


GO语言-12了解Go语言的终端输出、进制转换 GO语言的学习与记录,第十二篇了解Go的终端输出、进制转换,介绍fmt包下的三种常用输出以及区别,给出格式化输出的常用占位符,以及各种进制转换。
GO语言-11Go语言的I/O操作 GO语言的学习与记录,第十一篇了解Go语言的I/O操作,学习Go语言中两种打开文件的方式,一种是默认只读,另外一种是以权限的方式打开文件,并对文件的读写基本操作进行介绍入门
GO语言-10了解Go并发中锁的概念和使用(下) GO语言的学习与记录,10了解Go并发中锁的概念和使用(下),学习锁的概念,为什么需要锁;使用互斥锁解决临界区资源的问题
GO语言-10了解Go并发的使用(上) GO语言的学习与记录,第十篇了解Go语言并发的使用(上),围绕的使用go关键字开启协程,学习协程之间数据传输,了解阻塞式通道和非阻塞式通道,学习如何取通道的值还有怎么遍历通道。最后两个案例助于理解。
GO语言-09通过例子了解通过反射进行实例化 GO语言的学习与记录,第九篇:通过一个例子了解通过反射进行实例化。内容用到了接口、结构体和JSON互转、反射的类型和实例化的内容
GO语言-07派生类型:结构体和方法(下) 自己学习Go语言学习过程中的记录与总结,希望对你能有帮助。 第七篇(下):学习Go语言的结构体与方法的结合使用,了解指针,值传递,地址传递,变量作用域范围的概念
GO语言-07派生类型:map和结构体(上) 自己学习Go语言学习过程中的记录与总结,希望对你能有帮助。 第七篇(上):学习Go语言的Map,以及使用type定义自己的类型,包括type+struct定义结构体