Go程序提速42%,只需改变一个字符
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI
Go语言本来就以轻量快速著称,一位GitHub员工却偶然发现:
只改变一个字符的位置,能把一段代码运行速度提高足足42%。
简直就像是……
这个简单有效的技巧一经发布,就引来众多程序员围观。
原作者自己也调侃,一般这种情况都是事先犯了个愚蠢的错误,后面才能提升这么大。
不过顺着这个思路发现有人发现,就连Go开发团队的核心人物Russ Cox都在标准库中犯过同样的错误。
什么样的错误?
发现这个问题的Harry在大型程序员交友平台GitHub工作。
他在开发一个把GitHub仓库中每个文件的所有者列出来的小工具。
功能很简单,就是根据CODEOWNERS文件中定义的规则匹配,写在越下面的规则优先级越高。
原理也很简单,就是从后往前一条一条处理,匹配到了就停止。
但就是这样一个简单的程序却出现了性能问题,处理中等大小的仓库就很慢了。
他打印出火焰图,发现大部分时间都花在了Go语言的正则表达式引擎中。
另外在内存动态分配malloc和垃圾回收gc上面的花费也值得注意。
要减少malloc的时间,就需要用到Go语言的逃逸分析(Escape Analysis)了。
简单来说,就是尽量把变量分配到栈上,让编译器自动管理内存的释放。
只有在“逃逸”也就是变量的作用域超出所在的栈时,才把变量分配到堆上,减轻运行时GC的压力。
在这次的程序中,Harry确定了逃逸的变量是rule这个结构体(struct)。
但问题是,rule存储在RuleSet这个切片(slice)里,按Go语言的规则可以确信他已经在堆中了。
再分析一下代码,发现在给rule赋值的时候实际上是做了一次不必要的拷贝,后面用“&”取地址时候创建了一个逃逸的指针指向它的副本。
最后解决办法也很容易想出,只需要把&移动到上面。
这样就引用了切片中的结构体,避免了拷贝。
如何彻底避免?
在热议中,有网友分享了自己是怎么避免出现这个问题的。
对于每个结构体,把它看作纯值或纯指针,压根就不去使用&这种取地址的操作,避免隐式的内存分配。
如果你想要深入理解这个问题,也有人贴心的给出了需要提前了解的一些背景知识。
最后有人指出,Rust语言为避免这个问题,直接规定必须显式操作才能拷贝一个数据结构。
当你不习惯的时候这规定烦得要命,但是总的来看还是值得。
方便or规范,你更倾向于哪种做法?
参考链接: [1]https://hmarr.com/blog/go-allocation-hunting/ [2]https://news.ycombinator.com/item?id=33594676
— 完 —
相关文章
- Go 进阶训练营 – Go 工程化实践一:工程项目结构
- 如何优雅的通过Shell脚本一键部署GO项目到服务器 |Go主题月
- Centos Go环境搭建「建议收藏」
- 2022-08-07:以下go语言代码输出什么?A:1 1;B:3 1;C:0 3;D:不能编译。package mainimp
- 最全Go select底层原理,一文学透高频用法
- 文件+内存二级缓存在Go项目中的实现及应用
- 泛型已经被迅速采用,错误处理是新的大挑战|Go 开发者调查报告
- Go内存管理和分配策略
- Go-包管理-go get(一)
- Go-包管理-go build(一)
- Go-模板引擎(三)
- Go语言变量的声明(使用var关键字)
- Go语言字符类型(byte和rune)
- go test命令(Go语言测试命令)完全攻略
- Go基础–终端操作和文件操作详解编程语言
- Go_ go mod 命令解决墙的问题详解编程语言
- Go语言RPC协议:远程过程调用
- Linux下安装Go环境指南(linux安装go环境)
- 程序Linux上运行Go语言程序的指南(linux运行go)
- 语句使用Oracle中的Go语句来简化编程(oracle中go)
- go和python调用其它程序并得到程序输出