给cmake-toolset和工具链加HTTP/2和HTTP/3支持
前言
前段时间集成一些公司内组件的时候发现它依赖 nghttp2 。正好之前一直有给我的构建工具(cmake-toolset)里的构建 curl 的流程加 HTTP/2 和 HTTP/3 的计划。 所以这波一次性搞定了。
构建工具 cmake-toolset 和 curl
首先,curl 是支持多种第三方库作为 HTTP/2 和 HTTP/3(QUIC)算法库的。比如 nghttp3+ngtcp2,或者微软家 msquic,或者Google家 quiche。 其中HTTP/3只能选一个,互相是冲突的。而Google的quiche官方仅有对bazel构建系统的支持,而我的cmake-toolset是cmake生态的。 这里选用 nghttp3+ngtcp2 的组合,主要是为了和其他的模块共享依赖。
另外无论选哪一个HTTP/2 和 HTTP/3(QUIC)算法库,都需要SSL层支持quic算法。那目前官方版本的 openssl 是不支持的。我们可以选用 quictls版本的openssl 或者 boringssl。 其中 quictls版本的openssl 对一些非Google系的开源库支持性更好一些。在 cmake-toolset 中两种都支持,但是我们首选 quictls版本的openssl。
nghttp2,nghttp3和ngtcp2的依赖关系是 ngtcp2依赖nghttp3,nghttp2依赖ngtcp2。由于 cmake-toolset 中增加第三方库的流程已经比较成熟了,所以加这些组件的编译流程并不是什么难事。但是最后集成这个几个库组合起来的时候,还是碰到了一些问题。
nghttp2,nghttp3,ngtcp2构建流程的一些问题
nghttp2,nghttp3和ngtcp2的工程结构很相似,所以问题点也很相似。
首先是我们需要让他们使用我们自己的 openssl 库。它们的构建脚本都可以让我们自己指定 openssl 的位置。在使用 boringssl 的时候,因为使用了非标准的老式引入方式(非cmake CONFIG模式),我们指定 -DBORINGSSL_LIBRARIES=<libraries>
的时候包含多个库文件。 我们的构建系统辅助接口传入到 cmake 的 cmake_parse_arguments 接口的时候始终会被拆成多个参数。比如我们设置 -DBORINGSSL_LIBRARIES=a;b
,传入到 cmake_parse_arguments 接口的时候一定会被拆分成 -DBORINGSSL_LIBRARIES=a
和 b
,无论我用是否加转义。这里借鉴了官方 Moudle ExternalProject 的方式,加了一个类似 LIST_SEPARATOR
的选项,在接口里层做转换。
其次 nghttp2,nghttp3和ngtcp2 的构建流程中,都是通过一个宏来控制他们是否是输出的静态库( NGHTTP2_STATICLIB
, NGHTTP3_STATICLIB
和 NGTCP2_STATICLIB
)。 这些宏和符号导出标记和可见性相关,我们是需要编译时和链接时保持一致的,否则可能会链接的时候符号找不到。 如果按照cmake CONFIG的标准模式来,这些宏应该在install的时候导出到CONFIG文件里,这样下游模块链接的时候就能自动加上这个宏。 但是这几个库的cmake构建脚本都没有根据当前构建的库的类型来处理宏的导出,所以这里我们也需要适配处理一下。而且这里要注意既要在编译时按需加上这些宏,也需要Patch install后的imported target来设置PUBLIC definition 。
另外 nghttp2的构建碰到了一个兼容性问题,它在输出的头文件里直接使用了 ssize_t
这个类型,但是有些平台中,这个类型是不存在的,所以也需要处理适配添加一下。
最后的构建脚本如下:
- https://github.com/atframework/cmake-toolset/blob/main/ports/nghttp2/nghttp2.cmake
- https://github.com/atframework/cmake-toolset/blob/main/ports/ngtcp2/nghttp3.cmake
- https://github.com/atframework/cmake-toolset/blob/main/ports/ngtcp2/ngtcp2.cmake
curl 的Future检测问题
最后在接入到 curl 的时候也碰到了几个问题,基本上都是导致 curl 检测 nghttp2,nghttp3和ngtcp2 失败而最终导致没开开启 HTTP/2 和 HTTP/3(QUIC) 。
一方面针对于上面提到的 nghttp2,nghttp3,ngtcp2 的静态库宏问题和 ssize_t
类型的问题,我也推了个PR到 curl ( https://github.com/curl/curl/pull/10364 )去适配,还需要等维护者进一步Review之后可能才会合入。目前我在 cmake-toolset 里写了 Patch 文件( https://github.com/atframework/cmake-toolset/blob/main/ports/libcurl/libcurl-7.87.patch )来适配。
另外还碰到在Windows平台上,curl 缺失链接了几个 openssl 依赖的系统库,导致检测依赖库的时候链接失败而检测失败,这些库也是补上就好了。整体来说 curl 的整个工程质量还是很高的。
最后
至此,整个适配接入就完成了,可能哪天有空了也我可以试着接入一下 msquic ,这样可选项就更多了。
也欢迎有兴趣的小伙伴互相交流研究。
相关文章
- 第六章·自动化运维工具-Ansible Jinja2模板
- TV盒子工具 管理电视盒子的好助手
- HTTP协议调试工具汇总
- 【运维工具】当你的老板站在你背后,看你处理故障......
- Nature:搞研究英语不行?几款工具帮你改论文
- 虹科分享 | 网络流量监控 | 构建大型捕获文件(Ⅰ)——Wireshark过滤器和其他Allegro网络万用表工具
- 【Android 安全】DEX 加密 ( 常用 Android 反编译工具 | apktool | dex2jar | enjarify | jd-gui | jadx )
- 【Flutter】HTTP 网络操作 ( 引入 http 插件 | 测试网站 | Get 请求 | Post 请求 | 将响应结果转为 Dart 对象 | Future 异步调用 )
- 【Java技术指南】「Unirest编程专题」一起认识一下一个“灰常”优秀的Http工具,让Http开发变得如此简单
- Mac电脑安卓文件传输工具:Android File Transfer for mac
- java 验证码生成工具详解编程语言
- 服务Linux快速启动HTTP服务实现网络分享(linux启动http)
- 服务器一步步教你搭建Linux HTTP服务器(linux搭建http)
- 使用Oracle OEM工具提升管理效率(oracleoem工具)
- Linux搭建HTTP代理实现网络自由访问(linux搭建http代理)
- 编辑Linux文本文件编辑:一种实用的工具(linux文本文件)
- 越狱工具Unc0ver 6.2.0发布:对iOS 14支持引入重大稳定性改进
- 服务器管理Linux中的HTTP服务器(linux中http)
- Oracle数据库:支持大规模商业应用程序的崭新工具(大型数据库oracle)
- MySQL数据监控工具推荐(mysql数据监控工具)
- Linux拦截HTTP的安全防护(Linux拦截http)
- 深入比较三款主流MySQL工具(3种主流mysql工具)
- 以色列科技企业研发AI工具,可识别员工是否真生病