当前栏目
一探究竟!Whistle拦截HTTPS是如何实现的?
导语 | 本文主要介绍Whistle的实现原理,通过这篇文章读者可以了解Whistle的具体实现过程,并且自己也可以实现一个简单的抓包调试工具。
项目Github地址:https://github.com/avwo/whistle
Whistle是基于Node实现的跨平台Web抓包调试(HTTP)代理,主要功能:
- 实时抓包:支持HTTP、HTTPS、HTTP2、WebSocket、TCP等常见Web请求
- 修改请求响应:与一般抓包调试工具采用断点的方式不同,Whistle采用类似系统host的配置规则方式
- 扩展功能:支持通过Node编写插件,或作为独立NPM包引入项目两种扩展方式
本文将从最基本的概念开始逐步实现Whistle功能,包含以下内容:
- 什么是HTTP代理
- 实现简单HTTP代理
- 完整HTTP代理架构(Whistle)
- 各个模块的实现原理
- 参考资料
一、什么是HTTP代理
代理是客户端到服务端的中转服务,其中:
- 不经过代理的请求:客户端和服务端直接建立连接后,即可开始交换数据
- 经过代理的请求:客户端不与服务端直接建立连接,而是先跟代理建立连接后,将目标服务器的地址发送给代理,通过代理再跟服务端建立连接,这里如果代理服务为HTTP Server,则称为HTTP代理。
接下来看下客户端如何将目标服务器地址传给HTTP代理,以及HTTP代理如何跟目标服务器建立连接。
二、实现简单HTTP代理
先看一个用Node实现的最简单HTTP代理:
const http = require('http');const { connect } = require('net');
/****************** 工具方法 ******************/const getHostPort = (host, defaultPort) => { let port = defaultPort || 80; const index = host.indexOf(':'); if (index !== -1) { port = host.substring(index + 1); host = host.substring(0, index); } return {host, port};};
const getOptions = (req, defaultPort) => { // 这里假定 host 一定存在,完整实现参见 Whistle const { host, port } = getHostPort(req.headers.host, defaultPort); return { hostname: host, // 指定请求域名,用于通过 DNS 获取服务器 IP 及设置请求头 host 字段 port, // 指定服务器端口 path: req.url || '/', method: req.method, headers: req.headers, rejectUnauthorized: false, // 给 HTTPS 请求用的,HTTP 请求会自动忽略 };};
// 简单处理,出错直接断开,完整实现逻辑参考 Whistleconst handleClose = (req, res) => { const destroy = (err) => { // 及时关闭无用的连接,防止内存泄露 req.destroy(); res && res.destroy(); }; res && res.on('error', destroy); req.on('error', destroy); req.once('close', destroy);};
/****************** 服务代码 ******************/const server = http.createServer();// 处理 HTTP 请求server.on('request', (req, res) => { // 与服务端建立连接,透传客户端请求及服务端响应内容 const client = http.request(getOptions(req), (svrRes) => { res.writeHead(svrRes.statusCode, svrRes.headers); svrRes.pipe(res); }); req.pipe(client); handleClose(res, client);});
// 隧道代理:处理 HTTPS、HTTP2、WebSocket、TCP 等请求server.on('connect', (req, socket) => { // 与服务端建立连接,透传客户端请求及服务端响应内容 const client = connect(getHostPort(req.url), () => { socket.write('HTTP/1.1 200 Connection Established
'); socket.pipe(client).pipe(socket); }); handleClose(socket, client);});
server.listen(8080);
上述代码实现了一个具有转发请求功能的HTTP代理,从代码可知HTTP代理就是一个普通的HTTP Server,并监听request和connect这两个事件,客户端会通过这两个事件将目标服务器地址传过来,其中:
- request:一般普通HTTP会通过该事件将目标服务器地址传过来。
- connect:一般非HTTP请求,如HTTPS、HTTP/2、WebSocket、TCP等会通过该事件将目标服务器地址传过来,触发该事件的代理请求也叫隧道代理。
可以在事件里面的req.url或req.headers.host获取目标服务器的地址(host:port),再跟该服务器地址建立连接并将结果通过HTTP响应的方式返回给客户端,这里只是实现代理的最基本功能,完整的HTTP除了请求转发,至少应该还有:
- 查看实时抓包;
- 解析HTTPS请求;
- 修改请求响应内容;
- 扩展功能。
下面以Whistle为例看下如何用Node.js实现一个完整的HTTP代理。
三、完整HTTP代理架构(Whistle)
主要分五个模块:
- 请求接入模块
- 隧道代理模块
- 处理HTTP请求模块
- 规则管理模块
- 插件管理模块
四、具体实现原理
下面分别看下这五个模块具体是怎么实现的。
(一)请求接入模块
所有请求先会经过请求接入模块,Whistle支持四种请求接入方式:
- HTTP&HTTPS直接请求:相当于配hosts或DNS的方式,将请求转发到Whistle;
- HTTP代理:Whistle默认接入方式,即配系统代理或通过浏览器插件配 HTTP代理的方式;
- HTTPS代理:在HTTP代理之上对代理请求进行了加密,即HTTPS Server,可以通过指定证书转成HTTP代理请求;
- Socks5代理:利用npm包socksv5转成普通的TCP请求,并将TCP请求转成隧道代理请求。
实现原理:将所有请求都转成HTTP代理的隧道代理请求或HTTP请求,再解析隧道代理请求转成HTTP请求。
如何将普通tcp请求转成隧道代理请求参见:lack-proxy
下面看下如何从隧道代理请求解析出HTTP请求。
(二)隧道代理模块
关键点(HTTP请求也可以走隧道代理):
- 通过匹配的全局规则判断是否要解析隧道代理请求,如果不解析,则当成普通TCP请求处理;
- 如果需要,则通过socket.once('data', handler) 读取请求点第一帧数据;
- 将第一帧数据转成字符串,通过正则/^(w+)s+(S+)s+HTTP/1.d$/mi是否是HTTP请求?如果是HTTP请求,再判断下是否是CONNECT请求,即隧道代理请求(隧道代理请求也可以代理隧道代理请求),如果是,则转回隧道代理方法处理,如果不是,则转到HTTP请求模块处理;
- 如果不是HTTP请求,则当成HTTPS请求处理,这里需要用到中间人的方式将HTTPS请求转成HTTP请求;
- Whistle会先按以下顺序获取请求证书:
- 通过匹配的插件获取(可以通过规则 sniCallback://plugin 指定加载证书的插件);
- 通过启动参数-z certDir指定目录或~/.WhistleAppData/custom_certs 加载的自定义证书;
- 如果没有上述两种自动证书,Whistle会自动生成一个默认的证书。
- 获取到证书后,再利用该证书启动一个HTTPS Server,将HTTPS请求转成HTTP请求交给HTTP请求模块处理。
(三)HTTP请求处理模块
HTTP 请求处理可以分两个阶段:
- 请求阶段:
- 匹配全局规则;
- 如果规则里类似whistle.xx的规则,执行对应插件钩子,获取插件规则并跟匹配的全局规则合并;
- 执行规则、记录状态并请求到指定服务。
- 响应阶段:
- 执行匹配插件的钩子,获取插件规则并跟匹配的全局规则合并;
- 执行规则、记录状态并请求返回客户端。
(四)规则管理
与传统抓包调试代理采用断点修改请求响应数据不同,Whistle采用配置规则的方式修改请求响应,采用配置方式的好处是操作简单,且可以将操作持久化存储及共享给他人,先看几个例子:
Whistle的规则管理主要两个功能:解析规则、匹配规则。
- 解析规则
Whistle有两类规则:
- 全局规则(公共规则),所有请求都会尝试匹配的规则,由以下规则组成:
- 界面Rules配置的规则;
- 插件根目录rules.txt配置文件;
文档:https://github.com/whistle-plugins/whistle.autosave/blob/master/rules.txt
- 界面或插件rules.txt通过@url方式引入的远程规则(要单独一行,Whistle会定时更新远程规则)。
- 插件规则(私有规则),即进入插件的请求(匹配的全局规则里有whistle.xxx协议)才会匹配到的规则,由以下规则组成:
文档:https://wproxy.org/whistle/plugins.html
- 插件reqRulesServer等hooks动态返回;
- 插件根目录_rules.txt等文件配置的静态规则。
- 匹配规则
Whistle规则的完整结构为:
文档:https://wproxy.org/whistle/mode.html
(五)插件管理
Whistle插件的功能很多,不仅具备Node的所有能力,且可以操作Whistle的所有规则(理论上可以基于插件实现一个Whistle),主要用来做以下事情:
- 鉴权功能
- 提供UI交互界面
- 作为请求Server(直接响应或转发并修改请求响应)
- 统计请求信息(查看上报/打点数据等)
- 设置规则(动态、静态、全局及私有规则)
- 获取抓包数据
- 编解码请求响应数据流(pipe stream功能)
- 扩展界面右键菜单(如:分享抓包数据)
- 保存并同步Rules&Values数据
- 自定义HTTPS请求的证书
比如:
- whistle.script:实现通过自定义脚本动态设置规则
- whistle.vase:提供灵活强大的mock能力
- whistle.inspect:方便快速注入vConsole、eruda等页面调试工具
- whistle.sni-callback:自定义证书插件
其它插件例子参见:https://github.com/whistle-plugins
Whistle是如何实现插件功能?主要遵循以下三个设计原则:
- 完备性
确保所有功能点都可扩展,如:请求鉴权、生成证书、获取抓包、设置规则、请求处理等。
- 稳定性
插件内部异常不影响其它功能,Whistle的每个插件独立进程,插件与Whistle之间通过HTTP协议交互。
Whistle是使用npm包pfork来启动插件进程,进程间的交换是直接通过Node的http模块实现的),方便开发者利用http的生态开发插件。
- 易用性
方便用户开发及使用。
开发:结构简单 (npm包) + 脚手架lack;
使用:安装npm包即可,用法跟内置协议一样,且可内置交互界面。
有关插件的更多细节参见:https://wproxy.org/whistle/plugins.html
事实上,Whistle除了支持插件扩展,还可以同时作为独立模块引入项目使用;除了本地开发使用,也可以基于Whistle开发出支持多人使用的开发联调协作工具,比如后面会给大家介绍其实现原理的:
- 基于Whistle实现的多人多环境远程抓包调试工具
Nohost:https://github.com/Tencent/nohost
- 基于Whistle和Nohost实现的分布式远程抓包调试工具TDE等
TDE目前只在腾讯内部使用,后续后逐步对外开源。
参考资料:
1.Github仓库:https://github.com/avwo/whistle
2.官方插件仓库:https://github.com/whistle-plugins
3.详细文档:https://wproxy.org/whistle/
作者简介
吴文斌(avenwu)
腾讯前端高级工程师
腾讯前端高级工程师,Whistle、Nohost作者,目前主要负责团队的Node服务框架及效率工具的开发维护工作。
推荐阅读
相关文章
- 前端面试 【JavaScript】— typeof 是否能正确判断类型?
- 前端面试 【JavaScript】— instanceof 能否判断基本数据类型?
- 前端面试 【JavaScript】— 能不能手动实现一下 instanceof 的功能?
- 前端面试 【JavaScript】— Object.is和=== 有什么区别?
- 前端面试 【JavaScript】— JS中类型转换有哪几种?
- 前端面试 【JavaScript】— == 和 ===有什么区别?
- 前端面试 【JavaScript】— 对象转原始类型是根据什么流程运行的?
- JavaScript 的 parseInt() 函数
- javascript实现两个数字进行组合
- JS监听键盘按键
- 大前端开发中的路由管理之五:Flutter篇
- Javascript的DOM操作
- 在Vue项目中使用WebSocket技术
- 新手向:前端程序员必学基本技能——调试JS代码
- React 毁了 Web 开发!
- 「JS 逆向百例」cnki 学术翻译 AES 加密分析
- 商标注册域名后缀用什么?商标和域名有哪些区别?
- 网站建设流程是怎样的?需要看重哪些细节?
- 网站域名商标注册流程是什么?网站域名商标有什么用?
- 如何建设一个实用性强的网站 网站上线后如何运营