系统架构设计:平滑发布和ABTesting
平滑发布的介绍
背景
单位的云办公相关系统没有成熟的平滑发布方案,导致每一次发布都是直接发布,dll文件或配置文件的变更会引起站点的重启。
云办公系统的常驻用户有10000+,即使短短半分多钟,也会收到一堆投诉。基于此,我们梳理了一套平滑发布的方案。
实施方案
![](https://img2020.cnblogs.com/blog/167509/202008/167509-20200830165158247-506105006.png)
发布流程
目的主要是为了发布的时候能够平滑发布,所以QA与开发人员在发布得时候按照如下步骤操作:
1、打开系统的nginx列表管理页面:[/publish/ngxconfig]
2、下架某一个实例(假设系统集群有A、B、C个实例),比如A实例
3、查看是否下架成功:这个就是我们跟nginx约定的健康检查接口,正常在线状态下是200的statu,切离线后,这个接口返回的是401的statu。
在线情况:
离线情况:
4、观察监控站点,直至该实例下的Req、Connnectiuon流量都消失
5、在该实例下进行版本发布
6、打开Fidller,host到待发布的实例,然后判断是否发布成功(发布dll、配置文件时,IIS站点会短暂重启)
7、QA同学走查灰度的A实例服务器,保证它正常运行,如此循环,直到所有服务器都发布。
进一步ABTesting的优化
背景
平滑发布做完之后,确实给我带来很大的便利,不用每次发布都发公告,不重要的或者非功能性的内容发布了就是了。
但是用久了,客户量上去之后,又遇到一个问题,那就是每一次业务大变更,大型发布都是直接发布到生产,这样可能存在风险。设计师设计的功能,用户不一定完全接受,一旦上线新版本,
收到一大堆的吐槽,都是用户呀,如果能在小范围人群内进行灰度试用,完成平稳的过度和使用反馈之后,优化后再上到生产会更好一点。
所以这边需要思考和设计一套统一的技术方案,未来无论云办公还是其他的业务系统,都能通过灰度发布在可指定的小范围内先进行体验和功能验证。
基于上面的平滑,我们在Nginx反向代理服务器上动心思,让nginx来帮我们做ABTesting的方案。以下是我们尝试的几种方案:
1、Nginx反向代理:来路IP策略
流程
步骤
1、进入云办公系统,进入Nginx反代服务器
2、Nginx读取来路IP的AB名单
3、根据IP AB名单进行流量转发(名单A走特定实例,名单B走云办公原有集群实例)
server { listen 80; server_name officecloud.com; access_log officecloud.com/logs main; ip_list 192.168.254.4,192.168.254.170 set $group default; if ($remote_addr in iplist) { set $group ACluster; } location / { proxy_pass http://$group; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; index index.html index.htm; } }
优缺点
1、配置简单,原资源平台的灰度升级就是根据IP名单来划分设计升级的
2、外部计算机很多都是非固定IP,这个适合在公司内网实现,比如只是配置公司内网的IP。
2、Nginx反向代理:$.Cookies策略
流程
步骤
1、进入云办公系统,进入Nginx反代服务器
2、Nginx读取Http请求的Cokie的version信息(也可以是别的key)
3、根据Key的版本来进行流量转发(比如Version1.1走特定集群,Version1.0走通用集群实例)
server { listen 80; server_name officecloud.com; access_log officecloud.com/logs main; ip_list 192.168.254.4,192.168.254.170 set $group default; if ($http_cookie ~* "version=V1.0"){ set default; } if ($http_cookie ~* "version=V1.1"){ set $group ACluster; } location / { proxy_pass http://$group; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; index index.html index.htm; } }
优缺点
1、配置简单,根据Nginx的 $COOKIE_version 属性来判断
2、相对稳定,对需要开放名单的用户,在Cookie头部加入特定的版本即可,应用只要少许的开发量
3、首次访问静态页面可能不会产生cookie
备注:这是团队内认为最好的Nginx代理方案,同理,User-Agent和Header都可以做此种类型的判断,但是Header需要侵入底层HttpRequest去业务添加,不建议。
3、AB集群+业务代理方式
流程
步骤
1、进入云办公系统,两种方式进入系统,一种是登录页登录:~/login ,一种是default页面带uckey登录:~/default?usertoken=#usertoken#
2、登录的时候和usertoken传入的时候进去 路由代理模块,进行用户信息校验,根据不同的人员和部门(人员和部门配置归属AB名单)分流到两个不同的AB集群
3、根据转发跳到具体的实例集群域名下(可以配置AB集群拥有不同域名,更容易区分)
优缺点
1、与Nginx剥离,不用依赖公司的通用平台和技术部的实现
2、需要申请AB集群,AB集群拥有不同的域名。
3、如果是前后端分离情况下,需要保证静态站点和服务站点均申请AB集群
4、所有入口需要统一做代理,有一定的开发量
应用
目前手上2个系统已经根据该方案实现了
参考资料
https://github.com/CNSRE/ABTestingGateway ABTestingGateway
ABTestingGateway是新浪开源的一个动态路由系统。ABTestingGateway是一个可以动态设置分流策略的灰度发布系统,工作在7层,
基于nginx和ngx-lua开发,使用redis作为分流策略数据库,可以实现动态调度功能。
相关文章
- 学焊接专业的编程爱好者应用好通用权限管理系统写出了自己工作中需要的小软件
- 集成公司内部的多个子系统(兼容B/S和C/S),实现单点登录功能的多系统的统一入口功能
- 让普通业余软件开发兴趣爱好者也快速开发出相对专业的软件产品 - 通过实战开发讲解实现步骤
- 开发软件非常需要有规划定位 - 从软件开发辅助工具到通用软件产品的演变
- 一个内蒙古人在杭州的老程序员的轿车梦随笔
- 充分感受中国缺少管理型软件人才的说法
- 写代码累了放松娱乐一下,在大型生产型企业成功实施工作审批流程项目的经验分享
- 解析 WEB 中所有 URL 的简单牛B代码,先保存起来,方式将来找不到了
- 程序员,保险公司招聘不要轻易跑过去,省省路费省省时间,别浪费感情,特别是招聘什么业务主管经理的
- 求助,有谁能跟杭州公安局的人说上话?西湖区文新派出所更好,想解决一下女儿名字的问题,万分感谢。
- 走通用软件架构路线?走通用软件产品路线?我们都要有梦想与大家一起分享走过的经验
- 实施行政审批流程系统程组件的经验总结,规范化电子化流程管理(有点儿长,准备好茶叶)
- 当项目经理要么学会向客户说"不",要么选择折磨自己,增加成本延长项目周期
- 半天打造小型万能OA办公系统, 靠的就是万能表单提交 + 轻量级工作流审批组件
- 用一个系统去控制管理多个现有系统, 实现核心集中的统一管理控制系统
- C# GetSchema Get List of Table 获取数据库中所有的表名以及表中的纪录条数的方法
- C#缺省参数可以让代码变得更加简洁明了与时俱进心里敞亮了很多了
- 让一个软件系统同时支持多个多种数据库灵活配置,让客户可以任意配置各个核心数据库部分
- 浅谈管理软件开发类项目是怎么来的,怎么接到项目的,欢迎大家补充
- 开发各种信息管理系统的标准演示数据都帮你整理好了,少了录入演示\测试\模拟数据的烦恼了[提供下载]