zl程序教程

您现在的位置是:首页 >  数据库

当前栏目

弹性计算架构、容量性能数据库优化,让双11有惊无险

数据库架构计算性能 优化 11 容量 弹性
2023-09-14 09:00:26 时间
袋鼠云简介

袋鼠云由多名前阿里云资深技术专家创立,核心员工来自阿里巴巴、神州数码、数梦工场等,作为阿里云重要的合作伙伴,专注于为企业客户提供云计算和大数据技术服务及产品。袋鼠云是阿里云数加平台首个金牌合作伙伴,也是阿里云认证的区域服务商和云市场供应商。

天猫:“双十一”的技术保障

e3dfc3af07224046f14c1d8a176290a80a49c08e

天猫的技术保障分为三层:后勤保障、组织保障、系统保障,每个环节都是非常重要的。

97cb00f4c8a459b492f85ded5c35843f52a1156b

天猫的技术也经历了不断的演进。最初面对的最大问题是流量问题,CDN成为了第一个瓶颈,进行了CDN扩容。之后,逐渐经历了全链路压测、单元化、同城双活、异地多活、弹性混合云。在技术上,越来越游刃有余的支撑天猫的大促,同时也会把这些沉淀下来的技术变成产品给阿里云的客户提供服务。

阿里云:弹性计算与大促

9bc4710aaa8d573f7a8ea7ee21cc329c638f8775

弹性是云计算的最大优势,大促是最典型的弹性场景。从官网上看,阿里云包括四大产品线:云计算基础产品线、大数据产品线、云安全产品线、运维和虚拟组件产品线。经常用到的产品如上图所示,比较常见的有负载均衡、云服务器、云数据库等。比较少见的,比如性能测试PTS在做大促的时候是一个非常重要的工具,因为它可以通过分布式的压测工具去以最大的能力压测我们能达到的最大压力。在安全方面,DDos高防IP可以防几十G以上的流量的DDos攻击。当一台数据库达到上限的时候,分布式数据库DRDS可以使压力线性扩展。

2fb8ecbe6fdbe708844ff50ac1b4b3af168d520d

上图是阿里云弹性系统的一个典型架构。从用户的角度,他会把流量打到负载均衡上,通过DDos高防IP使得只有正常的流量可以进入负载均衡。在负载均衡后面后一个可以弹性伸缩的ECS应用服务器,其中要注意的一点是所有数据要设置成无状态。云数据库Redis版可以缓存一些不需要更新的数据,云数据库的RDS可以即开即用,如果压力过大时可以改为分布式数据库DRDS,同时可以做一些读写分离。

69525f45e182d0cdf7959d304ec1afb08f059b26

安全也是阿里云一个非常重要的能力。高防IP可以提供20G以上防护带宽,防DDos攻击、cc攻击、Web攻击,防网页篡改。

袋鼠云:大促活动护航服务

3a31bfad133f145916dba418d6415f24810a088a

前期架构改造时会做一些架构咨询。从早期的容量规划到性能压测、应用优化、数据库优化,再到扩容、应急预案准备、大促当天在线应急保障。

d53f142e9e1bfb992f44b6523bd9c2a9a20ff70d

我们首先要看的是整个的业务目标,业务目标里面是否有一些特殊的场景,比如秒杀的场景。有了业务的目标之后,我们就能定出技术目标,比如QPS和TPS的目标,秒杀应该用什么样的方案,在线应该重点关注哪几个场景。

2004a0c402f8224a814c0418550abf2aaca7c51f

确定了容量规划的指标之后,我们就可以做压测了。阿里云PTS是全球领先的SaaS性能测试平台,具有强大的分布式压测能力,可模拟海量用户真实的业务场景,让应用性能问题无所遁形。经过几次的压测之后,就会对上线之后的性能表现有了预估。

数据库优化

b189d21cf5a683d70c14f674d8a82aa567c9e19c

优化思路:数据库里80%的场景可能因为SQL语句写的不好,比如索引没有用上,表结构存在问题,所以应该对SQL进行优化。RDS是存在配置问题,所以应该对RDS进行配置升级。如果有数据分析的需求,最好在当天开一个只读识别,一个RDS可以开5个只读识别,进行读写分离保证主库的交易更加顺畅。垂直拆分和水平拆分在大促之前通过压力测试决定是否去做。

总结来说,大促会遇到以下几个常见问题:


fb0f639c9ed8f8a1112dabea00fb82939f50511d

在双11的的前一个月,需要把面对各种情况的预案写下来,发给相关的责任人。

某社区电商大促

56f252b4771244fbeddc1f85d509d837ba15bed0

提前一周开始做紧张的压测,效果不错。

7:00:当天大促的活动慢慢开始,流量开始上涨。

9:00:第一波秒杀开始,出现大量connection timeout,连接数全部爆满,客服接到大量投诉电话,投诉秒杀是个骗局。系统表现上,应用压力非常高,数据库大量锁等待,数据库跑不动。

9:30:应用扩容,数据库优化。

10:00:第二波秒杀继续,数据库还是大量的锁等待,系统挂掉。

持续的修改代码,数据库优化,商品调整。。。

13:00:秒杀稳住了,系统平稳。

该案例中主要做了数据库优化、SQL的优化,扩容。

某跨境电商大促
2016年3月大促,蜂拥而来的流量造成系统宕机,每秒订单量到达峰值。袋鼠云进行了如下优化:云架构优化,帮助客户减少不必要的云资源支出,节省了大量成本;数据库SQL与索引优化,解决了宕机的根本性问题,轻松应对大促;重新设计的可扩展架构,确保在未来的业务增长过程中,技术不再成为瓶颈;数据库专家包年服务,7*24监控数据库性能状况,及时响应和优化,大大降低了客户的DBA运维成本,又确保了数据库的稳定。

相关系列文章:


Zabbix与乐维监控对比分析(一)——架构、性能篇 近年来,Zabbix凭借其近乎无所不能的监控及优越的性能一路高歌猛进,在开源监控领域独占鳌头;而作为后起的新锐IT监控平台——乐维监控,则不断吸收Zabbix,Prometheus等优秀开源平台的优点,兼容并蓄,逐渐形成了其自身的特点,在IT运维界渐渐崭露头角,成为”Zabbix企业版”。以下将对乐维监控与Zabbix的各项优劣势进行一一对比,本篇为二者架构、性能的对比分析,后续还将发布更多二者对比分析及Zabbix二开和Zabbix定制技术分享。 想要了解更多也可以连线专家免费答疑VX:forum_lwops,大家可以持续关注。
Zabbix与乐维监控对比分析(一)——架构、性能篇 Zabbix凭借其近乎无所不能的监控及优越的性能一路高歌猛进,在开源监控领域独占鳌头;而作为后起的新锐IT监控平台——乐维监控,则不断吸收Zabbix,Prometheus等优秀开源平台的优点,兼容并蓄,逐渐形成了其自身的特点,在IT运维界渐渐崭露头角,并以“Zabbix企业版”自居。以下将对乐维监控与Zabbix的各项优劣势进行一一对比,本篇为二者架构、性能的对比分析,后续还将发布更多二者对比分析及Zabbix二开和Zabbix定制技术分享,想要了解更多也可以连线专家在线答疑VX:forum_lwops,大家可以持续关注。
乐维监控与Zabbix对比分析(一)——架构、性能 Zabbix凭借其近乎无所不能的监控及优越的性能一路高歌猛进,在开源监控领域独占鳌头;而作为后起的新锐监控平台——乐维监控,则不断吸收Zabbix,Prometheus等优秀开源平台的优点,兼容并蓄,逐渐形成了其自身的特点,在IT运维界渐渐崭露头角。以下将对乐维与Zabbix的各项优劣势进行一一对比。
阿里云ECS计算型c8y服务器CPU倚天710 ARM架构性能详解 阿里云服务器ECS计算型c8y倚天710 ARM架构CPU处理器性能详解,CPU处理器采用Yitian 710,ECS计算型c8y实例采用阿里云自研倚天710 ARM架构CPU,依托第四代神龙架构
CV之后,纯MLP架构又来搞NLP了,性能媲美预训练大模型 去年来自谷歌大脑的研究团队在网络架构设计方面挖出新坑,提出 MLP-Mixer ,这是一个纯 MLP 构建的视觉架构。该架构无需卷积、注意力机制,仅需 MLP,在 ImageNet 数据集上就实现了媲美 CNN 和 ViT 的性能表现。
React Native 迎来重大架构升级,性能将大幅提升 7 月 14 日,React Native 核心团队的 Joshua Gross 在 Twitter 说,RN 的新架构已经在 Facebook 内部落地了,并且 99%的代码已经开源。这次的架构升级“蓄谋已久”,Joshua 说他们从 2018 年 1 月就开始规划了。
搜索CIFAR10只需1个半小时:华为诺亚&上交大ICLR 2020提出更快、更稳定、性能更好的可微分架构搜索 人工智能顶会 ICLR 2020 将于明年 4 月 26 日于埃塞俄比亚首都亚的斯亚贝巴举行,不久之前,大会官方公布论文接收结果:在最终提交的 2594 篇论文中,有 687 篇被接收,接收率为 26.5%。华为诺亚方舟及其合作实验室有多篇论文被 ICLR 2020 接收,本文介绍了其中一篇 Spotlight 文章。