网站架构技术
一切以解决业务目标为首要任务;
没有以业务为目标的任何架构、技术,都是毫无意义的耍流氓;
再牛逼的架构、再牛逼的技术,不能够解决业务的问题,你也只能算是会架构、会技术的工匠,而不能算是真正意义上的架构师;
业务成就了技术,平台成就了人,事业成就了人,而不是相反;
有一定的业务量和用户规模了,想提升网站速度,于是,缓存出场了
优点:简单有效、方便维护;
缺点:存在单点、谈不上高可用;
技术点:客户端(浏览器)缓存、前端页面缓存、页面片段缓存、本地数据缓存/数据库缓存、远程缓存;
页面缓存:客户端缓存,减少对网站的访问;
本地缓存:访问速度快,但数据量有限,减少对DB查询;
远程缓存:远程访问,可以集群,因此容量不受限制;
用户量每天在增长,数据库疯狂读写,逐渐发现一台服务器快撑不住了。于是,决定把数据服务和APP做分离
优点:简单有效、方便维护、提高不同Server对硬件资源的利用率;
缺点:存在单点、谈不上高可用;
技术点:文件服务器部署、数据库服务器,扩展数据访问模块;
分离后三台 Server 对硬件资源的需求各不相同:
应用服务器:需要更快更强大的 CPU;
数据库服务器:需要更快的硬盘和更大的内存;
文件服务器:需要更大的硬盘;
单台数据库也感觉快撑不住了,一般都会尝试做“读写分离”。由于大部分互联网“读多写少”的特性所决定的。Salve的台数,取决于按业务评估的读写比例。
优点:简单有效、降低数据库单台压力;
缺点:读写分离,增加程序难度,架构变复杂,维护难度增加;
技术点:数据库主从同步部署,扩展数据访问模块,实现读写分离;
数据库层面是缓解了,但是应用程序层面也出现了瓶颈,由于访问量增大,加上早期程序员水平有限写的代码也很烂,人员流动性也大,很难去维护和优化。所以,很常用的办法还是“堆机器”。
优点:增加服务器和HA机制,系统性能及可用性得到保证;
缺点:应用之间缓存、Session一致性问题;
技术点:负载均衡;
通过集群解决高并发、海量数据问题的常用手段,实现系统的可伸缩性。通过负载均衡调度器,可将用户访问分发到集群中的某台 Server 上,应用服务器的负载压力不再成为整个网站的瓶颈。
加机器谁都会加,关键是加完之后得有效果,加完之后可能会引发一些问题。例如非常常见的:集群应用之间页面输出缓存和本地缓存一致性的问题,Session保存的问题
优点:应用之间缓存、Session一致,存储无限制,可以扩展;
缺点:不如本地缓存访问快,缓存服务器、Session服务器等仍存在单点问题;
技术点:缓存服务器部署、Session集中存储方案;
动静分离也是提高网站响应速度的一种常用方式。将动态请求与静态请求分离开,尽量减少对应用服务器的压力。同时,可以再进一步对静态请求,进行缓存,以加快响应速度。可以需要开发人员配合(把静态资源放独立站点下),也可以不需要开发人员配合(利用7层反向代理来处理,根据后缀名等信息来判断资源类型)。
优点:减轻应用负载压力,针对静态文件缓存;
缺点:静态文件缓存更新失效问题;
技术点:动静分离、静态文件缓存方案;
使用反向代理和CDN加速网站响应:CDN 和反向代理的基本原理都是缓存,区别在于:
CDN部署在网络提供商的机房;
反向代理则部署在网站的中心机房;
使用 CDN 和反向代理的目的都是尽早返回数据给用户,一方面加快用户访问速度,另一方面也减轻后端服务器的负载压力
优点:减轻应用负载压力,异地缓存有效解决不同地方用户访问过慢的问题;
缺点:成本大幅增加,架构进一步复杂化,也维护难度进一步增大,静态文件缓存更新失效问题;
技术点:CDN、反向代理方案;
基本做到了DB层面和应用层面的横向扩展了,可以开始关注一些其它方面,例如:站内搜索的精准度,对DB的依赖,开始引入全文索引、NoSQL。
NoSQL和搜索引擎都是源自互联网的技术手段,对可伸缩的分布式特性具有更好的支持。应用服务器则通过一个统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。
优点:降低DB依赖;
缺点:单点问题,谈不上高可用;
技术点:NoSQL、搜索引擎、分布式;
一个能够承载日均百万级访问量的中型网站架构就是这样了
技术点:负载调度器、集群方案;
截止目前为止都不怎么需要大面积的修改代码。如果上面那些手段都用光了,还是支撑不住怎么办?不停的加机器也不是办法啊?
业务越来越复杂,网站的功能越来越多,虽然部署层面是采用的集群,但是应用程序架构层面还是“集中式”的,这样会导致很多耦合,不便于开发、维护,而且容易“一荣俱损”。所以,通常会把网站拆分出不同的子站点来单独宿主。
通过分而治之的手段将整个网站业务分成不同的产品线,如首页、商铺、订单、卖家、买家等拆分成不同的产品线,分归不同的业务团队负责。各个应用之间可以通过建立一个超链接建立关系,也可以通过消息队列进行数据分发。
应用垂直拆分(分压,解耦)
优点:降低耦合、分压;
缺点:应用架构复杂;
技术点:业务抽取拆分;
应用都拆了,由于单个数据库的连接,QPS,TPS,I/O处理能力都非常有限,DB层面也可以去做垂直分库操作。
业务垂直分库 分压 解耦
优点:降低DB耦合、分压DB;
缺点:数据访问模块复杂;
技术点:业务抽取拆分;
拆分应用和DB之后,其实还是会有很多问题。不同的站点,里面可能会有相同逻辑和功能的代码。当然,对于一些基础的功能我们可以封装DLL或者Jar包去到处提供引用,但是这种强依赖也很容易造成一些问题(版本问题、依赖关系等处理起来非常麻烦)。
既然每一个应用系统都需要执行许多相通的业务操作,比如用户管理、商品管理等,那么可以将这些共用的业务提取出来,独立部署。这样,传说中的SOA的价值就得到体现了。
面向服务的体系结构(SOA)是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。
分布式服务化(解耦,去重复)
优点:服务统一管理,提供重用度;
缺点:应用架构更复杂;
技术点:业务抽取拆分、服务化技术方案;
应用、服务之间还是会出现一些依赖问题,这时候,高吞吐量的解耦利器出现了。
消息队列(服务间异步解耦 高吞吐量)
优点:提高吞吐量、应用、服务之间解耦;
缺点:存在消息消费延迟问题;
技术点:消息队列技术方案;
分库分表。不是业务发展和各方面非常迫切,不要轻易走这一步。因为分库分表谁都会干,关键是拆完之后怎么办。目前,市面上还没有完全开源免费的方案,能让你一劳永逸地解决数据库拆分问题。
分库分表:
横向拆分;
纵向拆分;
分布式数据库访问层;
数据库中间件(代理);
大型网站架构就是在不同阶段时解决不同问题的过程中慢慢演进来的。
单机网站架构云化 很多客户最开始使用云的时候,会把云(服务器)简单地当成普通的物理服务器来使用,比如把应用系统、数据库和文件等都保存在同一台云服务器上。云给客户提供的远不止是服务器,还有其他很多云产品,以便客户在云上做架构的云化,最终带来高可用、弹性等优势。本最佳实践主要是指导客户如何把单机的系统如何进行初步的云化。
一分钟了解互联网动静分离架构 “页面静态化”是一种将原本需要动态生成的站点提前生成静态站点的优化技术。 总数据量不大,生成静态页面数量不多的业务,非常适合于“页面静态化”优化。
大型网站稳定性技术建设 作为应用后台系统,随着业务发展阶段不断演进。 从小型服务到大型微服务架构服务, 稳定性越来越重要。 稳定性技术也是作为技术人员必备的技术知识点。
中小型电子商务网站架构 原文:中小型电子商务网站架构 一个小型的电子商务网站,例如日交易量5万订单以下,或者说每天差不多五千万个pv左右。我们可以讨论下,整个架构应该如何设计。 业务分离,域名分离 现在好的电子商务网站都是按照业务分开,细化每个业务线。
相关文章
- C++之萃取技术(traits)
- 聊聊淘宝天猫个性化推荐技术演进史
- 《企业大数据系统构建实战:技术、架构、实施与应用》一第2章 企业大数据职能规划2.1 大数据组织架构体系
- 《企业大数据系统构建实战:技术、架构、实施与应用》一第3章 企业大数据解决方案3.1 企业大数据解决方案实现方式
- 《企业大数据系统构建实战:技术、架构、实施与应用》一导读
- 《数据库技术原理与应用教程第2版》——
- “我最喜欢的技术博客”有奖推荐活动!
- Python爬虫技术--基础篇--Python开发环境安装
- 【JavsScript】JavaScript MVC 框架技术选型
- 《Android安全技术揭秘与防范》—第8章8.4节Hook原生应用程序
- 《软件测试技术实战:设计、工具及管理》—第1章 1.1节软件测试的基本理论
- 《Java 开发从入门到精通》—— 2.5 技术解惑
- 2020第43周非功能需求决定技术架构
- 《企业大数据系统构建实战:技术、架构、实施与应用》——第2章 企业大数据职能规划 2.1 大数据组织架构体系
- ChatGPT教程之深入了解魔术背后的技术
- 分布式技术EJB3_分库架构 - 【动力节点官网】北京Java …
- 大话数据中心网络三大新技术
- 大型站点技术架构(六)--站点的伸缩性架构
- 人工智能技术将助力改善移动安全
- AlfaLaval公司采用低速通风技术冷却数据中心
- (二)xxx项目整体设计与项目架构及其技术选型(附源码)
- 系统架构设计师-软件可靠性设计技术的应用