大型網(wǎng)站的特點(diǎn)
在武隆等地區(qū),都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局,加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力,以專注、極致的服務(wù)理念,為客戶提供網(wǎng)站設(shè)計(jì)、做網(wǎng)站 網(wǎng)站設(shè)計(jì)制作按需求定制設(shè)計(jì),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計(jì),網(wǎng)絡(luò)營銷推廣,成都外貿(mào)網(wǎng)站建設(shè)公司,武隆網(wǎng)站建設(shè)費(fèi)用合理。大型網(wǎng)站一般有如下特點(diǎn):
1.用戶多,分布廣泛
2.大流量,高并發(fā)
3.海量數(shù)據(jù),服務(wù)高可用
4.安全環(huán)境惡劣,易受網(wǎng)絡(luò)***
5.功能多,變更快,頻繁發(fā)布
6.從小到大,漸進(jìn)發(fā)展
7.以用戶為中心
8.免費(fèi)服務(wù),付費(fèi)體驗(yàn)
大型網(wǎng)站架構(gòu)目標(biāo)
大型網(wǎng)站的架構(gòu)目標(biāo)有如下幾個(gè):
高性能:提供快速的訪問體驗(yàn)。
高可用:網(wǎng)站服務(wù)一直可以正常訪問。
可伸縮:通過硬件增加/減少,提高/降低處理能力。
擴(kuò)展性:方便地通過新增/移除方式,增加/減少新的功能/模塊。
安全性:提供網(wǎng)站安全訪問和數(shù)據(jù)加密、安全存儲(chǔ)等策略。
敏捷性:隨需應(yīng)變,快速響應(yīng)。
大型網(wǎng)站架構(gòu)模式
如上圖是大型網(wǎng)站的架構(gòu)模式:
1.分層:一般可分為應(yīng)用層、服務(wù)層、數(shù)據(jù)層、管理層與分析層。
2.分割:一般按照業(yè)務(wù)/模塊/功能特點(diǎn)進(jìn)行劃分,比如應(yīng)用層分為首頁、用戶中心。
3.分布式:將應(yīng)用分開部署(比如多臺(tái)物理機(jī)),通過遠(yuǎn)程調(diào)用協(xié)同工作。
4.集群:一個(gè)應(yīng)用/模塊/功能部署多份(如:多臺(tái)物理機(jī)),通過負(fù)載均衡共同提供對(duì)外訪問。
5.緩存:將數(shù)據(jù)放在距離應(yīng)用或用戶最近的位置,加快訪問速度。
6.異步:將同步的操作異步化??蛻舳税l(fā)出請(qǐng)求,不等待服務(wù)端響應(yīng),等服務(wù)端處理完畢后,使用通知或輪詢的方式告知請(qǐng)求方。一般指:請(qǐng)求—響應(yīng)—通知模式。
7.冗余:增加副本,提高可用性、安全性與性能。
8.安全:對(duì)已知問題有有效的解決方案,對(duì)未知/潛在問題建立發(fā)現(xiàn)和防御機(jī)制。
9.自動(dòng)化:將重復(fù)的、不需要人工參與的事情,通過工具的方式,使用機(jī)器完成。
10.敏捷性:積極接受需求變更,快速響應(yīng)業(yè)務(wù)發(fā)展需求。
高性能架構(gòu)
高性能的架構(gòu)是以用戶為中心,提供快速的網(wǎng)頁訪問體驗(yàn),主要參數(shù)有較短的響應(yīng)時(shí)間、較大的并發(fā)處理能力、較高的吞吐量與穩(wěn)定的性能參數(shù)。
可分為前端優(yōu)化、瀏覽器優(yōu)化、應(yīng)用層優(yōu)化、代碼層優(yōu)化與存儲(chǔ)層優(yōu)化:
前端優(yōu)化:網(wǎng)站業(yè)務(wù)邏輯之前的部分。
瀏覽器優(yōu)化:減少 HTTP 請(qǐng)求數(shù),使用瀏覽器緩存,啟用壓縮,CSS JS 位置,JS 異步,減少 Cookie 傳輸;CDN 加速,反向代理。
應(yīng)用層優(yōu)化:處理網(wǎng)站業(yè)務(wù)的服務(wù)器。使用緩存,異步,集群。
代碼優(yōu)化:合理的架構(gòu),多線程,資源復(fù)用(對(duì)象池,線程池等),良好的數(shù)據(jù)結(jié)構(gòu),JVM調(diào)優(yōu),單例,Cache 等。
存儲(chǔ)優(yōu)化:緩存、固態(tài)硬盤、光纖傳輸、優(yōu)化讀寫、磁盤冗余、分布式存儲(chǔ)(HDFS)、NoSQL 等。
高可用架構(gòu)
大型網(wǎng)站應(yīng)該在任何時(shí)候都可以正常訪問,正常提供對(duì)外服務(wù)。因?yàn)榇笮途W(wǎng)站的復(fù)雜性,分布式,廉價(jià)服務(wù)器,開源數(shù)據(jù)庫,操作系統(tǒng)等特點(diǎn),要保證高可用是很困難的,也就是說網(wǎng)站的故障是不可避免的。
如何提高可用性,就是需要迫切解決的問題。首先,需要從架構(gòu)級(jí)別考慮,在規(guī)劃的時(shí)候,就考慮可用性。
行業(yè)內(nèi)一般用幾個(gè) 9 表示可用性指標(biāo),比如四個(gè) 9(99.99),一年內(nèi)允許的不可用時(shí)間是 53 分鐘。
不同層級(jí)使用的策略不同,一般采用冗余備份和失效轉(zhuǎn)移解決高可用問題:
應(yīng)用層:一般設(shè)計(jì)為無狀態(tài)的,對(duì)于每次請(qǐng)求,使用哪一臺(tái)服務(wù)器處理是沒有影響的。一般使用負(fù)載均衡技術(shù)(需要解決 Session 同步問題)實(shí)現(xiàn)高可用。
服務(wù)層:負(fù)載均衡,分級(jí)管理,快速失敗(超時(shí)設(shè)置),異步調(diào)用,服務(wù)降級(jí),冪等設(shè)計(jì)等。
數(shù)據(jù)層:冗余備份(冷,熱備[同步,異步],溫備),失效轉(zhuǎn)移(確認(rèn),轉(zhuǎn)移,恢復(fù))。數(shù)據(jù)高可用方面著名的理論基礎(chǔ)是 CAP 理論。(持久性,可用性,數(shù)據(jù)一致性[強(qiáng)一致,用戶一致,最終一致])
可伸縮架構(gòu)
伸縮性是指在不改變?cè)屑軜?gòu)設(shè)計(jì)的基礎(chǔ)上,通過添加/減少硬件(服務(wù)器)的方式,提高/降低系統(tǒng)的處理能力:
應(yīng)用層:對(duì)應(yīng)用進(jìn)行垂直或水平切分。然后針對(duì)單一功能進(jìn)行負(fù)載均衡(DNS、HTTP[反向代理]、IP、鏈路層)。
服務(wù)層:與應(yīng)用層類似。
數(shù)據(jù)層:分庫、分表、NoSQL 等;常用算法 Hash,一致性 Hash。
可擴(kuò)展架構(gòu)
可以方便地進(jìn)行功能模塊的新增/移除,提供代碼/模塊級(jí)別良好的可擴(kuò)展性:
模塊化,組件化:高內(nèi)聚,低耦合,提高復(fù)用性,擴(kuò)展性。
穩(wěn)定接口:定義穩(wěn)定的接口,在接口不變的情況下,內(nèi)部結(jié)構(gòu)可以“隨意”變化。
設(shè)計(jì)模式:應(yīng)用面向?qū)ο笏枷?,原則,使用設(shè)計(jì)模式,進(jìn)行代碼層面的設(shè)計(jì)。
消息隊(duì)列:模塊化的系統(tǒng),通過消息隊(duì)列進(jìn)行交互,使模塊之間的依賴解耦。
分布式服務(wù):公用模塊服務(wù)化,提供其他系統(tǒng)使用,提高可重用性,擴(kuò)展性。
安全架構(gòu)
對(duì)已知問題有有效的解決方案,對(duì)未知/潛在問題建立發(fā)現(xiàn)和防御機(jī)制。對(duì)于安全問題,首先要提高安全意識(shí),建立一個(gè)安全的有效機(jī)制,從政策層面,組織層面進(jìn)行保障。在此我向大家推薦一個(gè)架構(gòu)學(xué)習(xí)交流圈。交流學(xué)習(xí)「企鵝」「君羊」號(hào):948368769 里面會(huì)分享一些資深架構(gòu)師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務(wù)架構(gòu)的原理,JVM性能優(yōu)化、分布式架構(gòu)等這些成為架構(gòu)師必備的知識(shí)體系。還能領(lǐng)取免費(fèi)的學(xué)習(xí)資源,目前受益良多
比如服務(wù)器密碼不能泄露,密碼每月更新,并且三次內(nèi)不能重復(fù);每周安全掃描等。
以制度化的方式,加強(qiáng)安全體系的建設(shè)。同時(shí),需要注意與安全有關(guān)的各個(gè)環(huán)節(jié)。
安全問題不容忽視,包括基礎(chǔ)設(shè)施安全,應(yīng)用系統(tǒng)安全,數(shù)據(jù)保密安全等:
基礎(chǔ)設(shè)施安全:硬件采購,操作系統(tǒng),網(wǎng)絡(luò)環(huán)境方面的安全。一般采用正規(guī)渠道購買高質(zhì)量的產(chǎn)品,選擇安全的操作系統(tǒng),及時(shí)修補(bǔ)漏洞,安裝殺毒軟件防火墻。
防范病毒,后門。設(shè)置防火墻策略,建立 DDOS 防御系統(tǒng),使用***檢測系統(tǒng),進(jìn)行子網(wǎng)隔離等手段。
應(yīng)用系統(tǒng)安全:在程序開發(fā)時(shí),對(duì)已知常用問題,使用正確的方式,在代碼層面解決掉。
防止跨站腳本***(XSS),注入***,跨站請(qǐng)求偽造(CSRF),錯(cuò)誤信息,HTML 注釋,文件上傳,路徑遍歷等。
還可以使用 Web 應(yīng)用防火墻(比如:ModSecurity),進(jìn)行安全漏洞掃描等措施,加強(qiáng)應(yīng)用級(jí)別的安全。
數(shù)據(jù)保密安全:存儲(chǔ)安全(存儲(chǔ)在可靠的設(shè)備,實(shí)時(shí),定時(shí)備份),保存安全(重要的信息加密保存,選擇合適的人員復(fù)雜保存和檢測等),傳輸安全(防止數(shù)據(jù)竊取和數(shù)據(jù)篡改)。
常用的加解密算法(單項(xiàng)散列加密[MD5、SHA],對(duì)稱加密[DES、3DES、RC]),非對(duì)稱加密[RSA]等。
敏捷性
網(wǎng)站的架構(gòu)設(shè)計(jì),運(yùn)維管理要適應(yīng)變化,提供高伸縮性,高擴(kuò)展性。方便的應(yīng)對(duì)快速的業(yè)務(wù)發(fā)展,突增高流量訪問等要求。
除上面介紹的架構(gòu)要素外,還需要引入敏捷管理,敏捷開發(fā)的思想。使業(yè)務(wù),產(chǎn)品,技術(shù),運(yùn)維統(tǒng)一起來,隨需應(yīng)變,快速響應(yīng)。
大型架構(gòu)舉例
以上采用七層邏輯架構(gòu):
第一層客戶層:支持 PC 瀏覽器和手機(jī) App。差別是手機(jī) App 可以直接通過IP訪問,反向代理服務(wù)器。
第二層前端層:使用 DNS 負(fù)載均衡,CDN 本地加速以及反向代理服務(wù)。
第三層應(yīng)用層:網(wǎng)站應(yīng)用集群;按照業(yè)務(wù)進(jìn)行垂直拆分,比如商品應(yīng)用,會(huì)員中心等。
第四層服務(wù)層:提供公用服務(wù),比如用戶服務(wù),訂單服務(wù),支付服務(wù)等。
第五層數(shù)據(jù)層:支持關(guān)系型數(shù)據(jù)庫集群(支持讀寫分離),NOSQL 集群,分布式文件系統(tǒng)集群;以及分布式 Cache。
第六層大數(shù)據(jù)存儲(chǔ)層:支持應(yīng)用層和服務(wù)層的日志數(shù)據(jù)收集,關(guān)系數(shù)據(jù)庫和 NOSQL 數(shù)據(jù)庫的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)收集。
第七層大數(shù)據(jù)處理層:通過 Mapreduce 進(jìn)行離線數(shù)據(jù)分析或 Storm 實(shí)時(shí)數(shù)據(jù)分析,并將處理后的數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫。
(實(shí)際使用中,離線數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)會(huì)按照業(yè)務(wù)要求進(jìn)行分類處理,并存入不同的數(shù)據(jù)庫中,供應(yīng)用層或服務(wù)層使用)
一個(gè)成熟的大型網(wǎng)站(如淘寶、天貓、騰訊等)的系統(tǒng)架構(gòu)并不是一開始設(shè)計(jì)時(shí)就具備完整的高性能、高可用、高伸縮等特性的,它是隨著用戶量的增加,業(yè)務(wù)功能的擴(kuò)展逐漸演變完善的。
在這個(gè)過程中,開發(fā)模式、技術(shù)架構(gòu)、設(shè)計(jì)思想也發(fā)生了很大的變化,就連技術(shù)人員也從幾個(gè)人發(fā)展到一個(gè)部門甚至一條產(chǎn)品線。
所以成熟的系統(tǒng)架構(gòu)是隨著業(yè)務(wù)的擴(kuò)展而逐步完善的,并不是一蹴而就;不同業(yè)務(wù)特征的系統(tǒng),會(huì)有各自的側(cè)重點(diǎn)。
例如淘寶,要解決海量的商品信息的搜索、下單、支付;例如騰訊,要解決數(shù)億用戶的實(shí)時(shí)消息傳輸;百度要處理海量的搜索請(qǐng)求。
他們都有各自的業(yè)務(wù)特性,系統(tǒng)架構(gòu)也有所不同。盡管如此,我們也可以從這些不同的網(wǎng)站背景中,找出其中共用的技術(shù)。
這些技術(shù)和手段廣泛運(yùn)用在大型網(wǎng)站系統(tǒng)的架構(gòu)中,下面就通過介紹大型網(wǎng)站系統(tǒng)的演化過程,來認(rèn)識(shí)這些技術(shù)和手段。
最開始的網(wǎng)站架構(gòu)
最初的架構(gòu),應(yīng)用程序、數(shù)據(jù)庫、文件都部署在一臺(tái)服務(wù)器上,如下圖:
應(yīng)用、數(shù)據(jù)、文件分離
隨著業(yè)務(wù)的擴(kuò)展,一臺(tái)服務(wù)器已經(jīng)不能滿足性能需求,所以將應(yīng)用程序、數(shù)據(jù)庫、文件各自部署在獨(dú)立的服務(wù)器上,并且根據(jù)服務(wù)器的用途配置不同的硬件,達(dá)到最佳的性能效果。
利用緩存改善網(wǎng)站性能
在硬件優(yōu)化性能的同時(shí),也通過軟件進(jìn)行性能優(yōu)化,在大部分的網(wǎng)站系統(tǒng)中,都會(huì)利用緩存技術(shù)改善系統(tǒng)的性能。
使用緩存主要源于熱點(diǎn)數(shù)據(jù)的存在,大部分網(wǎng)站訪問都遵循 28 原則(即 80% 的訪問請(qǐng)求,最終落在 20% 的數(shù)據(jù)上),所以我們可以對(duì)熱點(diǎn)數(shù)據(jù)進(jìn)行緩存,減少這些數(shù)據(jù)的訪問路徑,提高用戶體驗(yàn)。
緩存實(shí)現(xiàn)常見的方式是本地緩存、分布式緩存。當(dāng)然還有 CDN、反向代理等。
本地緩存,顧名思義是將數(shù)據(jù)緩存在應(yīng)用服務(wù)器本地,可以存在內(nèi)存中,也可以存在文件,OSCache 就是常用的本地緩存組件。
本地緩存的特點(diǎn)是速度快,但因?yàn)楸镜乜臻g有限所以緩存數(shù)據(jù)量也有限。
分布式緩存的特點(diǎn)是,可以緩存海量的數(shù)據(jù),并且擴(kuò)展非常容易,在門戶類網(wǎng)站中常常被使用,速度按道理沒有本地緩存快,常用的分布式緩存是 Memcached、Redis。
使用集群改善應(yīng)用服務(wù)器性能
應(yīng)用服務(wù)器作為網(wǎng)站的入口,會(huì)承擔(dān)大量的請(qǐng)求,我們往往通過應(yīng)用服務(wù)器集群來分擔(dān)請(qǐng)求數(shù)。
應(yīng)用服務(wù)器前面部署負(fù)載均衡服務(wù)器調(diào)度用戶請(qǐng)求,根據(jù)分發(fā)策略將請(qǐng)求分發(fā)到多個(gè)應(yīng)用服務(wù)器節(jié)點(diǎn)。
常用的負(fù)載均衡技術(shù)硬件的有 F5,價(jià)格比較貴,軟件的有 LVS、Nginx、HAProxy。
LVS 是四層負(fù)載均衡,根據(jù)目標(biāo)地址和端口選擇內(nèi)部服務(wù)器,Nginx 和 HAProxy 是七層負(fù)載均衡,可以根據(jù)報(bào)文內(nèi)容選擇內(nèi)部服務(wù)器。
因此 LVS 分發(fā)路徑優(yōu)于 Nginx 和 HAProxy,性能要高些;而 Nginx 和 HAProxy 則更具配置性,如可以用來做動(dòng)靜分離(根據(jù)請(qǐng)求報(bào)文特征,選擇靜態(tài)資源服務(wù)器還是應(yīng)用服務(wù)器)。
數(shù)據(jù)庫讀寫分離和分庫分表
隨著用戶量的增加,數(shù)據(jù)庫成為大的瓶頸。改善數(shù)據(jù)庫性能常用的手段是進(jìn)行讀寫分離以及分庫分表,讀寫分離顧名思義就是將數(shù)據(jù)庫分為讀庫和寫庫,通過主備功能實(shí)現(xiàn)數(shù)據(jù)同步。
分庫分表則分為水平切分和垂直切分,水平切分是對(duì)一個(gè)數(shù)據(jù)庫特大的表進(jìn)行拆分,例如用戶表。
垂直切分則是根據(jù)業(yè)務(wù)的不同來切分,如用戶業(yè)務(wù)、商品業(yè)務(wù)相關(guān)的表放在不同的數(shù)據(jù)庫中。
使用 CDN 和反向代理提高網(wǎng)站性能
假如我們的服務(wù)器都部署在成都的機(jī)房,對(duì)于四川的用戶來說訪問是較快的,而對(duì)于北京的用戶訪問是較慢的。
這是由于四川和北京分別屬于電信和聯(lián)通的不同發(fā)達(dá)地區(qū),北京用戶訪問需要通過互聯(lián)路由器經(jīng)過較長的路徑才能訪問到成都的服務(wù)器,返回路徑也一樣,所以數(shù)據(jù)傳輸時(shí)間比較長。
對(duì)于這種情況,常常使用 CDN 解決,CDN 將數(shù)據(jù)內(nèi)容緩存到運(yùn)營商的機(jī)房,用戶訪問時(shí)先從最近的運(yùn)營商獲取數(shù)據(jù),這樣大大減少了網(wǎng)絡(luò)訪問的路徑。比較專業(yè)的 CDN 運(yùn)營商有藍(lán)汛、網(wǎng)宿。在此我向大家推薦一個(gè)架構(gòu)學(xué)習(xí)交流圈。交流學(xué)習(xí)「企鵝」「君羊」號(hào):948368769 里面會(huì)分享一些資深架構(gòu)師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務(wù)架構(gòu)的原理,JVM性能優(yōu)化、分布式架構(gòu)等這些成為架構(gòu)師必備的知識(shí)體系。還能領(lǐng)取免費(fèi)的學(xué)習(xí)資源,目前受益良多
而反向代理,則是部署在網(wǎng)站的機(jī)房,當(dāng)用戶請(qǐng)求達(dá)到時(shí)首先訪問反向代理服務(wù)器,反向代理服務(wù)器將緩存的數(shù)據(jù)返回給用戶。
如果沒有緩存數(shù)據(jù)才會(huì)繼續(xù)訪問應(yīng)用服務(wù)器獲取,這樣做減少了獲取數(shù)據(jù)的成本。反向代理有 Squid、Nginx。
使用分布式文件系統(tǒng)
用戶一天天增加,業(yè)務(wù)量越來越大,產(chǎn)生的文件越來越多,單臺(tái)的文件服務(wù)器已經(jīng)不能滿足需求,這時(shí)就需要分布式文件系統(tǒng)的支撐。常用的分布式文件系統(tǒng)有 GFS、HDFS、TFS。
使用 NoSQL 和搜索引擎
對(duì)于海量數(shù)據(jù)的查詢和分析,我們使用 NoSQL 數(shù)據(jù)庫加上搜索引擎可以達(dá)到更好的性能。并不是所有的數(shù)據(jù)都要放在關(guān)系型數(shù)據(jù)中。
常用的 NoSQL 有 MongoDB、HBase、Redis,搜索引擎有 Lucene、Solr、Elasticsearch。
將應(yīng)用服務(wù)器進(jìn)行業(yè)務(wù)拆分
隨著業(yè)務(wù)進(jìn)一步擴(kuò)展,應(yīng)用程序變得非常臃腫,這時(shí)我們需要將應(yīng)用程序進(jìn)行業(yè)務(wù)拆分,如百度分為新聞、網(wǎng)頁、圖片等業(yè)務(wù)。
每個(gè)業(yè)務(wù)應(yīng)用負(fù)責(zé)相對(duì)獨(dú)立的業(yè)務(wù)運(yùn)作。業(yè)務(wù)之間通過消息進(jìn)行通信或者共享數(shù)據(jù)庫來實(shí)現(xiàn)。
搭建分布式服務(wù)
這時(shí)我們發(fā)現(xiàn)各個(gè)業(yè)務(wù)應(yīng)用都會(huì)使用到一些基本的業(yè)務(wù)服務(wù),例如用戶服務(wù)、訂單服務(wù)、支付服務(wù)、安全服務(wù),這些服務(wù)是支撐各業(yè)務(wù)應(yīng)用的基本要素。
我們將這些服務(wù)抽取出來利用分步式服務(wù)框架搭建分布式服務(wù)。阿里的 Dubbo 是一個(gè)不錯(cuò)的選擇。
大型電商網(wǎng)站架構(gòu)案例
采用電商案例的原因
分布式大型網(wǎng)站,目前看主要有幾類:
1.大型門戶,比如網(wǎng)易,新浪等。
2.SNS 網(wǎng)站,比如校內(nèi),開心網(wǎng)等。
3.電商網(wǎng)站,比如阿里巴巴,京東商城,國美在線,汽車之家等。
大型門戶一般是新聞?lì)愋畔?,可以使?CDN,靜態(tài)化等方式優(yōu)化,開心網(wǎng)等交互性比較多,可能會(huì)引入更多的 NoSQL,分布式緩存,使用高性能的通信框架等。
電商網(wǎng)站具備以上兩類的特點(diǎn),比如產(chǎn)品詳情可以采用 CDN,靜態(tài)化,交互性高的需要采用 NoSQL 等技術(shù)。因此,我們采用電商網(wǎng)站作為案例,進(jìn)行分析。
電商網(wǎng)站需求
客戶需求:
1.建立一個(gè)全品類的電子商務(wù)網(wǎng)站(B2C),用戶可以在線購買商品,可以在線支付,也可以貨到付款。
2.用戶購買時(shí)可以在線與客服溝通。
3.用戶收到商品后,可以給商品打分,評(píng)價(jià)。
4.目前有成熟的進(jìn)銷存系統(tǒng);需要與網(wǎng)站對(duì)接。
5.希望能夠支持 3~5 年,業(yè)務(wù)的發(fā)展。
6.預(yù)計(jì) 3~5 年,用戶數(shù)達(dá)到 1000 萬。
7.定期舉辦雙 11、雙 12、三八男人節(jié)等活動(dòng)。
8.其他的功能參考京東或國美在線等網(wǎng)站。
客戶就是客戶,不會(huì)告訴你具體要什么,只會(huì)告訴你他想要什么,我們很多時(shí)候要引導(dǎo),挖掘客戶的需求。好在提供了明確的參考網(wǎng)站。在此我向大家推薦一個(gè)架構(gòu)學(xué)習(xí)交流圈。交流學(xué)習(xí)企鵝「君羊」號(hào):948368769 里面會(huì)分享一些資深架構(gòu)師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務(wù)架構(gòu)的原理,JVM性能優(yōu)化、分布式架構(gòu)等這些成為架構(gòu)師必備的知識(shí)體系。還能領(lǐng)取免費(fèi)的學(xué)習(xí)資源,目前受益良多
因此,下一步要進(jìn)行大量的分析,結(jié)合行業(yè),以及參考網(wǎng)站,給客戶提供方案。
需求功能矩陣
這是需求管理傳統(tǒng)的做法,會(huì)使用用例圖或模塊圖(需求列表)進(jìn)行需求的描述。
這樣做常常忽視掉一個(gè)很重要的需求(非功能需求),因此推薦大家使用需求功能矩陣,進(jìn)行需求描述。
本電商網(wǎng)站的需求矩陣如下:
網(wǎng)站初級(jí)架構(gòu)
一般網(wǎng)站,剛開始的做法,是三臺(tái)服務(wù)器,一臺(tái)部署應(yīng)用,一臺(tái)部署數(shù)據(jù)庫,一臺(tái)部署 NFS 文件系統(tǒng)。
這是前幾年比較傳統(tǒng)的做法,之前見到一個(gè)網(wǎng)站 10 萬多會(huì)員,垂直服裝設(shè)計(jì)門戶,N 多圖片。
使用了一臺(tái)服務(wù)器部署了應(yīng)用,數(shù)據(jù)庫以及圖片存儲(chǔ)。出現(xiàn)了很多性能問題,如下圖:
但是,目前主流的網(wǎng)站架構(gòu)已經(jīng)發(fā)生了翻天覆地的變化。一般都會(huì)采用集群的方式,進(jìn)行高可用設(shè)計(jì)。
至少是上面這個(gè)樣子:
使用集群對(duì)應(yīng)用服務(wù)器進(jìn)行冗余,實(shí)現(xiàn)高可用。(負(fù)載均衡設(shè)備可與應(yīng)用一塊部署)
使用數(shù)據(jù)庫主備模式,實(shí)現(xiàn)數(shù)據(jù)備份和高可用。
系統(tǒng)容量預(yù)估
預(yù)估步驟:
1.注冊(cè)用戶數(shù)-日均 UV 量-每日的 PV 量-每天的并發(fā)量。
2.峰值預(yù)估:平常量的 2~3 倍。
3.根據(jù)并發(fā)量(并發(fā),事務(wù)數(shù)),存儲(chǔ)容量計(jì)算系統(tǒng)容量。
根據(jù)客戶需求:3~5 年用戶數(shù)達(dá)到 1000 萬注冊(cè)用戶,可以做每秒并發(fā)數(shù)預(yù)估:
1.每天的 UV 為 200 萬(二八原則)。
2.每日每天點(diǎn)擊瀏覽 30 次。
3.PV 量:200*30=6000 萬。
4.集中訪問量:240.2=4.8 小時(shí)會(huì)有 6000 萬0.8=4800 萬(二八原則)。
5.每分并發(fā)量:4.8*60=288 分鐘,每分鐘訪問 4800/288=16.7 萬(約等于)。
6.每秒并發(fā)量:16.7萬/60=2780(約等于)。
7.假設(shè):高峰期為平常值的三倍,則每秒的并發(fā)數(shù)可以達(dá)到 8340 次。
8.1 毫秒=1.3 次訪問。
沒好好學(xué)數(shù)學(xué)后悔了吧??。ú恢酪陨纤闶欠裼绣e(cuò)誤,呵呵~~)
服務(wù)器預(yù)估:(以 Tomcat 服務(wù)器舉例)
按一臺(tái) Web 服務(wù)器,支持每秒 300 個(gè)并發(fā)計(jì)算。平常需要 10 臺(tái)服務(wù)器(約等于);[tomcat 默認(rèn)配置是 150],高峰期需要 30 臺(tái)服務(wù)器。
容量預(yù)估:70/90 原則
系統(tǒng) CPU 一般維持在 70% 左右的水平,高峰期達(dá)到 90% 的水平,是不浪費(fèi)資源,并比較穩(wěn)定的。內(nèi)存,IO 類似。
以上預(yù)估僅供參考,因?yàn)榉?wù)器配置,業(yè)務(wù)邏輯復(fù)雜度等都有影響。在此 CPU,硬盤,網(wǎng)絡(luò)等不再進(jìn)行評(píng)估。
網(wǎng)站架構(gòu)分析
根據(jù)以上預(yù)估,有幾個(gè)問題:
1.需要部署大量的服務(wù)器,高峰期計(jì)算,可能要部署 30 臺(tái) Web 服務(wù)器。并且這三十臺(tái)服務(wù)器,只有秒殺,活動(dòng)時(shí)才會(huì)用到,存在大量的浪費(fèi)。
2.所有的應(yīng)用部署在同一臺(tái)服務(wù)器,應(yīng)用之間耦合嚴(yán)重。需要進(jìn)行垂直切分和水平切分。
3.大量應(yīng)用存在冗余代碼。
4.服務(wù)器 Session 同步耗費(fèi)大量內(nèi)存和網(wǎng)絡(luò)帶寬。
5.數(shù)據(jù)需要頻繁訪問數(shù)據(jù)庫,數(shù)據(jù)庫訪問壓力巨大。
大型網(wǎng)站一般需要做以下架構(gòu)優(yōu)化(優(yōu)化是架構(gòu)設(shè)計(jì)時(shí),就要考慮的,一般從架構(gòu)/代碼級(jí)別解決,調(diào)優(yōu)主要是簡單參數(shù)的調(diào)整,比如 JVM 調(diào)優(yōu);如果調(diào)優(yōu)涉及大量代碼改造,就不是調(diào)優(yōu)了,屬于重構(gòu)):
1.業(yè)務(wù)拆分
2.應(yīng)用集群部署(分布式部署,集群部署和負(fù)載均衡)
3.多級(jí)緩存
4.單點(diǎn)登錄(分布式 Session)
5.數(shù)據(jù)庫集群(讀寫分離,分庫分表)
6.服務(wù)化
7.消息隊(duì)列
8.其他技術(shù)
網(wǎng)站架構(gòu)優(yōu)化
業(yè)務(wù)拆分
根據(jù)業(yè)務(wù)屬性進(jìn)行垂直切分,劃分為產(chǎn)品子系統(tǒng),購物子系統(tǒng),支付子系統(tǒng),評(píng)論子系統(tǒng),客服子系統(tǒng),接口子系統(tǒng)(對(duì)接如進(jìn)銷存,短信等外部系統(tǒng))。
根據(jù)業(yè)務(wù)子系統(tǒng)進(jìn)行等級(jí)定義,可分為:
核心系統(tǒng),產(chǎn)品子系統(tǒng),購物子系統(tǒng),支付子系統(tǒng)。
非核心系統(tǒng),評(píng)論子系統(tǒng),客服子系統(tǒng),接口子系統(tǒng)。
業(yè)務(wù)拆分作用:提升為子系統(tǒng)可由專門的團(tuán)隊(duì)和部門負(fù)責(zé),專業(yè)的人做專業(yè)的事,解決模塊之間耦合以及擴(kuò)展性問題;每個(gè)子系統(tǒng)單獨(dú)部署,避免集中部署導(dǎo)致一個(gè)應(yīng)用掛了,全部應(yīng)用不可用的問題。
等級(jí)定義作用:用于流量突發(fā)時(shí),對(duì)關(guān)鍵應(yīng)用進(jìn)行保護(hù),實(shí)現(xiàn)優(yōu)雅降級(jí);保護(hù)關(guān)鍵應(yīng)用不受到影響。
拆分后的架構(gòu)圖:
參考部署方案 2:
如上圖每個(gè)應(yīng)用單獨(dú)部署,核心系統(tǒng)和非核心系統(tǒng)組合部署。
應(yīng)用集群部署(分布式,集群,負(fù)載均衡)
分布式部署:將業(yè)務(wù)拆分后的應(yīng)用單獨(dú)部署,應(yīng)用直接通過 RPC 進(jìn)行遠(yuǎn)程通信。
集群部署:電商網(wǎng)站的高可用要求,每個(gè)應(yīng)用至少部署兩臺(tái)服務(wù)器進(jìn)行集群部署。
負(fù)載均衡:是高可用系統(tǒng)必須的,一般應(yīng)用通過負(fù)載均衡實(shí)現(xiàn)高可用,分布式服務(wù)通過內(nèi)置的負(fù)載均衡實(shí)現(xiàn)高可用,關(guān)系型數(shù)據(jù)庫通過主備方式實(shí)現(xiàn)高可用。
集群部署后架構(gòu)圖:
多級(jí)緩存
緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級(jí)緩存的方式,進(jìn)行緩存的設(shè)計(jì)。
一級(jí)緩存為本地緩存,二級(jí)緩存為分布式緩存。(還有頁面緩存,片段緩存等,那是更細(xì)粒度的劃分)
一級(jí)緩存,緩存數(shù)據(jù)字典,和常用熱點(diǎn)數(shù)據(jù)等基本不可變/有規(guī)則變化的信息,二級(jí)緩存緩存需要的所有緩存。
當(dāng)一級(jí)緩存過期或不可用時(shí),訪問二級(jí)緩存的數(shù)據(jù)。如果二級(jí)緩存也沒有,則訪問數(shù)據(jù)庫。
緩存的比例,一般 1:4,即可考慮使用緩存。(理論上是 1:2 即可):
根據(jù)業(yè)務(wù)特性可使用以下緩存過期策略:
1.緩存自動(dòng)過期
2.緩存觸發(fā)過期
單點(diǎn)登錄(分布式 Session)
系統(tǒng)分割為多個(gè)子系統(tǒng),獨(dú)立部署后,不可避免的會(huì)遇到會(huì)話管理的問題。一般可采用 Session 同步,Cookies,分布式 Session 方式。電商網(wǎng)站一般采用分布式 Session 實(shí)現(xiàn)。
再進(jìn)一步可以根據(jù)分布式 Session,建立完善的單點(diǎn)登錄或賬戶管理系統(tǒng)。
流程說明如上圖:
用戶第一次登錄時(shí),將會(huì)話信息(用戶 ID 和用戶信息),比如以用戶 ID 為 Key,寫入分布式 Session。
用戶再次登錄時(shí),獲取分布式 Session,是否有會(huì)話信息,如果沒有則調(diào)到登錄頁。
一般采用 Cache 中間件實(shí)現(xiàn),建議使用 Redis,因此它有持久化功能,方便分布式 Session 宕機(jī)后,可以從持久化存儲(chǔ)中加載會(huì)話信息。
存入會(huì)話時(shí),可以設(shè)置會(huì)話保持的時(shí)間,比如 15 分鐘,超過后自動(dòng)超時(shí)。在此我向大家推薦一個(gè)架構(gòu)學(xué)習(xí)交流圈。交流學(xué)習(xí)「企鵝」「君羊」號(hào):948368769 里面會(huì)分享一些資深架構(gòu)師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務(wù)架構(gòu)的原理,JVM性能優(yōu)化、分布式架構(gòu)等這些成為架構(gòu)師必備的知識(shí)體系。還能領(lǐng)取免費(fèi)的學(xué)習(xí)資源,目前受益良多
結(jié)合 Cache 中間件,實(shí)現(xiàn)的分布式 Session,可以很好的模擬 Session 會(huì)話。
數(shù)據(jù)庫集群(讀寫分離,分庫分表)
大型網(wǎng)站需要存儲(chǔ)海量的數(shù)據(jù),為達(dá)到海量數(shù)據(jù)存儲(chǔ),高可用,高性能一般采用冗余的方式進(jìn)行系統(tǒng)設(shè)計(jì)。一般有兩種方式讀寫分離和分庫分表。
讀寫分離:一般解決讀比例遠(yuǎn)大于寫比例的場景,可采用一主一備,一主多備或多主多備方式。
本案例在業(yè)務(wù)拆分的基礎(chǔ)上,結(jié)合分庫分表和讀寫分離,如上圖:
業(yè)務(wù)拆分后:每個(gè)子系統(tǒng)需要單獨(dú)的庫。
如果單獨(dú)的庫太大,可以根據(jù)業(yè)務(wù)特性,進(jìn)行再次分庫,比如商品分類庫,產(chǎn)品庫。
分庫后,如果表中有數(shù)據(jù)量很大的,則進(jìn)行分表,一般可以按照 ID,時(shí)間等進(jìn)行分表;(高級(jí)的用法是一致性 Hash)
在分庫、分表的基礎(chǔ)上,進(jìn)行讀寫分離。
相關(guān)中間件可參考 Cobar(阿里,目前已不在維護(hù)),TDDL(阿里),Atlas(奇虎360),MyCat。
分庫分表后序列的問題,JOIN,事務(wù)的問題,會(huì)在分庫分表主題分享中介紹。
服務(wù)化
將多個(gè)子系統(tǒng)公用的功能/模塊,進(jìn)行抽取,作為公用服務(wù)使用。比如本案例的會(huì)員子系統(tǒng)就可以抽取為公用的服務(wù)。
消息隊(duì)列
消息隊(duì)列可以解決子系統(tǒng)/模塊之間的耦合,實(shí)現(xiàn)異步,高可用,高性能的系統(tǒng)。它是分布式系統(tǒng)的標(biāo)準(zhǔn)配置。
本案例中,消息隊(duì)列主要應(yīng)用在購物,配送環(huán)節(jié):
用戶下單后,寫入消息隊(duì)列,后直接返回客戶端。
庫存子系統(tǒng):讀取消息隊(duì)列信息,完成減庫存。
配送子系統(tǒng):讀取消息隊(duì)列信息,進(jìn)行配送。
目前使用較多的 MQ 有 Active MQ、Rabbit MQ、Zero MQ、MS MQ 等,需要根據(jù)具體的業(yè)務(wù)場景進(jìn)行選擇,建議可以研究下 Rabbit MQ。
其他架構(gòu)(技術(shù))
除了以上介紹的業(yè)務(wù)拆分,應(yīng)用集群,多級(jí)緩存,單點(diǎn)登錄,數(shù)據(jù)庫集群,服務(wù)化,消息隊(duì)列外,還有 CDN,反向代理,分布式文件系統(tǒng),大數(shù)據(jù)處理等系統(tǒng)。
大型網(wǎng)站的架構(gòu)是根據(jù)業(yè)務(wù)需求不斷完善的,根據(jù)不同的業(yè)務(wù)特征會(huì)做特定的設(shè)計(jì)和考慮。
本文只是講述一個(gè)常規(guī)大型網(wǎng)站會(huì)涉及的一些技術(shù)和手段,希望能給大家?guī)韱l(fā)。
創(chuàng)新互聯(lián)www.cdcxhl.cn,專業(yè)提供香港、美國云服務(wù)器,動(dòng)態(tài)BGP最優(yōu)骨干路由自動(dòng)選擇,持續(xù)穩(wěn)定高效的網(wǎng)絡(luò)助力業(yè)務(wù)部署。公司持有工信部辦法的idc、isp許可證, 機(jī)房獨(dú)有T級(jí)流量清洗系統(tǒng)配攻擊溯源,準(zhǔn)確進(jìn)行流量調(diào)度,確保服務(wù)器高可用性。佳節(jié)活動(dòng)現(xiàn)已開啟,新人活動(dòng)云服務(wù)器買多久送多久。
分享題目:手把手教你構(gòu)建一個(gè)高性能、高可用的大型分布式網(wǎng)站-創(chuàng)新互聯(lián)
文章位置:http://m.newbst.com/article12/dhcidc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站制作、搜索引擎優(yōu)化、網(wǎng)站策劃、響應(yīng)式網(wǎng)站、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站改版
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容