2021-03-06 分類: 網站建設
近期工作,跟網絡協議相關,這讓我有機會更深入學習網絡協議,而之前很長一段時間,我對網絡協議的理解都停留在比較淺的層面。
比如:TCP是面向連接的、可靠傳輸,而UDP是非連接的、不可靠傳輸,TCP建連需要3次握手,會造成delay,UDP更快。
比如:socket編程,服務器socket create、bind、listen、accept、read/write、shutdown/close,客戶端socket create、connect、read/write、shutdown/close,再加上epoll/select這幾下子。
再比如:我知道網絡編程要忽視SIGPIPE信號不然會掛,read返回0代表對端主動關閉,非阻塞的read要放在循環里要考慮返回值,多路復用以及阻塞、非阻塞的區別。
TCP/UDP的區別上,我是這樣理解的:從北京到杭州,TCP相當于修了一條高鐵線路(建連)再通車發貨(傳輸數據),而UDP相當于寄快遞,丟了不管(直接傳輸數據)。
上面的理解對不對?可以說對,也可以說不對。對于應用程序員來說,有了上面的認識+熟悉socket編程接口,夠了嗎?不夠嗎?
大物理學家費曼提出一個高效的費曼學習法,即從問題入手,試著把問題都講出來,以教代學,一旦你能把問題都講清楚,便學會了。所以我想嘗試一下把TCP/IP講清楚,借此讓自己學明白,順便幫助一下讀者。
雖然《TCP/IP詳解卷1》是一本關于互聯網協議族很嚴謹詳盡的書,但在我看來,它稍微有點晦澀,可能需要讀幾遍,才能心領神會。雖然我沒有能力把這個問題說的更好,但因為我經歷過從稀里糊涂到稍有所悟的過程,這可能是大師不可比的,我將盡量用通俗易懂的語言把TCP/IP相關的知識講清楚。
之間的相互通信。TCP和IP只是其中的2個協議,也是很重要的2個協議,所以用TCP/IP來命名這個互聯網協議族,實際上,它還包括其他協議,比如UDP、ICMP、IGMP、ARP/RARP等。
四層劃分,兩種劃分的對照圖讓彼此關系一目了然。
分層是計算機領域的常用技巧,比如互聯網后端的三層架構“接入-邏輯-存儲”就是分層思想的典型應用。
分層是為了隔離,通過分層劃分職能,拆解問題,層與層之間約定接口,屏蔽實現細節。
TCP/IP自下到上劃分為鏈路層、網絡層、傳輸層、應用層。下層向上層提供能力,上層利用下層的能力提供更高的抽象。
1. 鏈路層,也稱網絡接口層,包括操作系統的設備驅動程序和網卡,它們一起處理與傳輸媒介(光纖等)的物理接口細節。
2. 網絡層,也就是IP層,負責處理IP datagram在網絡中的傳輸,IP層傳輸的是IP datagram,借助路由表,把IP datagram從網絡的一端傳輸到另一端,簡而言之:IP實現包的路由傳輸,IP協議和路由器工作在網絡層。
3. 傳輸層,提供端到端之間的通信,包括提供面向連接和高可靠性的TCP,以及無連接不可靠的UDP。貌似TCP更好,但實際不是這樣,UDP因為不需要建連開銷,所以更快,應用得也很廣,比如新一代互聯網協議HTTP3就從TCP轉向UDP,應根據適應場景選擇傳輸層協議。
4. 應用層,跟應用相關,不同應用解決不同問題,需要不同的應用層協議。
鏈路層處理數據在媒介上的傳輸,以及主機與網卡、光纖等打交道的細節。因為與硬件相關,所以需要借助系統的驅動程序,鏈路層協議就是定義這些細節的,比如怎么把數據從網卡發送到光纖,采用什么格式編碼等,它解決的數據在媒介上表示、流動的問題。
光有鏈路層功能肯定是不夠的,網絡上有成千上萬的機器,主機A與B通信,你不能將數據發到主機C,所以仿照現實,要為主機分配網絡地址,通過IP地址去標識網絡中的一臺主機,發送一個數據包,需要正確路由到目的地,這就好比你從家到公司,要經過哪些路徑,需要地圖,而路由表就類似這張地圖。IP解決的是數據包在網絡中的傳輸路由的問題。
有了網絡層的傳輸路由能力,還不夠,因為IP報在傳輸過程中可能丟包,比如中間經歷過的路由器緩沖區滿了便會丟包,這樣不可靠,如果需要可靠傳輸的能力,便需要傳輸層基于IP層,提供更多的能力,TCP解決了可靠性問題。具體而言,如果丟包了,TCP層會負責超時重傳,它通過接收確認和重傳機制保證了可靠傳輸。另外,因為IP報都是獨立路由的,所以從主機A到主機B,一份數據被拆分成x、y兩個IP報先后發送,這2個包可能選擇不同的傳輸路徑,這樣有可能y包先于x包到達,但我們希望在接收端(主機B)恢復這個數據的信息,但我們無法控制IP報的到達順序,所以,我們需要在接收端恢復數據,我只需要在x、y包里記錄它屬于數據塊的哪個部分,然后重組這份數據,這正是TCP做的,它會重新組裝IP報,從而保證順序性,遞交給應用層。
有時候并不需要保證可靠性和順序性,這便是UDP能提供的,它只是簡單的把數據封裝成IP報,然后通過IP層路由發送到目的端。
再往上,便是應用層協議了,比如http,又比如游戲服務器自定義協議,應用層協議通常基于TCP或者UDP做傳輸。
協議?懶得去翻協議的各種權威定義了,我認為協議就是約定,跟現實生活中協議這個詞含義差不多。網絡協議就是通信雙方共同遵守的約定,更具體一點,就是定義數據在網絡上傳輸的格式、規則和流程。
因為網絡是分層模型,不同層有不同層的作用,所以為各層定義各層的規則,各層對應的各層協議。
前面講了TCP/IP協議族包含很多協議,這些協議分屬不同的分層,承擔不同的作用。
應用層和傳輸層使用端到端(end-to-end)協議,網絡層提供的是逐跳(hop-by-hop)協議。
層層封裝的,從應用層到鏈路層,每經過一層都要添加一些額外信息(首、尾部)。
更準確的說,在IP和鏈路層傳輸的數據單元叫分組(Packet),分組既可以是一個IP datagram也可以是IP datagram的一個分片(fragment)。
UDP的封裝跟TCP略有不同,主要體現在經過傳輸層(UDP)之后添加的是8字節UDP首部,產生UDP datagram。
封裝過程中,經過TCP/UDP層的時候,會把端口號添加到TCP/UDP首部;經過IP層的時候,會把協議類型(TCP or UDP or ICMP or IGMP)添加到IP首部;經過鏈路層的時候,會把幀類型(IP or ARP or RARP)添加到以太網首部。這些信息將被用于接收端的處理。
接收端收到數據后,要執行跟發送端相反的解封操作,我們可以把發送端的數據封裝比喻成洗澡后一層層穿衣服,而接收端的操作,類似洗澡前一層層脫衣服,把首尾部剝離,獲取傳遞的原始數據。
因為網絡上的主機有不同字節序,現在要通過網絡傳輸,便需要約定統一的網絡字節序(大端序),采用小端序的主機在網絡傳輸數據的時候要轉為大端序。
點分十進制表示法,很顯然,點分十進制法和int32兩種表示法之間很容易相互轉換。
IPv4地址劃分為ABCDE五類,32位地址表示的數值空間有限,難以為互聯網上的所有聯網設備分配獨立的IP地址,所以便存在動態分配、共享、公網+內網地址轉化(NAT)等問題,本質上是為了解決IP地址不夠用的問題。
IPv6使用128bit,2的128次方就非常大了,號稱可以為地球上每粒沙子分配一個ip地址。
IP數據報(網絡層)用IP地址、而以太網幀(鏈路層)則是用硬件(48位Mac)地址,ARP和RARP用于IP地址和硬件地址之間做映射(轉換)。
B的內核收到該IP報之后,應該交給哪個應用程序去處理呢?端口號就是用來干這個的,內核會維護端口號到應用程序之間的對應關系。
比較常用的應用層協議有約定的端口號,也就是知名端口號,而1024~5000之間的端口號是分配給TCP/IP臨時用的,而大于5000的另做他用。也就是說,你用TCP方式去連網絡服務器,本地為該socket分配的端口號會在1024~5000之間,這取決于操作系統的端口分配策略。
域名系統(DNS)提供主機名字和IP地址之間的轉換,比如www.baidu.com是一個域名,應用程序可以通過一個標準庫函數(gethostbyname)來獲得給定名字主機的IP地址,標準庫函數(gethostbyaddr)實現逆操作。
ip地址是一串數字,含義不清、也不便于記憶,主機名含義更清晰,www.baidu.com你就很容易記住,這也是為什么存在IP地址還需要主機名的原因。
剝洋蔥一樣,從協議棧由底向上升,即遵照鏈路層->網絡層->傳輸層->應用層的順序,去掉各層協議添加的首尾部,將數據取出,交給最上層應用程序,這個過程叫Demultiplexing,尊從書本的翻譯叫分用。
回顧前面封裝的描述,在傳輸層、網絡層、鏈路層,分別將端口號存入TCP/IP首部,將協議類型存入IP首部,將幀類型存入以太網幀首部。所以在接收端,將一層層拆掉首部,取出對應信息,然后做分派,丟給不同模塊處理,上圖就是整個處理過程。
域名、端口、TCP/IP分層模型、封裝、分用等概念。
你最好能記住TCP/IP鏈路層->網絡層->傳輸層->應用層的四層劃分。
TCP segment、UDP datagram、IP datagram、IP fragment、以太網frame、以及IP層和鏈路層之間傳輸的數據單元packet,這些概念你最好分清楚,這樣交談的時候會顯得比較專業而不是很土。
數據封裝,多看幾遍你便能記住了。
TCP封裝格式:以太網首部(14)+IP首部(20)+TCP首部(20)+應用數據+以太網尾部(4)
UDP封裝格式:以太網首部(14)+IP首部(20)+UDP首部(8)+應用數據+以太網尾部(4)
應用層協議在應用層實現,而傳輸層、網絡層、鏈路層都是在內核實現,所以想修改或者優化底層協議很難,因為你幾乎動不了內核,因為網絡上的大量設備OS你沒法一并改過來,這就是所謂的網絡設備僵化問題,HTTP3用UDP替代TCP,就是想在應用層自己去實現可靠傳輸等。
每個以太網幀有長度限制(48~1500),網絡上每個設備也有對包的長度限制,IP報大了就要分片,分片可能發生在發送端,也有可能發生在中間設備,但應該盡量避免分片,IP報會帶有信息讓分片后可以重組,MTU的概念可以了解一下。
ICMP和IGMP邏輯上屬于網絡層,因為他們是IP協議的附屬協議,但實際上,ICMP和IGMP報文都被封裝為IP datagram傳輸,所以又可以把他們視為IP層之上的協議。
同樣ARP和RARP用于IP地址和硬件MAC地址相互轉換,邏輯上屬于鏈路層,但實際上arp和rarp報文跟IP datagram一樣,都被封裝成以太網Frame傳輸。
接收端收到以太網幀之后,會走分用流程,最終將原始數據交給應用程序。
TCP/IP協議的應用程序經常使用socket編程接口。
有很多跟網絡相關的工具,比如ping、ifconfig、netstat、arp、tcpdump、wireshark等。
主機A都可以任意發一個IP報到主機B,網絡主機之間是通過IP層實現路由轉發的,兩點之間的每個IP報都是獨立路由的,既然這樣,為什么還要建連?還要浪費時間做A->B、B->A、A->B來回?直接把包發過去不就完了嗎?
假設通過AB建立的3個IP報的作用是表示AB之間的網絡連通性?哪又有什么作用?因為網絡是隨時變化的,此刻連通又不代表下一刻連通。建連之后似乎并不存在AB之間的真正連接,只是兩端OS層面維護的一個狀態(數據對象)?是虛擬連接?
建連到底是什么意思?客戶端發送一個IP報到服務器去發起連接?那跟傳輸數據的普通IP報又有什么區別?
雙工是什么意思?為什么socket關閉一半傳輸之后就不能發送數據了?網絡上IP報不是可以任意傳輸嗎?這個限制是哪個地方添加的?
擁塞控制是什么?Nagle是什么?滑動窗口是什么?TCP為什么要保活?
socekt的編程接口和各種概念跟TCP/IP原理有怎樣的對應關系?學完TCP/IP原理對理解socket編程有什么幫助?
沒有深究TCP/IP原理之前,我其實是有很多問題的,只是做應用程序開發,好像沒搞懂那些問題也還可以湊合干,但終究是有點糊里糊涂,感覺不太爽。
本來我想一篇文章講清楚TCP/IP的主要內容,但是寫著寫著發現,這樣文章會非常長,所以我決定多寫幾篇,每篇都講清楚一個主題。
當前文章:通俗易懂講解什么是TCP/IP
分享鏈接:http://m.newbst.com/news21/104471.html
成都網站建設公司_創新互聯,為您提供全網營銷推廣、搜索引擎優化、響應式網站、網站導航、動態網站、做網站
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯
猜你還喜歡下面的內容