golang sync.pool對象復用 并發原理 緩存池

在go http每一次go serve(l)都會構建Request數據結構。在大量數據請求或高并發的場景中，頻繁創建銷毀對象，會導致GC壓力。解決辦法之一就是使用對象復用技術。在http協議層之下，使用對象復用技術創建Request數據結構。在http協議層之上，可以使用對象復用技術創建(w,*r,ctx)數據結構。這樣即可以回快TCP層讀包之后的解析速度，也可也加快請求處理的速度。

創新互聯專注于驛城企業網站建設,自適應網站建設,電子商務商城網站建設。驛城網站建設公司,為驛城等地區提供建站服務。全流程按需網站開發，專業設計，全程項目跟蹤，創新互聯專業和態度為您提供的服務

先上一個測試：

結論是這樣的：

貌似使用池化，性能弱爆了？？？這似乎與net/http使用sync.pool池化Request來優化性能的選擇相違背。這同時也說明了一個問題，好的東西，如果濫用反而造成了性能成倍的下降。在看過pool原理之后，結合實例，將給出正確的使用方法，并給出預期的效果。

sync.Pool是一個 協程安全 的 臨時對象池 。數據結構如下：

local 成員的真實類型是一個 poolLocal 數組，localSize 是數組長度。這涉及到Pool實現，pool為每個P分配了一個對象，P數量設置為runtime.GOMAXPROCS(0)。在并發讀寫時，goroutine綁定的P有對象，先用自己的，沒有去偷其它P的。go語言將數據分散在了各個真正運行的P中，降低了鎖競爭，提高了并發能力。

不要習慣性地誤認為New是一個關鍵字，這里的New是Pool的一個字段，也是一個閉包名稱。其API：

如果不指定New字段，對象池為空時會返回nil，而不是一個新構建的對象。Get()到的對象是隨機的。

原生sync.Pool的問題是，Pool中的對象會被GC清理掉，這使得sync.Pool只適合做簡單地對象池，不適合作連接池。

pool創建時不能指定大小，沒有數量限制。pool中對象會被GC清掉，只存在于兩次GC之間。實現是pool的init方法注冊了一個poolCleanup()函數，這個方法在GC之前執行，清空pool中的所有緩存對象。

為使多協程使用同一個POOL。最基本的想法就是每個協程，加鎖去操作共享的POOL，這顯然是低效的。而進一步改進，類似于ConcurrentHashMap（JDK7）的分Segment，提高其并發性可以一定程度性緩解。

注意到pool中的對象是無差異性的，加鎖或者分段加鎖都不是較好的做法。go的做法是為每一個綁定協程的P都分配一個子池。每個子池又分為私有池和共享列表。共享列表是分別存放在各個P之上的共享區域，而不是各個P共享的一塊內存。協程拿自己P里的子池對象不需要加鎖，拿共享列表中的就需要加鎖了。

Get對象過程：

Put過程：

如何解決Get最壞情況遍歷所有P才獲取得對象呢：

方法1止前sync.pool并沒有這樣的設置。方法2由于goroutine被分配到哪個P由調度器調度不可控，無法確保其平衡。

由于不可控的GC導致生命周期過短，且池大小不可控，因而不適合作連接池。僅適用于增加對象重用機率，減少GC負擔。2

執行結果:

單線程情況下，遍歷其它無元素的P，長時間加鎖性能低下。啟用協程改善。

結果：

測試場景在goroutines遠大于GOMAXPROCS情況下，與非池化性能差異巨大。

測試結果

可以看到同樣使用*sync.pool，較大池大小的命中率較高，性能遠高于空池。

結論：pool在一定的使用條件下提高并發性能，條件1是協程數遠大于GOMAXPROCS，條件2是池中對象遠大于GOMAXPROCS。歸結成一個原因就是使對象在各個P中均勻分布。

池pool和緩存cache的區別。池的意思是，池內對象是可以互換的，不關心具體值，甚至不需要區分是新建的還是從池中拿出的。緩存指的是KV映射，緩存里的值互不相同，清除機制更為復雜。緩存清除算法如LRU、LIRS緩存算法。

池空間回收的幾種方式。一些是GC前回收，一些是基于時鐘或弱引用回收。最終確定在GC時回收Pool內對象，即不回避GC。用java的GC解釋弱引用。GC的四種引用：強引用、弱引用、軟引用、虛引用。虛引用即沒有引用，弱引用GC但有空間則保留，軟引用GC即清除。ThreadLocal的值為弱引用的例子。

regexp 包為了保證并發時使用同一個正則，而維護了一組狀態機。

fmt包做字串拼接，從sync.pool拿[]byte對象。避免頻繁構建再GC效率高很多。

GO語言商業案例（十八）：stream

切換到新語言始終是一大步，尤其是當您的團隊成員只有一個時有該語言的先前經驗。現在，Stream 的主要編程語言從 Python 切換到了 Go。這篇文章將解釋stream決定放棄 Python 并轉向 Go 的一些原因。

Go 非常快。性能類似于 Java 或 C++。對于用例，Go 通常比 Python 快 40 倍。

對于許多應用程序來說，編程語言只是應用程序和數據庫之間的粘合劑。語言本身的性能通常并不重要。然而，Stream 是一個API 提供商，為 700 家公司和超過 5 億最終用戶提供提要和聊天平臺。多年來，我們一直在優化 Cassandra、PostgreSQL、Redis 等，但最終，您會達到所使用語言的極限。Python 是一門很棒的語言，但對于序列化/反序列化、排名和聚合等用例，它的性能相當緩慢。我們經常遇到性能問題，Cassandra 需要 1 毫秒來檢索數據，而 Python 會花費接下來的 10 毫秒將其轉換為對象。

看看我如何開始 Go 教程中的一小段 Go 代碼。（這是一個很棒的教程，也是學習 Go 的一個很好的起點。）

如果您是 Go 新手，那么在閱讀那個小代碼片段時不會有太多讓您感到驚訝的事情。它展示了多個賦值、數據結構、指針、格式和一個內置的 HTTP 庫。當我第一次開始編程時，我一直喜歡使用 Python 更高級的功能。Python 允許您在編寫代碼時獲得相當的創意。例如，您可以：

這些功能玩起來很有趣，但是，正如大多數程序員會同意的那樣，在閱讀別人的作品時，它們通常會使代碼更難理解。Go 迫使你堅持基礎。這使得閱讀任何人的代碼并立即了解發生了什么變得非常容易。 注意：當然，它實際上有多“容易”取決于您的用例。如果你想創建一個基本的 CRUD API，我仍然推薦 Django + DRF或 Rails。

作為一門語言，Go 試圖讓事情變得簡單。它沒有引入許多新概念。重點是創建一種非常快速且易于使用的簡單語言。它唯一具有創新性的領域是 goroutine 和通道。（100% 正確CSP的概念始于 1977 年，所以這項創新更多是對舊思想的一種新方法。）Goroutines 是 Go 的輕量級線程方法，通道是 goroutines 之間通信的首選方式。Goroutines 的創建非常便宜，并且只需要幾 KB 的額外內存。因為 Goroutine 非常輕量，所以有可能同時運行數百甚至數千個。您可以使用通道在 goroutine 之間進行通信。Go 運行時處理所有復雜性。goroutines 和基于通道的并發方法使得使用所有可用的 CPU 內核和處理并發 IO 變得非常容易——所有這些都不會使開發復雜化。與 Python/Java 相比，在 goroutine 上運行函數需要最少的樣板代碼。您只需在函數調用前加上關鍵字“go”：

Go 的并發方法很容易使用。與 Node 相比，這是一種有趣的方法，開發人員必須密切關注異步代碼的處理方式。Go 中并發的另一個重要方面是競爭檢測器。這樣可以很容易地確定異步代碼中是否存在任何競爭條件。

我們目前用 Go 編寫的最大的微服務編譯需要 4 秒。與以編譯速度慢而聞名的 Java 和 C++ 等語言相比，Go 的快速編譯時間是一項重大的生產力勝利。我喜歡在程序編譯的時候摸魚，但在我還記得代碼應該做什么的同時完成事情會更好。

首先，讓我們從顯而易見的開始：與 C++ 和 Java 等舊語言相比，Go 開發人員的數量并不多。根據StackOverflow的數據， 38% 的開發人員知道 Java， 19.3% 的人知道 C++，只有 4.6% 的人知道 Go。GitHub 數據顯示了類似的趨勢：Go 比 Erlang、Scala 和 Elixir 等語言使用更廣泛，但不如 Java 和 C++ 流行。幸運的是，Go 是一種非常簡單易學的語言。它提供了您需要的基本功能，僅此而已。它引入的新概念是“延遲”聲明和內置的并發管理與“goroutines”和通道。（對于純粹主義者來說：Go 并不是第一種實現這些概念的語言，只是第一種使它們流行起來的語言。）任何加入團隊的 Python、Elixir、C++、Scala 或 Java 開發人員都可以在一個月內在 Go 上發揮作用，因為它的簡單性。與許多其他語言相比，我們發現組建 Go 開發人員團隊更容易。如果您在博爾德和阿姆斯特丹等競爭激烈的生態系統中招聘人員，這是一項重要的優勢。

對于我們這樣規模的團隊（約 20 人）來說，生態系統很重要。如果您必須重新發明每一個小功能，您根本無法為您的客戶創造價值。Go 對我們使用的工具有很好的支持。實體庫已經可用于 Redis、RabbitMQ、PostgreSQL、模板解析、任務調度、表達式解析和 RocksDB。與 Rust 或 Elixir 等其他較新的語言相比，Go 的生態系統是一個重大勝利。它當然不如 Java、Python 或 Node 之類的語言好，但它很可靠，而且對于許多基本需求，你會發現已經有高質量的包可用。

Gofmt 是一個很棒的命令行實用程序，內置在 Go 編譯器中，用于格式化代碼。就功能而言，它與 Python 的 autopep8 非常相似。我們大多數人并不真正喜歡爭論制表符與空格。格式的一致性很重要，但實際的格式標準并不那么重要。Gofmt 通過使用一種正式的方式來格式化您的代碼來避免所有這些討論。

Go 對協議緩沖區和 gRPC 具有一流的支持。這兩個工具非常適合構建需要通過 RPC 通信的微服務。您只需要編寫一個清單，在其中定義可以進行的 RPC 調用以及它們采用的參數。然后從這個清單中自動生成服務器和客戶端代碼。生成的代碼既快速又具有非常小的網絡占用空間并且易于使用。從同一個清單中，您甚至可以為許多不同的語言生成客戶端代碼，例如 C++、Java、Python 和 Ruby。因此，內部流量不再有模棱兩可的 REST 端點，您每次都必須編寫幾乎相同的客戶端和服務器代碼。.

Go 沒有像 Rails 用于 Ruby、Django 用于 Python 或 Laravel 用于 PHP 那樣的單一主導框架。這是 Go 社區內激烈爭論的話題，因為許多人主張你不應該一開始就使用框架。我完全同意這對于某些用例是正確的。但是，如果有人想構建一個簡單的 CRUD API，他們將更容易使用 Django/DJRF、Rails Laravel 或Phoenix。對于 Stream 的用例，我們更喜歡不使用框架。然而，對于許多希望提供簡單 CRUD API 的新項目來說，缺乏主導框架將是一個嚴重的劣勢。

Go 通過簡單地從函數返回錯誤并期望調用代碼來處理錯誤（或將其返回到調用堆棧）來處理錯誤。雖然這種方法有效，但很容易失去問題的范圍，以確保您可以向用戶提供有意義的錯誤。錯誤包通過允許您向錯誤添加上下文和堆棧跟蹤來解決此問題。另一個問題是很容易忘記處理錯誤。像 errcheck 和 megacheck 這樣的靜態分析工具可以方便地避免犯這些錯誤。雖然這些變通辦法效果很好，但感覺不太對勁。您希望該語言支持正確的錯誤處理。

Go 的包管理絕不是完美的。默認情況下，它無法指定特定版本的依賴項，也無法創建可重現的構建。Python、Node 和 Ruby 都有更好的包管理系統。但是，使用正確的工具，Go 的包管理工作得很好。您可以使用Dep來管理您的依賴項，以允許指定和固定版本。除此之外，我們還貢獻了一個名為的開源工具VirtualGo，它可以更輕松地處理用 Go 編寫的多個項目。

我們進行的一個有趣的實驗是在 Python 中使用我們的排名提要功能并在 Go 中重寫它。看看這個排名方法的例子：

Python 和 Go 代碼都需要執行以下操作來支持這種排名方法：

開發 Python 版本的排名代碼大約花了 3 天時間。這包括編寫代碼、單元測試和文檔。接下來，我們花了大約 2 周的時間優化代碼。其中一項優化是將分數表達式 (simple_gauss(time)*popularity) 轉換為抽象語法樹. 我們還實現了緩存邏輯，可以在未來的特定時間預先計算分數。相比之下，開發此代碼的 Go 版本大約需要 4 天時間。性能不需要任何進一步的優化。因此，雖然 Python 的最初開發速度更快，但基于 Go 的版本最終需要我們團隊的工作量大大減少。另外一個好處是，Go 代碼的執行速度比我們高度優化的 Python 代碼快大約 40 倍。現在，這只是我們通過切換到 Go 體驗到的性能提升的一個示例。

與 Python 相比，我們系統的其他一些組件在 Go 中構建所需的時間要多得多。作為一個總體趨勢，我們看到 開發 Go 代碼需要更多的努力。但是，我們花更少的時間 優化 代碼以提高性能。

我們評估的另一種語言是Elixir.。Elixir 建立在 Erlang 虛擬機之上。這是一種迷人的語言，我們之所以考慮它，是因為我們的一名團隊成員在 Erlang 方面擁有豐富的經驗。對于我們的用例，我們注意到 Go 的原始性能要好得多。Go 和 Elixir 都可以很好地服務數千個并發請求。但是，如果您查看單個請求的性能，Go 對于我們的用例來說要快得多。我們選擇 Go 而不是 Elixir 的另一個原因是生態系統。對于我們需要的組件，Go 有更成熟的庫，而在許多情況下，Elixir 庫還沒有準備好用于生產環境。培訓/尋找開發人員使用 Elixir 也更加困難。這些原因使天平向 Go 傾斜。Elixir 的 Phoenix 框架看起來很棒，絕對值得一看。

Go 是一種非常高性能的語言，對并發有很好的支持。它幾乎與 C++ 和 Java 等語言一樣快。雖然與 Python 或 Ruby 相比，使用 Go 構建東西確實需要更多時間，但您將節省大量用于優化代碼的時間。我們在Stream有一個小型開發團隊，為超過 5 億最終用戶提供動力和聊天。Go 結合了 強大的生態系統 、新開發人員的 輕松入門、快速的性能 、對并發的 可靠支持和高效的編程環境 ，使其成為一個不錯的選擇。Stream 仍然在我們的儀表板、站點和機器學習中利用 Python 來提供個性化的訂閱源. 我們不會很快與 Python 說再見，但今后所有性能密集型代碼都將使用 Go 編寫。我們新的聊天 API也完全用 Go 編寫。

為什么要使用 Go 語言?Go 語言的優勢在哪里?

1、簡單易學。

Go語言的作者本身就很懂C語言，所以同樣Go語言也會有C語言的基因，所以對于程序員來說，Go語言天生就會讓人很熟悉，容易上手。

2、并發性好。

Go語言天生支持并發，可以充分利用多核，輕松地使用并發。 這是Go語言最大的特點。

描述

Go的語法接近C語言，但對于變量的聲明有所不同。Go支持垃圾回收功能。Go的并行模型是以東尼·霍爾的通信順序進程（CSP）為基礎，采取類似模型的其他語言包括Occam和Limbo，但它也具有Pi運算的特征，比如通道傳輸。

在1.8版本中開放插件（Plugin）的支持，這意味著現在能從Go中動態加載部分函數。

與C++相比，Go并不包括如枚舉、異常處理、繼承、泛型、斷言、虛函數等功能，但增加了 切片(Slice) 型、并發、管道、垃圾回收、接口（Interface）等特性的語言級支持。

為什么要使用 Go 語言？Go 語言的優勢在哪里

1、學習曲線

它包含了類C語法、GC內置和工程工具。這一點非常重要，因為Go語言容易學習，所以一個普通的大學生花一個星期就能寫出來可以上手的、高性能的應用。在國內大家都追求快，這也是為什么國內Go流行的原因之一。

2、效率

Go擁有接近C的運行效率和接近PHP的開發效率，這就很有利的支撐了上面大家追求快速的需求。

3、出身名門、血統純正

之所以說Go語言出身名門，是因為我們知道Go語言出自Google公司，這個公司在業界的知名度和實力自然不用多說。Google公司聚集了一批牛人，在各種編程語言稱雄爭霸的局面下推出新的編程語言，自然有它的戰略考慮。而且從Go語言的發展態勢來看，Google對它這個新的寵兒還是很看重的，Go自然有一個良好的發展前途。我們看看Go語言的主要創造者，血統純正這點就可見端倪了。

4、組合的思想、無侵入式的接口

Go語言可以說是開發效率和運行效率二者的完美融合，天生的并發編程支持。Go語言支持當前所有的編程范式，包括過程式編程、面向對象編程以及函數式編程。

5、強大的標準庫

這包括互聯網應用、系統編程和網絡編程。Go里面的標準庫基本上已經是非常穩定，特別是我這里提到的三個，網絡層、系統層的庫非常實用。

6、部署方便

我相信這一點是很多人選擇Go的最大理由，因為部署太方便，所以現在也有很多人用Go開發運維程序。

7、簡單的并發

它包含降低心智的并發和簡易的數據同步，我覺得這是Go最大的特色。之所以寫正確的并發、容錯和可擴展的程序如此之難，是因為我們用了錯誤的工具和錯誤的抽象，Go可以說這一塊做的相當簡單。

8、穩定性

Go擁有強大的編譯檢查、嚴格的編碼規范和完整的軟件生命周期工具，具有很強的穩定性，穩定壓倒一切。那么為什么Go相比于其他程序會更穩定呢?這是因為Go提供了軟件生命周期的各個環節的工具，如go

tool、gofmt、go test。

Go語言有什么優勢？

GO語言的優勢：可直接編譯成機器碼，不依賴其他庫，glibc的版本有一定要求，部署就是扔一個文件上去就完成了。靜態類型語言，但是有動態語言的感覺，靜態類型的語言就是可以在編譯的時候檢查出來隱藏的大多數問題，動態語言的感覺就是有很多的包可以使用，寫起來的效率很高。語言層面支持并發，這個就是Go最大的特色，天生的支持并發，我曾經說過一句話，天生的基因和整容是有區別的，大家一樣美麗，但是你喜歡整容的還是天生基因的美麗呢？Go就是基因里面支持的并發，可以充分的利用多核，很容易的使用并發。內置runtime，支持垃圾回收，這屬于動態語言的特性之一吧，雖然目前來說GC不算完美，但是足以應付我們所能遇到的大多數情況，特別是Go1.1之后的GC。簡單易學，Go語言的作者都有C的基因，那么Go自然而然就有了C的基因，那么Go關鍵字是25個，但是表達能力很強大，幾乎支持大多數你在其他語言見過的特性：繼承、重載、對象等。豐富的標準庫，Go目前已經內置了大量的庫，特別是網絡庫非常強大，我最愛的也是這部分。內置強大的工具，Go語言里面內置了很多工具鏈，最好的應該是gofmt工具，自動化格式化代碼，能夠讓團隊review變得如此的簡單，代碼格式一模一樣，想不一樣都很困難。跨平臺編譯，如果你寫的Go代碼不包含cgo，那么就可以做到window系統編譯linux的應用，如何做到的呢？Go引用了plan9的代碼，這就是不依賴系統的信息。Go語言這么多的優勢，你還不想學嗎？我記得當時我看的是黑馬程序員的視頻，我對他們視頻的印象就是通俗易懂，就是好！

go語言可以做什么

1、服務器編程：以前你如果使用C或者C++做的那些事情，用Go來做很合適，例如處理日志、數據打包、虛擬機處理、文件系統等。

2、分布式系統、數據庫代理器、中間件：例如Etcd。

3、網絡編程：這一塊目前應用最廣，包括Web應用、API應用、下載應用，而且Go內置的net/http包基本上把我們平常用到的網絡功能都實現了。

4、開發云平臺：目前國外很多云平臺在采用Go開發，我們所熟知的七牛云、華為云等等都有使用Go進行開發并且開源的成型的產品。

5、區塊鏈：目前有一種說法，技術從業人員把Go語言稱作為區塊鏈行業的開發語言。如果大家學習區塊鏈技術的話，就會發現現在有很多很多的區塊鏈的系統和應用都是采用Go進行開發的，比如ehtereum是目前知名度最大的公鏈，再比如fabric是目前最知名的聯盟鏈，兩者都有go語言的版本，且go-ehtereum還是以太坊官方推薦的版本。

自1.0版發布以來，go語言引起了眾多開發者的關注，并得到了廣泛的應用。go語言簡單、高效、并發的特點吸引了許多傳統的語言開發人員，其數量也在不斷增加。

使用 Go 語言開發的開源項目非常多。早期的 Go 語言開源項目只是通過 Go 語言與傳統項目進行C語言庫綁定實現，例如 Qt、Sqlite 等。

后期的很多項目都使用 Go 語言進行重新原生實現，這個過程相對于其他語言要簡單一些，這也促成了大量使用 Go 語言原生開發項目的出現。

文章題目：go語言的并發性能 go常用的并發模型
網頁路徑：http://m.newbst.com/article10/hihpdo.html

成都網站建設公司_創新互聯，為您提供企業建站、網站制作、網站設計公司、商城網站、定制網站、網站改版

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯