什么是New SQL?分析NewSQL是如何融合NoSQL和RDBMS兩者的優勢

NewSQL是對一類現代關系型數據庫的統稱，這類數據庫對于一般的OLTP讀寫請求提供可橫向擴展的性能，同時支持事務的ACID保證。這些系統既擁有NoSQL數據庫的擴展性，又保持傳統數據庫的事務特性。NewSQL重新將“應用程序邏輯與數據操作邏輯應該分離”的理念帶回到現代數據庫的世界，這也驗證了歷史的發展總是呈現出螺旋上升的形式。

十多年的和田縣網站建設經驗，針對設計、前端、開發、售后、文案、推廣等六對一服務，響應快，48小時及時工作處理。營銷型網站的優勢是能夠根據用戶設備顯示端的尺寸不同，自動調整和田縣建站的顯示方式，使網站能夠適用不同顯示終端，在瀏覽器中調整網站的寬度，無論在任何一種瀏覽器上瀏覽網站，都能展現優雅布局與設計，從而大程度地提升瀏覽體驗。創新互聯從事“和田縣網站設計”,“和田縣網站推廣”以來，每個客戶項目都認真落實執行。

在21世紀00年代中，出現了許多數據倉庫系統 (如 Vertica，Greeplum 和AsterData)，這些以處理OLAP 請求為設計目標的系統并不在本文定義的NewSQL范圍內。OLAP 數據庫更關注針對海量數據的大型、復雜、只讀的查詢，查詢時間可能持續秒級、分鐘級甚至更長。

NoSQL的擁躉普遍認為阻礙傳統數據庫橫向擴容、提高可用性的原因在于ACID保證和關系模型，因此NoSQL運動的核心就是放棄事務強一致性以及關系模型，擁抱最終一致性和其它數據模型?(如 key/value，graphs 和Documents)。

兩個最著名的NoSQL數據庫就是Google的BigTable和Amazon的Dynamo，由于二者都未開源，其它組織就開始推出類似的開源替代項目，包括Facebook的 Cassandra (基于BigTable和Dynamo)、PowerSet的 Hbase(基于BigTable)。有一些創業公司也加入到這場NoSQL運動中，它們不一定是受BigTable和Dynamo的啟發，但都響應了NoSQL的哲學，其中最出名的就是MongoDB。

在21世紀00年代末，市面上已經有許多供用戶選擇的分布式數據庫產品。使用NoSQL的優勢在于應用開發者可以更關注應用邏輯本身，而非數據庫的擴展性問題；但與此同時許多應用，如金融系統、訂單處理系統，由于無法放棄事務的一致性要求被拒之門外。

一些組織，如Google，已經發現他們的許多工程師將過多的精力放在處理數據一致性上，這既暴露了數據庫的抽象、又提高了代碼的復雜度，這時候要么選擇回到傳統DBMS時代，用更高的機器配置縱向擴容，要么選擇回到中間件時代，開發支持分布式事務的中間件。這兩種方案成本都很高，于是NewSQL運動開始醞釀。

NewSQL數據庫設計針對的讀寫事務有以下特點：

1、耗時短。

2、使用索引查詢，涉及少量數據。

3、重復度高，通常使用相同的查詢語句和不同的查詢參考。

也有一些學者認為NewSQL系統是特指實現上使用Lock-free并發控制技術和share-nothing架構的數據庫。所有我們認為是NewSQL的數據庫系統確實都有這樣的特點。

如何配合使用NoSQL和SQL，特別是原子性問題存在的時候

而傳統的關系數據庫在應付web2.0網站，特別是超大規模和高并發的SNS類型的web2.0純動態網站已經顯得力不從心，暴露了很多難以克服的問題，例如：

1、High performance - 對數據庫高并發讀寫的需求

web2.0網站要根據用戶個性化信息來實時生成動態頁面和提供動態信息，所以基本上無法使用動態頁面靜態化技術，因此數據庫并發負載非常高，往往要達到每秒上萬次讀寫請求。關系數據庫應付上萬次SQL查詢還勉強頂得住，但是應付上萬次SQL寫數據請求，硬盤IO就已經無法承受了。其實對于普通的BBS網站，往往也存在對高并發寫請求的需求。

2、Huge Storage - 對海量數據的高效率存儲和訪問的需求

對于大型的SNS網站，每天用戶產生海量的用戶動態，以國外的Friendfeed為例，一個月就達到了2.5億條用戶動態，對于關系數據庫來說，在一張2.5億條記錄的表里面進行SQL查詢，效率是極其低下乃至不可忍受的。再例如大型web網站的用戶登錄系統，例如騰訊，盛大，動輒數以億計的帳號，關系數據庫也很難應付。

如何實現NewSQL，NoSQL與OldSQL的混合部署

在大數據時代，“多種架構支持多類應用”成為數據庫行業應對大數據的基本思路，數據庫行業出現互為補充的三大陣營，適用于事務處理應用的OldSQL、適用于數據分析應用的NewSQL和適用于互聯網應用的NoSQL。但在一些復雜的應用場景中，單一數據庫架構都不能完全滿足應用場景對海量結構化和非結構化數據的存儲管理、復雜分析、關聯查詢、實時性處理和控制建設成本等多方面的需要，因此不同架構數據庫混合部署應用成為滿足復雜應用的必然選擇。不同架構數據庫混合使用的模式可以概括為：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過三個案例對不同架構數據庫的混合應用部署進行介紹。

OldSQL+NewSQL 在數據中心類應用中混合部署

采用OldSQL+NewSQL模式構建數據中心，在充分發揮OldSQL數據庫的事務處理能力的同時，借助NewSQL在實時性、復雜分析、即席查詢等方面的獨特優勢，以及面對海量數據時較強的擴展能力，滿足數據中心對當前“熱”數據事務型處理和海量歷史“冷”數據分析兩方面的需求。OldSQL+NewSQL模式在數據中心類應用中的互補作用體現在，OldSQL彌補了NewSQL不適合事務處理的不足，NewSQL彌補了OldSQL在海量數據存儲能力和處理性能方面的缺陷。

商業銀行數據中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL數據庫滿足各業務系統數據的歸檔備份和事務型應用，NewSQL MPP數據庫集群對即席查詢、多維分析等應用提供高性能支持，并且通過MPP集群架構實現應對海量數據存儲的擴展能力。

商業銀行數據中心存儲架構

與傳統的OldSQL模式相比，商業銀行數據中心采用OldSQL+NewSQL混合搭建模式，數據加載性能提升3倍以上，即席查詢和統計分析性能提升6倍以上。NewSQL MPP的高可擴展性能夠應對新的業務需求，可隨著數據量的增長采用集群方式構建存儲容量更大的數據中心。

OldSQL+NoSQL 在互聯網大數據應用中混合部署

在互聯網大數據應用中采用OldSQL+NoSQL混合模式，能夠很好的解決互聯網大數據應用對海量結構化和非結構化數據進行存儲和快速處理的需求。在諸如大型電子商務平臺、大型SNS平臺等互聯網大數據應用場景中，OldSQL在應用中負責高價值密度結構化數據的存儲和事務型處理，NoSQL在應用中負責存儲和處理海量非結構化的數據和低價值密度結構化數據。OldSQL+NoSQL模式在互聯網大數據應用中的互補作用體現在，OldSQL彌補了NoSQL在ACID特性和復雜關聯運算方面的不足，NoSQL彌補了OldSQL在海量數據存儲和非結構化數據處理方面的缺陷。

數據魔方是淘寶網的一款數據產品，主要提供行業數據分析、店鋪數據分析。淘寶數據產品在存儲層采用OldSQL+NoSQL混合模式，由基于MySQL的分布式關系型數據庫集群MyFOX和基于HBase的NoSQL存儲集群Prom組成。由于OldSQL強大的語義和關系表達能力，在應用中仍然占據著重要地位，目前存儲在MyFOX中的統計結果數據已經達到10TB，占據著數據魔方總數據量的95%以上。另一方面，NoSQL作為SQL的有益補充，解決了OldSQL數據庫無法解決的全屬性選擇器等問題。

淘寶海量數據產品技術架構

基于OldSQL+NoSQL混合架構的特點，數據魔方目前已經能夠提供壓縮前80TB的數據存儲空間，支持每天4000萬的查詢請求，平均響應時間在28毫秒，足以滿足未來一段時間內的業務增長需求。

NewSQL+NoSQL 在行業大數據應用中混合部署

行業大數據與互聯網大數據的區別在于行業大數據的價值密度更高，并且對結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等都比互聯網大數據有更高的要求。行業大數據應用場景主要是分析類應用，如：電信、金融、政務、能源等行業的決策輔助、預測預警、統計分析、經營分析等。

在行業大數據應用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在結構化數據分析處理方面的優勢，以及NoSQL在非結構數據處理方面的優勢，實現NewSQL與NoSQL的功能互補，解決行業大數據應用對高價值結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等要求，以及對海量非結構化數據存儲和精確查詢的要求。在應用中，NewSQL承擔高價值密度結構化數據的存儲和分析處理工作，NoSQL承擔存儲和處理海量非結構化數據和不需要關聯分析、Ad-hoc查詢較少的低價值密度結構化數據的工作。

當前電信運營商在集中化BI系統建設過程中面臨著數據規模大、數據處理類型多等問題，并且需要應對大量的固定應用，以及占統計總數80%以上的突發性臨時統計(ad-hoc)需求。在集中化BI系統的建設中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在復雜分析、即席查詢等方面處理性能的優勢，及NoSQL在非結構化數據處理和海量數據存儲方面的優勢，實現高效低成本。

集中化BI系統數據存儲架構

集中化BI系統按照數據類型和處理方式的不同，將結構化數據和非結構化數據分別存儲在不同的系統中：非結構化數據在Hadoop平臺上存儲與處理;結構化、不需要關聯分析、Ad-hoc查詢較少的數據保存在NoSQL數據庫或Hadoop平臺;結構化、需要關聯分析或經常ad-hoc查詢的數據，保存在NewSQL MPP數據庫中，短期高價值數據放在高性能平臺，中長期放在低成本產品中。

結語

當前信息化應用的多樣性、復雜性，以及三種數據庫架構各自所具有的優勢和局限性，造成任何一種架構的數據庫都不能完全滿足應用需求，因此不同架構數據庫混合使用，從而彌補其他架構的不足成為必然選擇。根據應用場景采用不同架構數據庫進行組合搭配，充分發揮每種架構數據庫的特點和優勢，并且與其他架構數據庫形成互補，完全涵蓋應用需求，保證數據資源的最優化利用，將成為未來一段時期內信息化應用主要采用的解決方式。

目前在國內市場上，OldSQL主要為Oracle、IBM等國外數據庫廠商所壟斷，達夢、金倉等國產廠商仍處于追趕狀態;南大通用憑借國產新型數據庫GBase 8a異軍突起，與EMC的Greenplum和HP的Vertica躋身NewSQL市場三強;NoSQL方面用戶則大多采用Hadoop開源方案。

NoSQL 數據庫：何時使用 NoSQL 與 SQL？

NoSQL 數據庫因其功能性、易于開發性和可擴展性而廣受認可，它們越來越多地用于大數據和實時 Web 應用程序，在本文中，我們通過示例討論 NoSQL、何時使用 NoSQL 與 SQL 及其用例。

NoSQL是一種下一代數據庫管理系統 (DBMS)。NoSQL 數據庫具有靈活的模式，可用于構建具有大量數據和高負載的現代應用程序。

“NoSQL”一詞最初是由 Carlo Strozzi 在 1998 年創造的，盡管自 1960 年代后期以來就已經存在類似的數據庫。然而，NoSQL 的發展始于 2009 年初，并且發展迅速。

在處理大量數據時，任何關系數據庫管理系統 (RDBMS) 的響應時間都會變慢。為了解決這個問題，我們可以通過升級現有硬件來“擴大”信息系統，這非常昂貴。但是，NoSQL 可以更好地橫向擴展并且更具成本效益。

NoSQL 對于非結構化或非常大的數據對象（例如聊天日志數據、視頻或圖像）非常有用，這就是為什么 NoSQL 在微軟、谷歌、亞馬遜、Meta (Facebook) 等互聯網巨頭中特別受歡迎的原因。

一些流行的 NoSQL 數據庫包括：

隨著企業更快地積累更大的數據集，結構化數據和關系模式并不總是適合。有必要使用非結構化數據和大型對象來更好地捕獲這些信息。

傳統的 RDBMS 使用 SQL（結構化查詢語言）語法來存儲和檢索結構化數據，相反，NoSQL 數據庫包含廣泛的功能，可以存儲和檢索結構化、半結構化、非結構化和多態數據。

有時，NoSQL 也被稱為“ 不僅僅是 SQL ”，強調它可能支持類似 SQL 的語言或與 SQL 數據庫并列。SQL 和 NoSQL DBMS 之間的一個區別是 JOIN 功能。SQL 數據庫使用 JOIN 子句來組合來自兩個或多個表的行，因為 NoSQL 數據庫本質上不是表格的，所以這個功能并不總是可行或相關的。

但是，一些 NoSQL DBMS 可以執行類似于 JOIN的操作——就像 MongoDB 一樣。這并不意味著不再需要 SQL DBMS，相反，NoSQL 和 SQL 數據庫傾向于以不同的方式解決類似的問題。

一般來說，在以下情況下，NoSQL 比 SQL 更可取：

許多行業都在采用 NoSQL，取代關系數據庫，從而為某些業務應用程序提供更高的靈活性和可擴展性，下面給出了 NoSQL 數據庫的一些企業用例。

內容管理是一組用于收集、管理、傳遞、檢索和發布任何格式的信息的過程，包括文本、圖像、音頻和視頻。NoSQL 數據庫可以通過其靈活和開放的數據模型為存儲多媒體內容提供更好的選擇。

例如，福布斯在短短幾個月內就構建了一個基于 MongoDB 的定制內容管理系統，以更低的成本為他們提供了更大的敏捷性。

大數據是指太大而無法通過傳統處理系統處理的數據集，實時存儲和檢索大數據的系統在分析 歷史 數據的同時使用流處理來攝取新數據，這是一系列非常適合 NoSQL 數據庫的功能。

Zoom使用 DynamoDB（按需模式）使其數據能夠在沒有性能問題的情況下進行擴展，即使該服務在 COVID-19 大流行的早期使用量激增。

物聯網設備具有連接到互聯網或通信網絡的嵌入式軟件和傳感器，能夠在無需人工干預的情況下收集和共享數據。隨著數十億臺設備生成數不清的數據，IoT NoSQL 數據庫為 IoT 服務提供商提供了可擴展性和更靈活的架構。

Freshub就是這樣的一項服務，它從 MySQL 切換到 MongoDB，以更好地處理其大型、動態、非統一的數據集。

擁有數十億智能手機用戶，可擴展性正成為在移動設備上提供服務的企業面臨的最大挑戰。具有更靈活數據模型的 NoSQL DBMS 通常是完美的解決方案。

例如，The Weather Channel使用 MongoDB 數據庫每分鐘處理數百萬個請求，同時還處理用戶數據并提供天氣更新。

文章題目：SQL結合noSQL,sql 內部結合和外部結合
當前URL：http://m.newbst.com/article28/dssedjp.html

成都網站建設公司_創新互聯，為您提供網站策劃、微信小程序、App設計、ChatGPT、虛擬主機、品牌網站設計

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯