高性能 NoSQL

關系數據庫經過幾十年的發展，已經非常成熟，但同時也存在不足：

創新互聯建站專注于企業營銷型網站建設、網站重做改版、亞東網站定制設計、自適應品牌網站建設、H5場景定制、商城系統網站開發、集團公司官網建設、成都外貿網站建設公司、高端網站制作、響應式網頁設計等建站業務，價格優惠性價比高，為亞東等各大城市提供網站開發制作服務。

表結構是強約束的，業務變更時擴充很麻煩。

如果對大數據量的表進行統計運算，I/O會很高，因為即使只針對某列進行運算，也需要將整行數據讀入內存。

全文搜索只能使用 Like 進行整表掃描，性能非常低。

針對這些不足，產生了不同的 NoSQL 解決方案，在某些場景下比關系數據庫更有優勢，但同時也犧牲了某些特性，所以不能片面的迷信某種方案，應將其作為 SQL 的有利補充。

NoSQL != No SQL，而是：

NoSQL = Not Only SQL

典型的 NoSQL 方案分為4類：

Redis 是典型，其 value 是具體的數據結構，包括 string, hash, list, set, sorted set, bitmap, hyperloglog，常被稱為數據結構服務器。

以 list 為例：

LPOP key 是移除并返回隊列左邊的第一個元素。

如果用關系數據庫就比較麻煩了，需要操作：

Redis 的缺點主要體現在不支持完成的ACID事務，只能保證隔離性和一致性，無法保證原子性和持久性。

最大的特點是 no-schema，無需在使用前定義字段，讀取一個不存在的字段也不會導致語法錯誤。

特點：

以電商為例，不同商品的屬性差異很大，如冰箱和電腦，這種差異性在關系數據庫中會有很大的麻煩，而使用文檔數據庫則非常方便。

文檔數據庫的主要缺點：

關系數據庫是按行來存儲的，列式數據庫是按照列來存儲數據。

按行存儲的優勢：

在某些場景下，這些優勢就成為劣勢了，例如，計算超重人員的數據，只需要讀取體重這一列進行統計即可，但行式存儲會將整行數據讀取到內存中，很浪費。

而列式存儲中，只需要讀取體重這列的數據即可，I/O 將大大減少。

除了節省I/O，列式存儲還有更高的壓縮比，可以節省存儲空間。普通行式數據庫的壓縮比在 3:1 到 5:1 左右，列式數據庫在 8:1 到 30:1，因為單個列的數據相似度更高。

列式存儲的隨機寫效率遠低于行式存儲，因為行式存儲時同一行多個列都存儲在連續空間中，而列式存儲將不同列存儲在不連續的空間。

一般將列式存儲應用在離線大數據分析統計場景，因為這時主要針對部分列進行操作，而且數據寫入后無須更新。

關系數據庫通過索引進行快速查詢，但在全文搜索的情景下，索引就不夠了，因為：

假設有一個交友網站，信息表如下：

需要匹配性別、地點、語言列。

需要匹配性別、地點、愛好列。

實際搜索中，各種排列組合非常多，關系數據庫很難支持。

全文搜索引擎是使用 倒排索引 技術，建立單詞到文檔的索引，例如上面的表信息建立倒排索引：

所以特別適合根據關鍵詞來查詢文檔內容。

上面介紹了幾種典型的NoSQL方案，及各自的適用場景和特點，您可以根據實際需求進行選擇。

newsql和nosql的區別和聯系

在大數據時代，“多種架構支持多類應用”成為數據庫行業應對大數據的基本思路，數據庫行業出現互為補充的三大陣營，適用于事務處理應用的OldSQL、適用于數據分析應用的NewSQL和適用于互聯網應用的NoSQL。但在一些復雜的應用場景中，單一數據庫架構都不能完全滿足應用場景對海量結構化和非結構化數據的存儲管理、復雜分析、關聯查詢、實時性處理和控制建設成本等多方面的需要，因此不同架構數據庫混合部署應用成為滿足復雜應用的必然選擇。不同架構數據庫混合使用的模式可以概括為：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過三個案例對不同架構數據庫的混合應用部署進行介紹。

OldSQL+NewSQL 在數據中心類應用中混合部署

采用OldSQL+NewSQL模式構建數據中心，在充分發揮OldSQL數據庫的事務處理能力的同時，借助NewSQL在實時性、復雜分析、即席查詢等方面的獨特優勢，以及面對海量數據時較強的擴展能力，滿足數據中心對當前“熱”數據事務型處理和海量歷史“冷”數據分析兩方面的需求。OldSQL+NewSQL模式在數據中心類應用中的互補作用體現在，OldSQL彌補了NewSQL不適合事務處理的不足，NewSQL彌補了OldSQL在海量數據存儲能力和處理性能方面的缺陷。

商業銀行數據中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL數據庫滿足各業務系統數據的歸檔備份和事務型應用，NewSQL MPP數據庫集群對即席查詢、多維分析等應用提供高性能支持，并且通過MPP集群架構實現應對海量數據存儲的擴展能力。

商業銀行數據中心存儲架構

與傳統的OldSQL模式相比，商業銀行數據中心采用OldSQL+NewSQL混合搭建模式，數據加載性能提升3倍以上，即席查詢和統計分析性能提升6倍以上。NewSQL MPP的高可擴展性能夠應對新的業務需求，可隨著數據量的增長采用集群方式構建存儲容量更大的數據中心。

OldSQL+NoSQL 在互聯網大數據應用中混合部署

在互聯網大數據應用中采用OldSQL+NoSQL混合模式，能夠很好的解決互聯網大數據應用對海量結構化和非結構化數據進行存儲和快速處理的需求。在諸如大型電子商務平臺、大型SNS平臺等互聯網大數據應用場景中，OldSQL在應用中負責高價值密度結構化數據的存儲和事務型處理，NoSQL在應用中負責存儲和處理海量非結構化的數據和低價值密度結構化數據。OldSQL+NoSQL模式在互聯網大數據應用中的互補作用體現在，OldSQL彌補了NoSQL在ACID特性和復雜關聯運算方面的不足，NoSQL彌補了OldSQL在海量數據存儲和非結構化數據處理方面的缺陷。

數據魔方是淘寶網的一款數據產品，主要提供行業數據分析、店鋪數據分析。淘寶數據產品在存儲層采用OldSQL+NoSQL混合模式，由基于MySQL的分布式關系型數據庫集群MyFOX和基于HBase的NoSQL存儲集群Prom組成。由于OldSQL強大的語義和關系表達能力，在應用中仍然占據著重要地位，目前存儲在MyFOX中的統計結果數據已經達到10TB，占據著數據魔方總數據量的95%以上。另一方面，NoSQL作為SQL的有益補充，解決了OldSQL數據庫無法解決的全屬性選擇器等問題。

淘寶海量數據產品技術架構

基于OldSQL+NoSQL混合架構的特點，數據魔方目前已經能夠提供壓縮前80TB的數據存儲空間，支持每天4000萬的查詢請求，平均響應時間在28毫秒，足以滿足未來一段時間內的業務增長需求。

NewSQL+NoSQL 在行業大數據應用中混合部署

行業大數據與互聯網大數據的區別在于行業大數據的價值密度更高，并且對結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等都比互聯網大數據有更高的要求。行業大數據應用場景主要是分析類應用，如：電信、金融、政務、能源等行業的決策輔助、預測預警、統計分析、經營分析等。

在行業大數據應用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在結構化數據分析處理方面的優勢，以及NoSQL在非結構數據處理方面的優勢，實現NewSQL與NoSQL的功能互補，解決行業大數據應用對高價值結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等要求，以及對海量非結構化數據存儲和精確查詢的要求。在應用中，NewSQL承擔高價值密度結構化數據的存儲和分析處理工作，NoSQL承擔存儲和處理海量非結構化數據和不需要關聯分析、Ad-hoc查詢較少的低價值密度結構化數據的工作。

當前電信運營商在集中化BI系統建設過程中面臨著數據規模大、數據處理類型多等問題，并且需要應對大量的固定應用，以及占統計總數80%以上的突發性臨時統計(ad-hoc)需求。在集中化BI系統的建設中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在復雜分析、即席查詢等方面處理性能的優勢，及NoSQL在非結構化數據處理和海量數據存儲方面的優勢，實現高效低成本。

集中化BI系統數據存儲架構

集中化BI系統按照數據類型和處理方式的不同，將結構化數據和非結構化數據分別存儲在不同的系統中：非結構化數據在Hadoop平臺上存儲與處理;結構化、不需要關聯分析、Ad-hoc查詢較少的數據保存在NoSQL數據庫或Hadoop平臺;結構化、需要關聯分析或經常ad-hoc查詢的數據，保存在NewSQL MPP數據庫中，短期高價值數據放在高性能平臺，中長期放在低成本產品中。

結語

當前信息化應用的多樣性、復雜性，以及三種數據庫架構各自所具有的優勢和局限性，造成任何一種架構的數據庫都不能完全滿足應用需求，因此不同架構數據庫混合使用，從而彌補其他架構的不足成為必然選擇。根據應用場景采用不同架構數據庫進行組合搭配，充分發揮每種架構數據庫的特點和優勢，并且與其他架構數據庫形成互補，完全涵蓋應用需求，保證數據資源的最優化利用，將成為未來一段時期內信息化應用主要采用的解決方式。

目前在國內市場上，OldSQL主要為Oracle、IBM等國外數據庫廠商所壟斷，達夢、金倉等國產廠商仍處于追趕狀態;南大通用憑借國產新型數據庫GBase 8a異軍突起，與EMC的Greenplum和HP的Vertica躋身NewSQL市場三強;NoSQL方面用戶則大多采用Hadoop開源方案。

什么是NoSQL數據庫？

2. 什么是NoSQL？

2.1 NoSQL 概述

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，

泛指非關系型的數據庫。隨著互聯網web2.0網站的興起，傳統的關系數據庫在應付web2.0網站，特別是超大規模和高并發的SNS類型的web2.0純動態網站已經顯得力不從心，暴露了很多難以克服的問題，而非關系型的數據庫則由于其本身的特點得到了非常迅速的發展。NoSQL數據庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰，尤其是大數據應用難題，包括超大規模數據的存儲。

（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數據）。這些類型的數據存儲不需要固定的模式，無需多余操作就可以橫向擴展。

2.2 NoSQL代表

MongDB、 Redis、Memcache

3. 關系型數據庫與NoSQL的區別？

3.1 RDBMS

高度組織化結構化數據

結構化查詢語言（SQL）

數據和關系都存儲在單獨的表中。

數據操縱語言，數據定義語言

嚴格的一致性

基礎事務

ACID

關系型數據庫遵循ACID規則

事務在英文中是transaction，和現實世界中的交易很類似，它有如下四個特性：

A (Atomicity) 原子性

原子性很容易理解，也就是說事務里的所有操作要么全部做完，要么都不做，事務成功的條件是事務里的所有操作都成功，只要有一個操作失敗，整個事務就失敗，需要回滾。比如銀行轉賬，從A賬戶轉100元至B賬戶，分為兩個步驟：1）從A賬戶取100元；2）存入100元至B賬戶。這兩步要么一起完成，要么一起不完成，如果只完成第一步，第二步失敗，錢會莫名其妙少了100元。

C (Consistency) 一致性

一致性也比較容易理解，也就是說數據庫要一直處于一致的狀態，事務的運行不會改變數據庫原本的一致性約束。

I (Isolation) 獨立性

所謂的獨立性是指并發的事務之間不會互相影響，如果一個事務要訪問的數據正在被另外一個事務修改，只要另外一個事務未提交，它所訪問的數據就不受未提交事務的影響。比如現有有個交易是從A賬戶轉100元至B賬戶，在這個交易還未完成的情況下，如果此時B查詢自己的賬戶，是看不到新增加的100元的

D (Durability) 持久性

持久性是指一旦事務提交后，它所做的修改將會永久的保存在數據庫上，即使出現宕機也不會丟失。

3.2 NoSQL

代表著不僅僅是SQL

沒有聲明性查詢語言

沒有預定義的模式

鍵 - 值對存儲，列存儲，文檔存儲，圖形數據庫

最終一致性，而非ACID屬性

非結構化和不可預知的數據

CAP定理

高性能，高可用性和可伸縮性

分布式數據庫中的CAP原理(了解)

CAP定理：

Consistency(一致性), 數據一致更新，所有數據變動都是同步的

Availability(可用性), 好的響應性能

Partition tolerance(分區容錯性) 可靠性

P: 系統中任意信息的丟失或失敗不會影響系統的繼續運作。

定理：任何分布式系統只可同時滿足二點，沒法三者兼顧。

CAP理論的核心是：一個分布式系統不可能同時很好的滿足一致性，可用性和分區容錯性這三個需求，

因此，根據 CAP 原理將 NoSQL 數據庫分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類：

CA - 單點集群，滿足一致性，可用性的系統，通常在可擴展性上不太強大。

CP - 滿足一致性，分區容忍性的系統，通常性能不是特別高。

AP - 滿足可用性，分區容忍性的系統，通?？赡軐σ恢滦砸蟮鸵恍?。

CAP理論就是說在分布式存儲系統中，最多只能實現上面的兩點。

而由于當前的網絡硬件肯定會出現延遲丟包等問題，所以分區容忍性是我們必須需要實現的。

所以我們只能在一致性和可用性之間進行權衡，沒有NoSQL系統能同時保證這三點。

說明：C：強一致性 A：高可用性 P：分布式容忍性

舉例：

CA：傳統Oracle數據庫

AP：大多數網站架構的選擇

CP：Redis、Mongodb

注意：分布式架構的時候必須做出取舍。

一致性和可用性之間取一個平衡。多余大多數web應用，其實并不需要強一致性。

因此犧牲C換取P，這是目前分布式數據庫產品的方向。

4. 當下NoSQL的經典應用

當下的應用是 SQL 與 NoSQL 一起使用的。

代表項目：阿里巴巴商品信息的存放。

去 IOE 化。

ps：I 是指 IBM 的小型機，很貴的，好像好幾萬一臺；O 是指 Oracle 數據庫，也很貴的，好幾萬呢；M 是指 EMC 的存儲設備，也很貴的。

難點：

數據類型多樣性。

數據源多樣性和變化重構。

數據源改造而服務平臺不需要大面積重構。

nosql是什么

NoSQL，泛指非關系型的數據庫。隨著互聯網web2.0網站的興起，傳統的關系數據庫在應付web2.0網站，特別是超大規模和高并發的SNS類型的web2.0純動態網站已經顯得力不從心，暴露了很多難以克服的問題，而非關系型的數據庫則由于其本身的特點得到了非常迅速的發展。NoSQL數據庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰，尤其是大數據應用難題。

雖然NoSQL流行語火起來才短短一年的時間，但是不可否認，現在已經開始了第二代運動。盡管早期的堆棧代碼只能算是一種實驗，然而現在的系統已經更加的成熟、穩定。不過現在也面臨著一個嚴酷的事實：技術越來越成熟——以至于原來很好的NoSQL數據存儲不得不進行重寫，也有少數人認為這就是所謂的2.0版本。這里列出一些比較知名的工具，可以為大數據建立快速、可擴展的存儲庫。

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，是一項全新的數據庫革命性運動，早期就有人提出，發展至2009年趨勢越發高漲。NoSQL的擁護者們提倡運用非關系型的數據存儲，相對于鋪天蓋地的關系型數據庫運用，這一概念無疑是一種全新的思維的注入。

對于NoSQL并沒有一個明確的范圍和定義，但是他們都普遍存在下面一些共同特征：

不需要預定義模式：不需要事先定義數據模式，預定義表結構。數據中的每條記錄都可能有不同的屬性和格式。當插入數據時，并不需要預先定義它們的模式。

無共享架構：相對于將所有數據存儲的存儲區域網絡中的全共享架構。NoSQL往往將數據劃分后存儲在各個本地服務器上。因為從本地磁盤讀取數據的性能往往好于通過網絡傳輸讀取數據的性能，從而提高了系統的性能。

彈性可擴展：可以在系統運行的時候，動態增加或者刪除結點。不需要停機維護，數據可以自動遷移。

分區：相對于將數據存放于同一個節點，NoSQL數據庫需要將數據進行分區，將記錄分散在多個節點上面。并且通常分區的同時還要做復制。這樣既提高了并行性能，又能保證沒有單點失效的問題。

異步復制：和RAID存儲系統不同的是，NoSQL中的復制，往往是基于日志的異步復制。這樣，數據就可以盡快地寫入一個節點，而不會被網絡傳輸引起遲延。缺點是并不總是能保證一致性，這樣的方式在出現故障的時候，可能會丟失少量的數據。

BASE：相對于事務嚴格的ACID特性，NoSQL數據庫保證的是BASE特性。BASE是最終一致性和軟事務。

NoSQL數據庫并沒有一個統一的架構，兩種NoSQL數據庫之間的不同，甚至遠遠超過兩種關系型數據庫的不同。可以說，NoSQL各有所長，成功的NoSQL必然特別適用于某些場合或者某些應用，在這些場合中會遠遠勝過關系型數據庫和其他的NoSQL。

分享文章：nosql基本屬性,nosql類型
網頁地址：http://m.newbst.com/article10/dsighgo.html

成都網站建設公司_創新互聯，為您提供企業建站、企業網站制作、品牌網站建設、網站排名、移動網站建設、網頁設計公司

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯