互聯網IDC圈4月27日報道，互聯網的發展使得大數據引起人們廣泛關注。現如今大數據技術早已滲透到金融、通訊等行業以及生物學、物理學等領域。大數據在容量、多樣性和高增速方面的爆炸式增長全面考驗著現代企業的數據處理和分析能力，與此同時也為各個行業帶來了準確洞察市場行為的機會。迄今為止大數據技術與產品有哪些創新，工業大數據應用面臨哪些挑戰，金融行業大數據應用現狀如何等。圍繞這一系列問題，4月27日至28日，由工業和信息化部指導、中國信息通信研究院主辦的"2016大數據產業峰會"在北京國際會議中心盛大召開。在27日大數據技術與產品創新分論壇中360系統部總監肖康向與會人員介紹了360安全大數據平臺。

創新互聯主營臺前網站建設的網絡公司,主營網站建設方案,成都App制作,臺前h5小程序制作搭建,臺前網站營銷推廣歡迎臺前等地區企業咨詢

 360系統部總監肖康

以下是肖康演講實錄： 

  肖康：我是做技術出身的，現在一直做技術，未來可能會做大數據及其產品。我今天的演講主要是兩個部分的內容，第一部分分享一下在360內部我們是怎么做大數據的，360內部大數據的情況是什么樣子。第二部分是我們在360內部做大數據平臺應用之后，我們想能不能把我們在互聯網公司做大數據的能力輸出到政府和企業里面去，能給我們的客戶帶來價值。我們講一講怎么把大數據的能力包容成一些產品，將來提供給我們的政府和企業的客戶。

首先我們看一下360公司內部大數據的規模和能力，也是秀一下肌肉。整個在360公司現在有差不多4萬臺服務器用來做大數據，總共存儲的數據量有1.6EB數據，每天新增超過1PB，每天有幾十萬個任務對這些數據進行處理，每天處理的數據也有幾十個PB。我們這樣一個大數據平臺里面，我們可以在幾分鐘之內調度幾十萬個CPU進行計算，能夠對于TB的數據進行秒級的快速處理。

360大數據的技術演進過程其實很簡單，在很早期的時候沒有用大數據的時候，也是用Oracle去做數據的分析，后來發現越來越慢，成本越來越高，扛不住了，就采用開放的技術路線。所謂開放就是硬件采用通用的X86的服務器，軟件就是采用基于開源去定制優化，形成一套完整的大數據平臺。這一套方案的特點相對于以前我們用IOE的方式，第一個是成本比較低，我們可以定制和靈活性比較好，我們可以去控制。第二是擴展性比較好，可以看到我們之前的幾臺機器，現在是幾萬服務器，這個擴展現在看來在軟件層面沒有太大的問題。

接下來我介紹一下這么多服務器究竟做什么事情和360幾個典型的大數據的應用。首先是數據驅動安全，我們360是一家安全公司，360做安全和其他公司不一樣，其他公司做安全早期做病毒查殺，很多是根據特征，傳統的一些安全技術。360做安全是數字驅動安全的技術，通過數據來找出安全的問題，通過數據分析解決安全的問題，通過數據驅動安全背后就是大數據的力量。比如說我們的一些成果，我們的殺毒引擎全球的冠軍QVM，還有我們新一代的威脅感知系統天眼，還有在我們360大數據平臺里面存儲了非常多的各種程序的樣本，還有各種網址的黑白名單庫，這個都是我們做大數據安全的一個基礎和基石，其實這個也是360做安全和其他公司做安全很不一樣的地方。

360的搜索，相信大家都知道，這個搜索基本上在整個中國占將近30%的市場份額，這個也是非常不錯的，是第一個除了百度之外能夠占據這么多市場份額的搜索廠商。其實大數據的快速發展時期就是前面兩個，一個是數據驅動安全，第二個就是搜索驅動了我們大數據平臺快速的發展，我也是在那個時候加入360。我們在搜索這個方面，比如說我們建立了一個千億級的網頁庫。首先是這樣一個龐大的網頁庫，把所有的中文網頁都能抓下來存儲起來快速訪問，存起來之后還能夠做分析，對它進行快速的索引，還要對實時的東西進行熱點的跟蹤。360云盤，相信在座的很多同仁都可能會用到360云盤去存儲你的資料，去存儲你的照片和你的視頻等等，這個其實背后也正是我們團隊在做的工作，就是我們通過大數據平臺提供在線的海量存儲的訪問，差不多有上萬臺服務器提供幾百PB的免費輸出空間，不間斷隨時的訪問，這是海量云存儲、大數據存儲的應用。數據分析和統計，這個其實在很公司，不管是互聯網公司還是傳統公司都是特別需要的，早期可能我們通過數據庫這樣的方式，后面越來越玩不轉，就通過大數據的方式來做，每天有大量的產品運營的數據都會通過我們大數據平臺進行分析和統計，比如手機助手、游戲、搜索等等，這樣的產品都需要進行大量海量數據的分析。

以上就是在360典型的幾種應用的場景，數據驅動安全、360搜索、360云盤、各種各樣產品和數據的分析。

前面是360內部我們通過五六年的時間構建起來的幾萬臺的大數據平臺，為我們360自己的產品和業務提供服務。從去年開始我們在想能不能把我們這種大數據平臺的能力和大數據平臺的技術能夠輸出到企業和政府的客戶那邊去，所以說我們后面提出了360安全大數據平臺這樣一個產品，我們也正在不斷的研發和改進過程中。

我們產品的架構其實也比較簡單，分為四大塊，中間這一大塊是核心的大數據平臺，包括底層分布式的存儲和分布式的計算，這個不用說，基本上都是開源的東西，大家看一看就好了。在中間有一層分析層，這是給我們數據的分析人員，或者是數據分了軟件對接使用的。包括結構化的SQL分析，復雜關聯數據的分析，還有在大量的數據里面去做快速的搜索，還有我們能夠進行大規模的機器學習、深度學習，這是四個數據分析的組件或者是產品。最上層的可能是一些大數據的應用，剛才我已經介紹了一些了，這里還有很多的應用。還有包括剛才我講到公司里面各種產品的數據分析和統計，這也是一大類的應用，還有一些產品可以提供出來，這是核心的平臺。

最左邊是我們數據的接入，你的數據怎么接入到大數據平臺，這本身也是一個問題，包括流失數據的接入，包括數據的導入等等。最右邊是大數據管理，大數據平臺要用好的話其實并不是特別容易，面臨兩個方面的問題，包括我怎么去管理這個大數據的平臺，這個我們有一個產品系統的去管理我們的平臺，還有一個就是我的數據分析師能夠使用大數據做一些分析。大數據的安全在開源的產品里面剛開始考慮不太多，假設是在一個封閉的內網環境里面，安全的問題可能沒有那么突出，我們要對大數據平臺的安全進行加固，這也是我們360做安全的一個強項，這是我們360安全平臺的架構。

360大數據平臺的三個特點：第一是有超大規模海量數據成熟的實戰經驗。剛才我也介紹了，基本上我們的服務器是4萬臺，數據達到EB，這個在全球應該也是Top10的，超過EB級數據量的公司應該沒有幾家。在這幾萬臺服務器上我們一直穩定了五六年，不停的改進，不停的維護。在這幾年中，為360各種各樣的業務提供服務，包括要求非常高的在線的毫秒級的實時訪問，還有離線的非常多數據批處理的數據，還有更多的智能機器學習的算法，一些數據挖掘的算法等等。最關鍵的是我們通過這幾年的積累，建立起來了一支一流的大數據研發團隊。

第二360大數據的平臺是基于開放的技術，硬件采用開放的X86的服務器，軟件是基于開源的大數據一些系統進行定制，保證API，有更多的第三方廠商在上面開發應用，這是一個特別的版本。

第三安全和專業。我們認為大數據平臺有它的通用性，但是也有專業性，我們更擅長的是在存儲、處理安全數據的大平臺，我們是一個安全數據的專業平臺。為什么這樣說？因為安全數據本身就不應該跟其他數據混在一起，我們建議是采用獨立的方式去存儲它，它有獨立的要求，因為十月這些安全數據的人和普通的業務數據不一樣，他訪問的模式也不一樣，也需要不一樣的應用去使用這些數據。這種安全數據本身防護的等級也需要加強，所以說我們要對大數據平臺進行安全體系的加固。

BigSQL，做結構化數據的分析，不管在企業還是在政府那邊，結構化的數據是非常多的，但是結構化數據越來越多的時候，達到TB級、PB級的時候數據庫不一定好用了，這個時候需要大數據來解決，我們提供了一系列BigSQL結構化數據分析的方案，能夠快速的去分析結構化的數據。

BigGraph，其實SQL是典型的表結構的數據，很規整的數據。而實際在現實生活中，很多數據并不一定有那么規整，而且數據與數據之間的關聯關系非常強，比如人和人之間的關系，在圖里面就是點和邊，在一個計算機網絡里面，兩個機器之間要通信，就形成一條邊，這是一個非常通用的模型，大數據還沒有很成熟的技術，在這一塊我們也是提前做投入。這一塊將來我們的目標是能夠支持到百億節點的大圖，用這樣的一個圖的技術，我們可以解決很多像網絡安全、國家安全、知識圖譜、社交圖譜方面的一些問題。

BigSearch，在數據越來越大的時候，前些年我們可能用Spark算一些東西就滿足要求了，現在越來越看到交互式數據分析的能力，能不能從大量的數據當中快速找到我想要的數據，所以說我們需要對大數據具備快速的檢索能力，這是BigSearch做的事情。

BigLearning，我們除了檢索數據，在數據上做簡單的處理之外，我們越來越多的應用依賴于很多機器學習的算法，甚至依賴于深度學習的算法。搭建這樣一個平臺并不是特別容易，所以我們專門把機器學習搭建了一個BigLearning組件，會進行算法庫的擴充，支持深度學習。

BigPlorer，大數據交互系統，把大數據導入進來，在上面做管理，在上面做可視化分析，在上面運行調度的任務等等這樣一些過程，我們希望在一個一站式的BigPlorer去做，這是面向數據分析人員或者是數據開放人員使用的。

BigManager，是面向運維管理人員使用的，把大數據平臺搭建起來，對系統進行升級，進行日常的運維，在360內部每天都會遇到這樣的問題。這樣的話，通過一個系統和產品去解決這樣的問題，可以非常大的提高我們的效率。我的演講就到此結束，謝謝大家！

網站標題：肖康：360安全大數據平臺
轉載注明：http://m.newbst.com/article32/chjppc.html

成都網站建設公司_創新互聯，為您提供品牌網站制作、軟件開發、企業建站、虛擬主機、面包屑導航、網站導航

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯