2.1國內(nèi)外廠商的技術(shù)和產(chǎn)品分析

2.1.1國外廠商在大數(shù)據(jù)領(lǐng)域的技術(shù)和產(chǎn)品

在大數(shù)據(jù)技術(shù)的發(fā)展歷程中，國外數(shù)據(jù)廠商是最先嗅到其中價值的領(lǐng)跑者。從2005年雅虎公司開發(fā)Hadoop項目解決網(wǎng)頁搜索問題開始，大數(shù)據(jù)概念在短短幾年問獲得了從政府、科學(xué)研究機構(gòu)到商業(yè)公司幾乎所基于領(lǐng)域的追捧。而隨后，結(jié)合大數(shù)據(jù)日漸完備的概念， 國外廠商也從數(shù)據(jù)存儲、數(shù)據(jù)計算、數(shù)據(jù)挖掘到數(shù)據(jù)應(yīng)用開發(fā)出了一系列技術(shù)和產(chǎn)品，繼而形成了典型的大數(shù)據(jù)技術(shù)開發(fā)架構(gòu)，取得了較大的進展。下面，我們將選擇一些領(lǐng)域內(nèi)排名前列的大數(shù)據(jù)廠商，詳細介紹他們的典型技術(shù)和產(chǎn)品。

2.1.1.1甲骨文(Oracle)公司

甲骨文公司全稱甲骨文股份基于限公司(甲古文軟件系統(tǒng)基于限公司)，是全球最大的企業(yè)軟件公司。其主要業(yè)務(wù)為數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器以及相關(guān)開發(fā)工具的研發(fā)。2010年，甲古文公司正式進軍大數(shù)據(jù)領(lǐng)域，并在2011年10月初召開的Oracle Open World 2011大會上甲骨文公司正式推出了 Oracle大數(shù)據(jù)機，Oracle大數(shù)據(jù)機是一款集成設(shè)計的系統(tǒng)。旨在簡化大數(shù)據(jù)項目的實施與管理。該數(shù)據(jù)機采用18臺Oracle Sum服務(wù)器的全機架式配置，共擁基于864GB主內(nèi)存、 216核CPU、648TB原始磁盤存儲空間，并在節(jié)點和其他Oracle集成化系統(tǒng)之間采用40GB/S的InfiniBand網(wǎng)絡(luò)連接以及l(fā)OGB/s的以太網(wǎng)數(shù)據(jù)中心連接，可通過InfiniBand網(wǎng)絡(luò)連接多個機架進行橫向升級擴展.使其能夠獲取、組織和分析超級海量的數(shù)據(jù)。

甲骨文公司在1979年即推出了越于SQL標準的關(guān)系數(shù)據(jù)庫產(chǎn) 品，可在100多種硬件平臺(包括微機、工作站、小型機和大型機) 上運行，支持多種操作系統(tǒng)。甲骨文公司的數(shù)據(jù)存儲技術(shù)通過數(shù)據(jù)庫產(chǎn)品在全球范圍內(nèi)得到了廣泛的推廣，并獲得極好的口碑。因此. 在大數(shù)據(jù)技術(shù)方面，甲骨文公司的NoSQL數(shù)據(jù)庫技術(shù)同樣是行業(yè)中的佼佼者。Oracle NoSQL數(shù)據(jù)庫是基于Oracle Berkeley DB的高度可伸縮的分布式鍵值對數(shù)據(jù)庫，提供通用的企業(yè)級鍵值存儲，適用于低延遲數(shù)據(jù)捕獲和數(shù)據(jù)的快速査洵;NoSQL數(shù)據(jù)庫的開發(fā)，正是響應(yīng)現(xiàn)今越來越多的企業(yè)采用非SQL典型架構(gòu)來增大規(guī)模和提升速度以應(yīng)對越來越人的數(shù)據(jù)蚩的趨勢。

同時，NoSQL技術(shù)也是Oracle大數(shù)據(jù)一體機的基礎(chǔ)。一體機是指通過標準化的架構(gòu)集成了服務(wù)器、存儲、網(wǎng)絡(luò)、軟件等配置， 簡化了數(shù)據(jù)中心基礎(chǔ)設(shè)施部署和運維管理的復(fù)雜性的一體化沒備。 大數(shù)據(jù)一體機(Big Data Appliance )即通過一體機的產(chǎn)品形態(tài)，解決了大數(shù)據(jù)時代基礎(chǔ)設(shè)施的持續(xù)擴大問題、數(shù)據(jù)處理的個性化和一體化需求問題、海量數(shù)據(jù)的存儲成本問題。甲骨文公司在2008年推出集成了硬件、存儲和軟件的大數(shù)據(jù)-體機Exadata.成為了業(yè)界首個以全面、軟硬件集成的產(chǎn)品滿足企業(yè)關(guān)鍵大數(shù)據(jù)需求的公司。 該一體機通過更大的物理閃存以及獨特的超高速閃存壓縮，閃存容量增大為原來的4倍，因此面向OLTP ( On-Line Transaction Processing,聯(lián)機事務(wù)處理)工作負載的運行速度得到了極大提高。 現(xiàn)在，單機架Oracle Exadata的閃存能夠支持88TB用戶數(shù)據(jù)，如此大的容量已經(jīng)足夠使絕大多數(shù)OLTP數(shù)據(jù)庫在閃存中得到完整保存。單機架Oracle Exadata的數(shù)據(jù)吞吐量為lOOGB/s,大幅高于其他全閃存陣列的吞吐量，同時保持了低成本磁盤分層的優(yōu)勢。Oracle Exadata達到極致的性能和容量，使上百個數(shù)據(jù)庫能夠采用數(shù)據(jù)庫即服務(wù)架構(gòu)，輕松合并到單機架中，從而極大地降低了成本，提高了敏捷性。

同時結(jié)合Oracle大數(shù)據(jù)機這款為Oracle帶來最大利潤收入的主要產(chǎn)品，甲骨文公司還推出了Oracle connectors (大數(shù)據(jù)連接器)等技術(shù)。Oracle大數(shù)據(jù)連接器使用戶能夠通過Hadoop iMapReduce處理來創(chuàng)建優(yōu)化的數(shù)據(jù)集，并能直接從Oracle數(shù)據(jù)庫訪問HDFS上的數(shù)據(jù)，以便在Oracle Database llg中進行高效分析，簡化了大數(shù)據(jù)機與Hadoop環(huán)境的對接應(yīng)用。

除此之外.Orade數(shù)據(jù)庫云服務(wù)器(Exadata)以及Oradc商務(wù)智能云服務(wù)器(Exalytics)也是以大數(shù)據(jù)機為藍本的高級專業(yè)服務(wù)器。Oracle大數(shù)據(jù)機及Oracle大數(shù)據(jù)連接器可與Oracle Exadata數(shù)據(jù)庫云服務(wù)器和Oracle Exalyitcs商務(wù)智能云服務(wù)器聯(lián)合使用，組成一裝完整的集成系統(tǒng)，獲取、組織并分析大數(shù)據(jù)。Oracle數(shù)據(jù)庫云服務(wù)器(Exadata)包括數(shù)據(jù)庫服務(wù)播、Oracle Exadata存儲服務(wù)器、一個用于存儲聯(lián)網(wǎng)的InfiniBand結(jié)構(gòu).以及托管Oracle數(shù)據(jù)庫所需的所基于其他組件，為聯(lián)機事物處理(OLTP)、數(shù)據(jù)倉儲(DW)以及混合

負載整合提供了杰出的I/O和SQL處理性能。Oracle商務(wù)智能云服務(wù)器(Exalytics)采用 I TB DRAM, 40核 Intel 處理器.運行 Oracle Business Intelligence企業(yè)版，并內(nèi)置了內(nèi)存內(nèi)聚合功能，通過內(nèi)存計算技術(shù)，可以為業(yè)務(wù)分析人員提供豐富信息，實現(xiàn)快如閃念的企業(yè)級分析。與Oracle近期推出的其他一體化產(chǎn)品一樣。Oracle大數(shù)據(jù)機集成了硬件、存儲和軟件.包括ApachcHadoop軟件的開源代碼分發(fā)、新的甲骨文NoSQL數(shù)據(jù)庫和用于統(tǒng)計分析的R語言開源代碼分發(fā)。該產(chǎn)品被設(shè)計為能夠與甲骨文Database 11g Oracle Exadata 數(shù)據(jù)庫云服務(wù)器，以及針對商業(yè)智能應(yīng)用的新的Oracle txalytics商業(yè)智能云服務(wù)器一起協(xié)同工作，通過軟硬一體化的集成設(shè)備為用戶提供了端到端的大數(shù)據(jù)解決方案，強調(diào)大數(shù)據(jù)分析和管理。

2.1.1.2 易安信(EMC)公司

EMC(易安信)公司為一家美國信息存儲資訊科技公司，主要業(yè)務(wù)為信息存儲及管理產(chǎn)品、服務(wù)和解決方案。2010年，EMC 公司收購了 Grcenplum公司(一家數(shù)據(jù)庫軟件公司，在全球數(shù)據(jù)處理和BI/DW領(lǐng)域提供數(shù)據(jù)庫引擎產(chǎn)品和咨詢服務(wù)，實力較強)。收購Greenplum公司后，EMC公司大踏步進入大數(shù)據(jù)領(lǐng)域。并入EMC公司兩年來，Greenplum已推出類似Facebook的大數(shù)據(jù)社交和協(xié)作工具——Chorus; EMC公司收購敏捷軟件開發(fā)商Pivotal Labs、部署Hadoop,及相關(guān)產(chǎn)品線升級等。就在EMC World大會上，Greenplium還正式發(fā)布其1000節(jié)點集群的數(shù)據(jù)分析工作臺——Greenplum Analytics Workbench。

EMC公司的產(chǎn)品同樣主要集中在數(shù)據(jù)存儲和管理方面。其核心數(shù)據(jù)庫產(chǎn)品當屬Greenplum數(shù)據(jù)庫。Grecnplum的架構(gòu)采用了 MPP(大規(guī)模并行處理)，該軟件是業(yè)內(nèi)首創(chuàng)的無共享、大規(guī)模并行處理(Massive Parallel Processing, MPP )的數(shù)據(jù)庫軟件，其中包括無共亨/MPP、按列存儲數(shù)據(jù)庫、數(shù)據(jù)庫內(nèi)壓縮、MapReduce、永不停機擴容、多級容錯等。在MPP系統(tǒng)中，毎個SMP節(jié)點也可以運行自己的操作系統(tǒng)、數(shù)據(jù)庫等。換言之，毎個節(jié)點內(nèi)的CPU不能訪問另一個節(jié)點的內(nèi)存。節(jié)點之間的信息交互是通過節(jié)點互聯(lián)網(wǎng)絡(luò)實現(xiàn)的，這個過程一般稱為數(shù)據(jù)重分配(Data Redistribution)。與傳統(tǒng)的SMP架構(gòu)明顯不同，通常情況下，MPP系統(tǒng)因為要在不同處理單元之間傳送信息，所以它的效率要比SMP要差一點，但這也不是絕對的，因為MPP系統(tǒng)不共享資源，因此對它而言，資源比SMP要多，當需要處理的事物達到一定規(guī)模時，MPP的效率要比SMP好。

在Grenplum這一數(shù)據(jù)庫產(chǎn)品的基礎(chǔ)上，EMC公司又看到了傳統(tǒng)Hadoop平臺可以改善的地方.例如分布式文件系統(tǒng)不支持隨機讀寫、定位于批處理、不支持實時數(shù)據(jù)處理。同時.其不適用于高并發(fā)場景，其開發(fā)難度大。與關(guān)系型數(shù)據(jù)庫在開發(fā)、運營、維護等方面差異較大等問題都亟待解決。因此，EMC公司認為Grecnplum DataBase和Hadoop 是互補的技術(shù)，兩名結(jié)合形成對結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的完善解決方案。在此基礎(chǔ)上，開發(fā)出了商業(yè)化的Grcenplum Hadoop平臺(縮寫為Grcenplum HD ).其中，關(guān)系型數(shù)據(jù)語法表達、復(fù)雜査詢、并發(fā)查洵、高速數(shù)據(jù)分析采用 Grcenplum數(shù)據(jù)庫，Hadoop用于非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)處理分析，產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)再加載到Grcenplum DB中進行高速交互式查詢展現(xiàn)。同時Hadoop還用于ETL數(shù)據(jù)清洗，而Grcenplum DB 則可直接并行讀寫Hadoop數(shù)據(jù)。

Greenplum Chorus是基于大數(shù)據(jù)分析的社交平臺。Grcenplum Chorus是一個數(shù)據(jù)科學(xué)的社交平臺，包括個人沙盤、數(shù)據(jù)挖掘、協(xié)作分析和開放架構(gòu)等特點。用戶通過這個平臺可以很快響應(yīng)需求. 從而對大數(shù)據(jù)分析做出更基于效率的工作。任何在社交平臺權(quán)限內(nèi)的人都可以通過個人沙盒來構(gòu)建一個自己的數(shù)據(jù)庫，做任何的數(shù)據(jù)試驗，而且這些不會影響到生產(chǎn)數(shù)據(jù)。這是彈性、自我服務(wù)的體現(xiàn)。同吋, 如果你基于任何疑慮.也可以通過Chorus平臺發(fā)布消息，將會基于數(shù)據(jù)科學(xué)家及時幫助你解決問題。

通過對以上三種技術(shù)產(chǎn)品的基于效處理結(jié)合，EMC公司推出了 EMC Greenplum統(tǒng)一分析平臺。EMC Grecnplum統(tǒng)一分析平臺結(jié)合 Greenplum Database、Greenplum Hadoop、Grecnplum Chorus,為企業(yè)構(gòu)建了高效處理結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)分析平臺?？蛻艨梢砸源似脚_為基礎(chǔ)，利用Grecnplum行業(yè)和數(shù)學(xué)統(tǒng)計方面的專家，充分挖掘自身數(shù)據(jù)價值，實現(xiàn)數(shù)據(jù)資產(chǎn)從成本中心到利潤中心的轉(zhuǎn)變，以數(shù)據(jù)驅(qū)動業(yè)務(wù)。其中，Greenplum Chorus在行業(yè)中處于領(lǐng)先地位，它的操作使用習(xí)慣非常類似Facebook、開心網(wǎng)的社交模式。通過Greenplum Chorus可以建立數(shù)據(jù)沙箱，將一定的數(shù)據(jù)變成一個集合，用戶都可以對這個集合利用工具進行處理和分析，共享數(shù)據(jù)庫的分析結(jié)果。讓這個數(shù)據(jù)分析和挖掘，不再是專業(yè)人士做的事情，并且增加趣味性，各種角色可以進行交互，形成一 個數(shù)據(jù)社交圈。EMC Gireenplum統(tǒng)一分析平臺還包括一個重要的方面，就是“數(shù)據(jù)科學(xué)家計劃”，它將人的智慧與技術(shù)產(chǎn)品相結(jié)合。 數(shù)據(jù)科學(xué)家不僅需要具基于數(shù)據(jù)本身的知識，還要求基于一定的數(shù)學(xué)建模能力，同時要懂得企業(yè)內(nèi)部的運轉(zhuǎn)流程。所以數(shù)據(jù)科學(xué)家是能夠靈活利用各種工具去抓取數(shù)據(jù)，形成數(shù)據(jù)集合、數(shù)據(jù)沙箱，進行快速實時分析和展現(xiàn)的一種角色，幫助企業(yè)將數(shù)據(jù)變成商業(yè)價值。

2.1.1.3英特爾(Intel)公司

英特爾公司是全球最大的個人計算機零件和CPU制造商.它成立于1968年，具基于46年計算機類產(chǎn)品生產(chǎn)歷史。英特爾公司在大數(shù)據(jù)處理方面致力于改善X86平臺芯片和架構(gòu)，以基于至強處理器構(gòu)建的IT基礎(chǔ)設(shè)施為基石，英特爾在其上針對大數(shù)據(jù)的分發(fā)和管理需求提供基于英特爾平臺優(yōu)化的Hadoop產(chǎn)品和服務(wù);在分析與發(fā)現(xiàn)層，提供針對客戶端與服務(wù)器端算法開發(fā)的支持，以滿足大數(shù)據(jù)計算所需的性能與規(guī)模要求。

英特爾公司是一家致力于在硬件性能上為大數(shù)據(jù)技術(shù)研發(fā)助力的公司，共推出的至強處理器E7V2系列，針對大數(shù)據(jù)分析的需求，提供了一系列的性能特征的改進，這些改進主要包括內(nèi)存、核數(shù)以及可靠性等方面。英特爾至強處理器E7 V2產(chǎn)品家族最高可支持32 路的服務(wù)器平臺.擁基于最多15個處理內(nèi)核和每插槽1.5TB內(nèi)存容量，平均性能為其上一代產(chǎn)品的兩倍。與上一代處理器相比，英特爾至強處理器E7 V2產(chǎn)品家族可支持3倍的內(nèi)存容量，能夠更快完成數(shù)據(jù)分析，幾乎達到實時處理分析水平。內(nèi)存分析功能會在系統(tǒng)內(nèi)存中放置整個數(shù)據(jù)集并進行分析(例如一個企業(yè)的整個用戶數(shù)據(jù)庫)， 而非名傳統(tǒng)硬盤上進行。

結(jié)合強勁的處理器制造技術(shù)，英特爾公司在Hadoop開源平臺的基礎(chǔ)上做了進一步的改進，提出了以開源為基礎(chǔ)，在Hadoop系統(tǒng)， 包括HBase、HDFS里面都做了增強和優(yōu)化，使得開源平臺在英特爾硬件上的運行效率得到顯著的提高。該平臺結(jié)合自身強大技術(shù)、成熟市場經(jīng)驗，打造面向大數(shù)據(jù)應(yīng)用的Hadoop高效平臺，基于助于提供相比其他Hadoop平臺更可靠、更高性能、更多和更易于處理的大數(shù)據(jù)解決方案?；谟⑻貭朒adoop發(fā)行版，在原基于的開源版本基礎(chǔ)上進行了特殊強化，包括HDFS、MapReduce以及HBase代碼的改寫，同時支持 SQL查詢指令語言 Hive。并推出了 Intel Hadoop Manager 2.0,優(yōu)化了 Hadoop的處理能力。

2.1.14 國際商業(yè)機器(IBM )公司

國際商業(yè)機器公司或萬國商業(yè)機器公司，簡稱IBM公司 (International Business Machines Corporation )。總部在紐約州阿蒙克市，IBM公司是世界上著名的信息技術(shù)和業(yè)務(wù)解決方案公司，業(yè)務(wù)包括咨洵、信息科技服務(wù)、軟硬件開發(fā)等。2012年12月19日， IBM公司宣布，它已經(jīng)簽署了收購StorcdIQ軟件公司的確定性協(xié)議。 IBM公司正在努力幫助客戶從大數(shù)據(jù)中獲得價值，例如対法律訴訟和法規(guī)做出更有效的問應(yīng)，處理失效的信息和降低數(shù)據(jù)存儲成本。

PureDala是IBM公司 Pure system中的主要部分，是該公司開發(fā)的主要面向大數(shù)據(jù)應(yīng)用的軟件系統(tǒng)。這款新的專家系統(tǒng)將具有處理在線交易及商業(yè)分析任務(wù)中大量數(shù)據(jù)的能力。IBM公司稱每天產(chǎn)生2.5EB數(shù)據(jù)，也就是說90%的數(shù)據(jù)都是近兩年內(nèi)產(chǎn)生，而對如此龐大的數(shù)據(jù)，各行各業(yè)都在尋求簡便高效的數(shù)據(jù)分析方式。用戶利用該系統(tǒng)能夠更迅速、更準確地進行數(shù)據(jù)分析，從而更有效地進行商業(yè)活動。即將推出的PureData包含三種類型的擴展應(yīng)用產(chǎn)品： “PureData System for Transactions”系統(tǒng)主要用于處理各種大數(shù)據(jù)的聯(lián)機事物處理(OLTP)以及商業(yè)分析任務(wù)。例如，在交易處理方面，PureData可以在單一系統(tǒng)整合多種業(yè)務(wù)數(shù)據(jù)庫，優(yōu)化大量交易處理。PureData集成了基于 IBM DB2數(shù)據(jù)庫的PureScale集群技術(shù)。另外一種PureData 主要用于商業(yè)分析應(yīng)用，“PureData System for Operational Analytics”系統(tǒng)能夠?qū)?shù)以千計的交易進行實時分析， 例如金融交易中的欺詐監(jiān)測和趨勢發(fā)現(xiàn)。“PureData System for Analytics”系統(tǒng)則基于 IBM在2010年收購的Nctezza數(shù)據(jù)倉庫應(yīng)用, 該系統(tǒng)能夠處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)u

在PureData system的基礎(chǔ)上，IBM公司推出了面向Hadoop的全新IBM PureData系統(tǒng)PureData for Hadoop,旨在提高企業(yè)部署 Hadoop的速度，同時降低部署難度。全新PureData for Hadoop讓企業(yè)在使用企業(yè)級Hadoop技術(shù)時的加載時間從數(shù)周減少到數(shù)分鐘， 而且還為商業(yè)分析師和數(shù)據(jù)科學(xué)家提供使用、功能強大的分析工具，并為其呈現(xiàn)可視化效果。此外.新系統(tǒng)還提供了功能更強大的大數(shù)據(jù)工具，可用于監(jiān)測和研發(fā)，同時加強版的大數(shù)據(jù)工具可以與更多企業(yè)系統(tǒng)相兼容。同時在數(shù)據(jù)分析和處理技術(shù)上.IBM公司致力于研究推進加速數(shù)據(jù)處理的相關(guān)技術(shù)產(chǎn)品。BLU Acccleratim便是其中最為關(guān)鍵的一項，該技術(shù)整合了大幅改善分析能力和簡化管理的一系列技術(shù)，能夠?qū)蟾嫔珊蛿?shù)據(jù)分析速度提高25倍。BLU Acceleration的創(chuàng)新之處體現(xiàn)在，它實現(xiàn)了在動態(tài)的內(nèi)存中進行列式處理，采用了新的、無需解壓的數(shù)據(jù)壓縮技術(shù).以及并行向量處理和數(shù)據(jù)忽略技術(shù)(可以繞過對不相關(guān)數(shù)據(jù)的不必要處理)。借助 BLU Accderatkm.用戶可以更快速地抓取關(guān)鍵信息，從而做出更好的決策。

新版InloSphere Biglnsights:這款企業(yè)級Hadoop產(chǎn)品可以利用現(xiàn)有的SQL技術(shù)，更便捷地開發(fā)應(yīng)用軟件。Biglnsights指利用大數(shù)據(jù)獲得更多的洞察力。用來處現(xiàn)磁盤中的靜態(tài)數(shù)據(jù)。InfoSphere Biglnsights 1.3的存儲和運算框架采用了開源的Hadoop MapReduce， 利用分布式文件存儲系統(tǒng)，將文件分成不同的部分存儲在不同的節(jié)點上，并進行備份。相應(yīng)地可以在原有系統(tǒng)基礎(chǔ)之上，添加更多的節(jié)點進行Scale Out,增加了擴展性。.除了使用開源的Hadoop架構(gòu)之外，IBM還針對Biglnsights進行了改造，采用了 IBM特有的通用并行文件系統(tǒng)，即GPFS。利用GPFS的目的是為了避免單點故障，保證了可用性。分析功能是Biglnsights另一個重要的方面，在 IBM的信息管理產(chǎn)品線中還基于兩個分析產(chǎn)品一Cognos和SPSS, Biglnsights的分析模塊并不是照搬Cognos和SPSS,也不是來自于收購的產(chǎn)品，而是完全由IBM研發(fā)的功能，Biglnsights將專門用于大數(shù)據(jù)分析。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時代的電力企業(yè)轉(zhuǎn)型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社