云關鍵技術及基于Hadoop的云計算模型研究

云計算是由企業界開始發展，然后才進入學術界引起重視的，這與網格計算相反。經過對迄今為止的云計算相關學術論文進行統計分析后，顯示學術界對于云計算的研究主要集中在云技術關鍵技術方面。云計算研究的關鍵技術包括虛擬機、安全管理、數據管理、云監測、能耗管理和計算模型等。云計算的計算模型是研究如何針對某類應用特點提出效率更高的編程方式，目前云計算模型眾多，而Hadoop是一個開源的分布式系統基本架構，正日益成為具有較強實用性的開發平臺．淘寶就是國內率先使用Hadoop的公司之一。

1 云計算關鍵技術

1．1 虛擬機

虛擬機是云計算的關鍵技術之一。目前在云計算中使用的主要虛擬機之一就是VMware Infrastructure。它是一個虛擬數據中心操作系統，可以將離散的硬件資源統一起來以創建共享平臺。其優點有：①整合服務器以降低IT成本；②暗哨計劃內和計劃外停機以改進業務連續性；⑧運行較少的服務器并且動態關閉不使用的服務器。

1．2 安全管理

云計算是計算機資源的整合，通過云計算設施中的任何一臺計算機，任何隱私信息都能夠被找到。云計算安全問題已經成為急需解決的重要問題。其中，Siani Persion等提出了在云計算服務設計過程中保護用戶隱私的一些設計原則：① 發送盡量少的個人信息到云中，或者對系統進行分析后只對一小部分個人信息進行必要的收集和采集；② 采用安全措施防止未授權的訪問、復制、使用或者修改個人信息來保護云中的個人信息：③最大限度地實現用戶控制。在云計算環境中，讓用戶完全控制個人信息是比較困難的。要加強對個人信息的控制：一可以允許用戶控制最重要的個人信息；二可以委托信任的第三方來管理：④允許用戶對個人信息的使用進行選擇，即加入、退出機制；⑤明確以及限制數據使用的目的。個人信息必須被身份明確的人使用和處理；⑥有反饋機制。即設計人及界面清楚地表明云服務中采取的安全措施，用其向用戶提供安全提示。

1．3 數據管理

云計算具有計算能力可變、數據儲存在不信任的主機上、數據是遠程復制等3個特點。從這3個特點分析而出，只有兩種數據管理應用程序可能適合部署到云計算中：一是和事務處理相關的數據管理系統：另一種是和分析相關的數據管理系統。前者未采用共享的體系結構，在進行遠程數據復制時很難滿足ACID的需求，同時在不信任的主機上存儲數據也有比較大的風險。ACID要求對于基于分析的數據管理系統來說不是必須的，同時可以保證敏感數據在分析之外，從而保證其安全。因此，基于分析的數據管理系統應該很合適部署到云計算環境中去。

1.4 云監測和能耗管理

云監測是隨著云計算的推廣、云設施不斷增加、為了更好地體現云計算的強大計算處理能力而設置的對虛擬機監控的能力：能耗管理是如何節省云設施中計算設施所需要的能源、有效整合資源、降低成本。

1．5 云計算的計算模型

現行的分布式計算系統可以提供強大的計算能力．但非專業用戶并不能有效地利用，一個龐大的任務很可能由于初學者的偶然操作導致性能的大幅下降。為了解決這些問題，應該提供給用戶一個高度抽象的產品系統．這些就是云計算的計算模型。提到云計算模型，就不得不說一個開源框架，那就是Hadoop。

Hadoop是一個分布式系統基本架構。由Apache開發，使用戶在不了解分布式底層細節的情況下，開發分布式程序。簡單點說。Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。

Hadoop實現了一個分布式文件系統（Hadoop DistributedFile System），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的硬件上。而且它提供高傳輸率來訪問應用程序的數據，適合那些有著超大數據集的應用程序。HDFS放寬了POSIX標準的要求。這樣可以流的形式訪問文件系統中的數據。

Hadoop采用Master／Slave結構（如圖1），會有一臺Mas．ter，主要負責NameNode的工作以及JobTracker的工作，Job．Tracker的主要職責就是啟動、跟蹤和調度各個Slave的任務執行。還會有多臺Slave，每一臺Slave通常具有DataNode的功能并負責TaskTracker的工作。TaskTracker根據應用要求來結合本地數據執行Map任務以及Reduce任務。

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]