《云計算架構比較和關鍵技術講解.ppt》由會員分享，可在線閱讀，更多相關《云計算架構比較和關鍵技術講解.ppt（82頁珍藏版）》請在裝配圖網(wǎng)上搜索。

云計算 ——Cloud Computing,,近年來，云計算已成為IT業(yè)界最熱門的研究方向之一。幾乎所有的主流IT廠商都在談論云計算，既包括硬件廠商（IBM、英特爾等）、軟件開發(fā)商（微軟等），也包括互聯(lián)網(wǎng)服務提供商（Google、Amazon等）和電信運營商（AT&T、中國移動等）。這些企業(yè)覆蓋了整個IT產(chǎn)業(yè)鏈，構建了一個完整的云計算生態(tài)系統(tǒng)。,引言,2,,引言,什么是云計算?,3,云計算的最終目標是將計算、服務和應用作為一種公共設施提供給公眾，使人們能夠像使用水、電、煤氣和電話那樣使用計算機資源。,引言,4,云計算概述 云計算體系結構 云計算關鍵技術 云計算研究現(xiàn)狀 云計算機遇與挑戰(zhàn) 云計算與分布式處理,目錄,5,1.1 云計算起源,2006年3月，亞馬遜推出彈性計算云服務。 2006年8月9日，Google首席執(zhí)行官埃里克施密特在搜索引擎大會首次提出“云計算”的概念。 2007年10月，Google與IBM開始在美國大學校園，推廣云計算的計劃，這項計劃希望能降低分散式計算技術在學術研究方面的成本，并為這些大學提供相關的軟硬件設備及技術支持。 2008年7月29日，雅虎、惠普和英特爾宣布一項涵蓋美國、德國和新加坡的聯(lián)合研究計劃，推出云計算研究測試床，推進云計算。該計劃要與合作伙伴創(chuàng)建6個數(shù)據(jù)中心作為研究試驗平臺，每個數(shù)據(jù)中心配置1400個至4000個處理器。 2008年8月3日，戴爾正在申請“云計算” 商標。戴爾在申請文件中稱，云計算是“在數(shù)據(jù)中心和巨型規(guī)模的計算環(huán)境中，為他人提供計算機硬件定制制造”。,6,1.1 云計算起源,2010年3月5日，Novell與云安全聯(lián)盟（CSA）共同宣布一項供應商中立計劃，名為“可信任云計算計劃”。 2010年7月，美國國家航空航天局和包括Rackspace、AMD、Intel、戴爾等支持廠商共同宣布“OpenStack”開放源代碼計劃。 微軟在2010年10月表示支持OpenStack與Windows Server 2008 R2的集成；而Ubuntu已把OpenStack加至11.04版本中。 2011年2月，思科系統(tǒng)正式加入OpenStack，重點研制OpenStack的網(wǎng)絡服務。,7,1.1 云計算起源（續(xù)）,計算資源的演進：從集中到分步再到集中,,,,計算時代,網(wǎng)絡時代,云時代,8,1.2 云計算發(fā)展路線,,9,,,,1.2.1 并行計算,,10,Parallel Computing 是指同時使用多種計算資源解決計算問題的過程，其主要目的是快速解決大型且復雜的計算問題 特點：把計算任務分派給系統(tǒng)內(nèi)的多個運算單元 并行機的多CPU和多存儲器 并行計算問題的特征 將工作分離成離散部分，有助于同時解決 隨時并及時地執(zhí)行多個程序指令（多CPU同時運行） 多計算資源下解決問題的耗時要少于單個計算資源下的耗時,1.2.2 分布式計算,,11,Distributed Computing 所謂分布式計算是一門計算機科學，它研究如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多計算機進行處理，最后把這些計算結果綜合起來得到最終的結果。 特點：把計算任務分派給網(wǎng)絡中的多臺獨立的機器 優(yōu)點： 稀有資源可以共享 通過分布式計算可以在多臺計算機上平衡計算負載 可以把程序放在最適合運行它的計算機上,1.2.3 云計算,12,,,,硬件為中心,軟件為中心,服務為中心,數(shù)據(jù)在云端：不怕丟失，不必備份； 軟件在云端：不必下載自動升級； 無所不在的計算：在任何時間、任何地點、任何設備登錄即可進行計算服務； 強大的計算：空間大，快速度。,1.2.3 云計算（續(xù)）,,13,電：從購買發(fā)電設備到購買電力服務,信息：從購買軟硬件到購買信息服務,發(fā)電機,現(xiàn)代發(fā)電廠,,,計算,軟件,存儲,,信息服務提供商,,,有了云計算，廣大用戶無需自購軟、硬件，甚至無需知道是誰提供的服務，只關注自己真正需要什么樣的資源或者得到什么樣的服務。,1.3 云計算定義,維基百科：是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計算機和其他設備。 Google ：將所有的計算和應用放置在“云”中，設備終端不需要安裝任何東西，通過互聯(lián)網(wǎng)絡來分享程序和服務。 微軟：認為云計算的應是“云+端”的計算，將計算資源分散分布，部分資源放在云上，部分資源放在用戶終端，部分資源放在合作伙伴處，最終由用戶選擇合理的計算資源分布。 美國國家標準與技術實驗室：云計算是一個提供便捷的通過互聯(lián)網(wǎng)訪問一個可定制的IT 資源共享池能力的按使用量付費模式（IT 資源包括網(wǎng)絡，服務器，存儲，應用，服務），這些資源能夠快速部署，并只需要很少的管理工作或很少的與服務供應商的交互；,到目前為止， 云計算還沒有一個統(tǒng)一的定義。云計算領先者如Google、Microsoft 等IT 廠商，依據(jù)各自的利益和各自不同的研究視角都給出了對云計算的定義和理解。,14,1.3 云計算定義(續(xù)),狹義云計算 狹義云計算是指IT基礎設施的交付和使用模式，通過網(wǎng)絡以按需、易擴展的方式獲得所需的資源（硬件、平臺、軟件）。 廣義云計算 廣義云計算是指服務的交付和使用模式，通過網(wǎng)絡以按需、易擴展的方式獲得所需的服務。這種服務可以是IT和軟件、互聯(lián)網(wǎng)相關的，也可以是任意其它的服務。,15,1.4 云計算基本特征,16,1.5 云計算優(yōu)勢,17,按需服務,快速服務,通用性,高可靠性,極其廉價,超大規(guī)模,虛擬化,高擴展性,1.6 云計算模式,18,軟件即服務（SaaS） ——Software as a Service 平臺即服務（PaaS） —— Platform as a Service 基礎設施既服務（IaaS） —— Infrastructure as a Service,1.6 云計算模式(續(xù)),19,服務多租賃化,平臺可伸縮化,資源虛擬化,云計算的服務體系,1.6.1 軟件即服務（SaaS）,20,提供給客戶的服務是服務商運行在云計算基礎設施上的應用程序，可以在各種客戶端設備上通過瘦客戶端界面訪問，比如瀏覽器。客戶不需要管理或控制的底層的云計算基礎設施，包括網(wǎng)絡、服務器、操作系統(tǒng)、存儲，甚至單個應用程序的功能. 如：Google APPS、SoftWare+Services；,1.6.2 平臺即服務（PaaS）,21,提供給客戶的是將客戶用供應商提供的開發(fā)語言和工具（例如Java，python,.Net）創(chuàng)建的應用程序部署到云計算基礎設施上去。客戶不需要管理或控制的底層的云基礎設施，包括網(wǎng)絡、服務器、操作系統(tǒng)、存儲，但客戶能控制部署的應用程序，也可能控制應用的托管環(huán)境配置。 如：IBM IT Factory、Google APPEngine、F；,SaaS & PaaS 示例,22,,,,,定制化硬件，集裝箱式數(shù)據(jù)中心,,云計算IT平臺,Google應用,,托管的第三方應用,Google 云計算IT架構,搜索,廣告,VoIP/IM,地圖服務,照片分享,郵件,視頻分享,辦公套件,日歷,GFS,BigTable,MapReduce,集群管理,－SaaS & PaaS,1.6.3 基礎設施即服務（IaaS）,23,提供給客戶的是出租處理能力、存儲、網(wǎng)絡和其它基本的計算資源，用戶能夠部署和運行任意軟件，包括操作系統(tǒng)和應用程序?？蛻舨还芾砘蚩刂频牡讓拥脑朴嬎慊A設施，但能控制操作系統(tǒng)、儲存、部署的應用，也有可能選擇網(wǎng)絡組件（例如，防火墻，負載均衡器）。 如： Amazo Ec2、IBM Blue Cloud、Sun Grid；,實例,24,戰(zhàn)略：利用內(nèi)部IT資源平臺，對外提供IT公用服務 作為云計算的推動者，Amazon 歷經(jīng)2年多時間形成了基本成熟的云計算服務,商業(yè)模式 計算，存儲，帶寬等IT基礎設施出租 Web基礎能力，電子商務基本能力作為服務出租 按需使用，按需付費 網(wǎng)上支付 客戶 互聯(lián)網(wǎng)應用開發(fā)者 企業(yè)（納斯達克，紐約時報） 面向全球，目前主要集中在北美和歐洲，09年已經(jīng)啟動中國市場拓展 合作伙伴 IBM、Microsoft、Oracle、Google、Apple,,,,,Amazon Technology Platform（計算，存儲，網(wǎng)絡）,EC2,S3,Simple DB,SQS,DevPay,FPS,MT,Alexa Search,FWS,Other…,計算,支付,訂單履行,搜索,人工智能,AWS – Amazon Web Services,存儲,數(shù)據(jù)庫,消息隊列,計費,,,,,,,,,,其他設施能力,進展 到08年11月為止，已經(jīng)有45萬開發(fā)者基于Amazon AWS開發(fā)Web應用 存儲對象數(shù)從07年4月份50億增長到08年10月份的290億，在一年半的時間里增長6倍 08年云服務收入約4億美金,,25,1.7 云計算部署模式,26,部署層次的類型,27,1.7 云計算部署模式（續(xù)）,1.8 云計算推動力量,28,虛擬化技術 寬帶的普及 互聯(lián)網(wǎng)應用增加 服務器瀏覽器開發(fā)技術的進步 IT基礎設施利用率低下 數(shù)據(jù)中心能耗問題突出 IT管理與維護成本提高 ….,云計算的基本原理是通過使計算分布在大量的計算服務器上，而非本地計算機或遠程服務器中，企業(yè)數(shù)據(jù)中心的運行將更與互聯(lián)網(wǎng)相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應用上，根據(jù)需求訪問計算機和存儲系統(tǒng)。,2 云計算體系結構,29,2.1云計算體系邏輯結構,30,云用戶端：提供云用戶請求服務的交互界面，也是用戶使用云的入口，用戶通過Web瀏覽器可以注冊、登錄及定制服務、配置和管理用戶。打開應用實例與本地操作桌面系統(tǒng)一樣。 服務目錄：云用戶在取得相應的權限后可以選擇或定制的服務列表，也可以對已有服務進行退訂的操作，在云用戶端界面生產(chǎn)相應的圖標或列表的形式展示相關服務。,2.1 云計算體系邏輯結構(續(xù)),31,管理系統(tǒng)和部署工具：提供管理和服務，能管理云用戶，能對用戶授權、認證、登錄進行管理，并可以管理可用計算資源和服務，接收用戶發(fā)送的請求，根據(jù)用戶請求轉(zhuǎn)發(fā)相應的程序，調(diào)度資源智能地部署資源和應用，動態(tài)部署、配置和回收資源。 監(jiān)控：監(jiān)控和計量云系統(tǒng)資源的使用情況，以便做出迅速反應，完成借點同步配置、負載均衡配置和資源監(jiān)控，確保資源能順利分配給合適的用戶。 服務器集群：虛擬的或物理的服務器，由管理系統(tǒng)來管理負載、高并發(fā)量的用戶請求處理、大運算量計算處理、用戶Web應用服務，云數(shù)據(jù)存儲時采用相應數(shù)據(jù)切割算法，采用并行方式上傳和下載大容量數(shù)據(jù)。 用戶可以通過云用戶端從列表中選擇所需的服務，其請求通過管理系統(tǒng)調(diào)度相應的資源，并通過部署工具分發(fā)請求、配置Web應用。,2.2云計算技術系統(tǒng)結構,32,33,云計算技術體系結構分為4層：物理資源層、資源池層、管理中間件層和SOA構建層（如上圖）； 物理資源層包括計算機、存儲器、網(wǎng)絡設施、數(shù)據(jù)庫和軟件等； 資源池層是將大量相同類型的資源構成同構或接近同構的資源池，如計算資源池、數(shù)據(jù)資源池等。構建資源池更多是物理資源的集成和管理工作，例如研究在一個標準集裝箱的空間如何裝下2000個服務器、解決散熱和故障節(jié)點替換的問題并降低能耗。,2.2云計算技術系統(tǒng)結構（續(xù)）,34,管理中間件負責對云計算的資源進行管理，并對眾多應用任務進行調(diào)度，使資源能夠高效、安全地為應用提供服務； SOA構建層將云計算能力封裝成標準的Web Services服務，并納入到SOA體系進行管理和使用，包括服務注冊、查找、訪問和構建服務工作流等。管理中間件和資源池層是云計算技術的最關鍵部分，SOA構建層的功能更多依靠外部設施提供。,2.2云計算技術系統(tǒng)結構（續(xù)）,35,計算的管理中間件負責資源管理、任務管理、用戶管理和安全管理等工作。 資源管理負責均衡地使用云資源節(jié)點，檢測節(jié)點的故障并試圖恢復或屏蔽之，并對資源的使用情況進行監(jiān)視統(tǒng)計； 任務管理負責執(zhí)行用戶或應用提交的任務，包括完成用戶任務映象(Image)的部署和管理、任務調(diào)度、任務執(zhí)行、任務生命期管理等等；,2.2云計算技術系統(tǒng)結構（續(xù)）,36,用戶管理是實現(xiàn)云計算商業(yè)模式的一個必不可少的環(huán)節(jié)，包括提供用戶交互接口、管理和識別用戶身份、創(chuàng)建用戶程序的執(zhí)行環(huán)境、對用戶的使用進行計費等； 安全管理保障云計算設施的整體安全，包括身份認證、訪問授權、綜合防護和安全審計等。,2.2云計算技術系統(tǒng)結構（續(xù)）,2.3 云計算和下一代IT架構,37,集成&開發(fā),用戶界面 & 接口,,虛擬應用,強化: 減少費用 & 提高質(zhì)量,虛擬化: 簡單接入, 提高終端用戶管理 & 使用最大化,自動化: 提高速度和預言性 & 減少勞動力,38,商業(yè)流程,集成&開發(fā),,虛擬信息,虛擬存儲,虛擬進程,底層結構虛擬,,,虛擬應用,云計算應用 (“Software-as-a-Service”),用戶界面 & 接口,2.3 云計算和下一代IT架構(續(xù)),39,Integration, Event & Deployment,,協(xié)作消息,,集成&開發(fā),,,,,云平臺 (“Platform-as-a-Service”),商業(yè)流程,用戶界面 & 接口,虛擬應用,虛擬信息,底層結構虛擬,虛擬存儲,虛擬進程,2.3 云計算和下一代IT架構(續(xù)),40,,,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,,虛擬應用,,虛擬信息,集成 & 開發(fā),云協(xié)作,2.3 云計算和下一代IT架構(續(xù)),41,商業(yè)流程,,協(xié)作/消息,服務/資源管理 & 安全,集成 & 開發(fā),用戶界面 & 接口,,虛擬應用,,虛擬信息,,,,虛擬 存儲,虛擬 進程,底層結構虛擬,2.3 云計算和下一代IT架構(續(xù)),42,服務/資源管理 & 安全,,,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,,,虛擬應用,,Virtualized Information,,,,,底層結構虛擬,,虛擬 進程,,虛擬 存儲,集成 & 開發(fā),,,,,虛擬信息,基礎設施 (“Infrastructure-as-a-Service”) 軟件 (“Software-as-a-Service”),,2.3 云計算和下一代IT架構(續(xù)),43,Service/Resource Mgmt & Security,,,協(xié)作/消息,商業(yè)流程,用戶界面 & 接口,,,虛擬應用,Virtualized Information,,,,,底層虛擬結構,,虛擬進程,,虛擬儲存,集成 & 開發(fā),,,,,虛擬信息,43,2.3 云計算和下一代IT架構(續(xù)),虛擬化技術 分布式技術 數(shù)據(jù)中心構建技術 云計算安全技術 云計算編程模型 …….,3. 云計算關鍵技術,44,云計算的目標是以低成本的方式提供高可靠、高可用、規(guī)模可伸縮的個性化服務。為了達到這個目標，需要數(shù)據(jù)中心管理、虛擬化、海量數(shù)據(jù)處理、資源管理與調(diào)度、QoS 保證、安全與隱私保護等若干關鍵技術加以支持。,云計算與相關技術的聯(lián)系,45,46,云計算體系架構,IaaS 層是云計算的基礎。通過建立大規(guī)模數(shù)據(jù)中心，IaaS 層為上層云計算服務提供海量硬件資源。同時，在虛擬化技術的支持下，IaaS 層可以實現(xiàn)硬件資源的按需配置，并提供個性化的基礎設施服務。 主要研究問題： 如何建設低成本、高效能的數(shù)據(jù)中心； 如何拓展虛擬化技術，實現(xiàn)彈性、可靠的基礎設施服務。,3.1 IaaS 層關鍵技術,47,數(shù)據(jù)中心相關技術,48,,,,消除異構化系統(tǒng)之間障礙 快速動態(tài)部署資源和服務,云計算平臺對資源的獨立，兼容各類應用平臺 計算，存儲，網(wǎng)絡資源的智能化統(tǒng)一管理 面向業(yè)務的資源的定制化部署,虛擬化技術與綠色科技結合，降低能耗 先進、高效、智能的系統(tǒng)散熱方案 智能化的環(huán)境控制和能效管理系統(tǒng),,,,,虛擬化提高資源利用率， 簡化管理維度，節(jié)省維護成本 支持異構資源兼容，實現(xiàn)業(yè)務的平滑升級,,下一代數(shù)據(jù)中心的特征,基于云計算 的基礎架構,虛擬化,智能,綠色,低成本,與傳統(tǒng)的企業(yè)數(shù)據(jù)中心不同，云計算數(shù)據(jù)中心具有以下特點 自治性。 規(guī)模經(jīng)濟。 規(guī)模可擴展。 研究重點： ① 數(shù)據(jù)中心網(wǎng)絡設計 以低成本、高帶寬、高可靠的方式連接大規(guī)模計算節(jié)點； ② 數(shù)據(jù)中心節(jié)能技術,數(shù)據(jù)中心相關技術,49,虛擬化技術,50,虛擬化（Virtualization） 是將計算機物理資源如服務器、網(wǎng)絡、內(nèi)存及存儲等予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，使用戶可以采用比原本的組態(tài)更好的方式來應用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設方式，地域或物理組態(tài)所限制。 包括： 軟件虛擬化 硬件輔助虛擬化 操作系統(tǒng)級虛擬化,虛擬化技術,51,,非虛擬化環(huán)境 難以管理 無靈活性 投資回報率低 眾多分立的采購,虛擬化技術,52,數(shù)據(jù)中心為云計算提供了大規(guī)模資源。為了實現(xiàn)基礎設施服務的按需分配，需要研究虛擬化技術。虛擬化是IaaS 層的重要組成部分，也是云計算的最重要特點。虛擬化技術可以提供以下特點。 資源分享 資源定制 細粒度資源管理 為了進一步滿足云計算彈性服務和數(shù)據(jù)中心自治性的需求，需要研究虛擬機快速部署和在線遷移技術。 虛擬機快速部署技術 虛擬機在線遷移技術,PaaS 層作為3 層核心服務的中間層，既為上層應用提供簡單、可靠的分布式編程框架，又需要基于底層的資源信息調(diào)度作業(yè)、管理數(shù)據(jù)，屏蔽底層系統(tǒng)的復雜性。隨著數(shù)據(jù)密集型應用的普及和數(shù)據(jù)規(guī)模的日益龐大，PaaS 層需要具備存儲與處理海量數(shù)據(jù)的能力。 主要技術包括： 海量數(shù)據(jù)存儲與處理技術 資源管理與調(diào)度技術,3.2 PaaS 層關鍵技術,53,海量數(shù)據(jù)存儲技術 云計算環(huán)境中的海量數(shù)據(jù)存儲既要考慮存儲系統(tǒng)的I/O 性能，又要保證文件系統(tǒng)的可靠性與可用性。如為Google 設計了GFS（google file system），GFS 對其應用環(huán)境做了6 點假設： ①系統(tǒng)架設在容易失效的硬件平臺上； ②需要存儲大量GB 級甚至TB 級的大文件； ③文件讀操作以大規(guī)模的流式讀和小規(guī)模的隨機讀構成； ④文件具有一次寫多次讀的特點； ⑤系統(tǒng)需要有效處理并發(fā)的追加寫操作； ⑥高持續(xù)I/O 帶寬比低傳輸延遲重要。,海量數(shù)據(jù)存儲與處理技術,54,海量數(shù)據(jù)存儲與處理技術,55,GFS 執(zhí)行流程,數(shù)據(jù)處理技術與編程模型 PaaS 平臺不僅要實現(xiàn)海量數(shù)據(jù)的存儲，而且要提供面向海量數(shù)據(jù)的分析處理功能。由于PaaS 平臺部署于大規(guī)模硬件資源上，所以海量數(shù)據(jù)的分析處理需要抽象處理過程，并要求其編程模型支持規(guī)模擴展，屏蔽底層細節(jié)并且簡單有效。 如：MapReduce 是Google 提出的并行程序編程模型,海量數(shù)據(jù)存儲與處理技術,56,MapReduce 的執(zhí)行過程,副本管理技術 任務調(diào)度算法 任務容錯機制,資源管理與調(diào)度技術,57,為了使云計算核心服務高效、安全地運行，需要服務管理技術加以支持。服務管理技術包括: QoS保證機制 安全與隱私保護技術 資源監(jiān)控技術 服務計費模型 ….,3.3 服務管理層,58,4. 云計算研究現(xiàn)狀,59,IBM：藍云計劃 谷歌：Google App Engine 亞馬遜：彈性計算云Elastic Compute Cloud (EC2) 微軟：Windows Azure platform 惠普、英特爾、雅虎：Open Cirrus云計算測試平臺 Salesforce：軟件服務提供商 …,4. 云計算研究現(xiàn)狀,60,4. 云計算研究現(xiàn)狀,61,Google 101 計劃:卡耐基梅隆大學，MIT，斯坦福大學，加利福尼亞大學伯克利分校，馬里蘭大學和華盛頓大學。 學生們學習如何調(diào)整自己的程序來適應Google計算機，并雄心勃勃地設計開發(fā)網(wǎng)絡規(guī)模的項目 這些數(shù)據(jù)可能用于開發(fā)新藥品和療法、制造新的清潔能源、甚至預測地震 2007年一年就增加了4個新的數(shù)據(jù)中心，平均每個成本達6億美元,4. 云計算研究現(xiàn)狀,62,Google,4. 云計算研究現(xiàn)狀,63,Google App Engine,4. 云計算研究現(xiàn)狀,64,Google App Engine,Google App Engine 提供運行和開發(fā)的基礎平臺，允許開發(fā)人員編寫網(wǎng)絡應用，上傳至App Engine部署運行 支持Java和Python兩種開發(fā)語言 App Engine 應用程序易于構建和維護，并可根據(jù)訪問量和數(shù)據(jù)存儲需要，進行伸縮。 將應用程序隔離在它自己的安全可靠環(huán)境中，該環(huán)境與網(wǎng)絡服務器的硬件、操作系統(tǒng)和物理位置無關,4. 云計算研究現(xiàn)狀,65,云計算時代的分布并行編程技術 分布并行數(shù)據(jù)處理技術 Google MapReduce Hadoop MapReduce 分布式文件系統(tǒng) Google File System Hadoop Distributed File System 分布式數(shù)據(jù)庫 Google BigTable Hadoop HBase,云計算的分布并行編程技術,4. 云計算研究現(xiàn)狀,66,分布并行數(shù)據(jù)處理,MapReduce 用于大規(guī)模數(shù)據(jù)并行處理 數(shù)據(jù)量大（超過1TB） 在成百上千個CPU上并行處理 用戶只需實現(xiàn)下面接口 map (in_key, in_value) - (out_key, intermediate_value) list reduce (out_key, intermediate_value list) - out_value list,分布并行數(shù)據(jù)處理（續(xù)）,67,,MapReduce架構,4. MapReduce實現(xiàn)原理,68,,分布式文件系統(tǒng),69,Google File System（GFS） 需求：在廉價、相對不可靠的計算機上對巨量數(shù)據(jù)進行冗余存儲。 為什么不用現(xiàn)有的文件系統(tǒng)？--Google面對特殊的挑戰(zhàn) 文件較大，每個都在100M以上，通常為幾個GB 文件通常需要頻繁的追加 用流方式讀取 高吞吐量 低延遲 針對上述問題，GFS在文件系統(tǒng)性能和可伸縮性方面進行了優(yōu)化設計。,Google文件系統(tǒng)(GFS),70,Google 48%,MSN 19%,Yahoo 33%,,,,,客戶端,,互為備份,管理節(jié)點,,,GFS主節(jié)點,,GFS主節(jié)點,,C0,,C1,,C2,,C5,,數(shù)據(jù)結點1,,C0,,C2,,C5,,數(shù)據(jù)結點N,,C1,,,C5,,數(shù)據(jù)結點2,…,,,,,,,,,,,,,,,,,C1,分布式文件系統(tǒng)（續(xù)）,71,GFS的設計理念 文件用塊存儲 每個塊固定為64MB 通過冗余解決可靠性問題 每個塊同時拷貝在3個塊服務器上 主服務器負責協(xié)調(diào)訪問和保存元數(shù)據(jù) 簡單化的集中管理 定制化的API 無數(shù)據(jù)緩存 較大文件塊和流式讀取使得緩存效果不佳,分布式數(shù)據(jù)庫系統(tǒng),72,Google BigTable 為了處理Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)而構建的大規(guī)模分布式數(shù)據(jù)庫管理系統(tǒng) 特點 面向大規(guī)模處理、容錯性強的自我管理系統(tǒng)，擁有TB級的內(nèi)存和PB級的存儲能力，每秒可以處理數(shù)百萬的讀寫操作 能夠保存記錄的不同時段的版本 構建于GFS和MapReduce基礎之上,分布式數(shù)據(jù)庫系統(tǒng)（續(xù)）,73,BigTable的設計理念 面向網(wǎng)頁數(shù)據(jù)的發(fā)布、搜索和瀏覽等特定處理的需要，簡化數(shù)據(jù)管理系統(tǒng)的設計，并提高性能 不支持關聯(lián) 不支持SQL查詢 簡化數(shù)據(jù)的一致性管理 網(wǎng)頁數(shù)據(jù)的管理對一致性要求不高 簡化事務管理 網(wǎng)頁數(shù)據(jù)的處理（搜索、發(fā)布）對事務管理要求不高 面向海量數(shù)據(jù)管理要求 設計分割和合并管理機制（基于元數(shù)據(jù)） 設計自動伸縮功能（根據(jù)數(shù)據(jù)量調(diào)整資源用量）,分布式數(shù)據(jù)庫系統(tǒng)（續(xù)）,74,BigTable架構,國內(nèi)云計算企業(yè),75,,5. 云計算的機遇與挑戰(zhàn),76,近年來，云計算技術得到了快速發(fā)展。 隨著它對人們?nèi)粘Ｉ畹挠绊懺絹碓缴钊耄朴嬎阕罱K使得計算和存儲成為一種公共資源，像水、電一樣滲透到人們生活的各個方面。 與此同時，新的應用需求不斷出現(xiàn)，比如實時搜索，在線推薦系統(tǒng)，社交網(wǎng)絡分析等應用，將給云計算技術帶來新的挑戰(zhàn)。,5. 云計算的機遇與挑戰(zhàn),77,云計算和移動互聯(lián)網(wǎng)的結合 云計算與科學計算的結合 端到云的海量數(shù)據(jù)傳輸 大規(guī)模應用的部署與調(diào)試 新型的應用對數(shù)據(jù)存儲量的要求更大 應用的復雜度和實時性要求越來越高 應用對數(shù)據(jù)隨機訪問的速度越來越高,6. 云計算與分布式處理,78,集中式:采用工作站/終端通過網(wǎng)絡/電纜共享大型計算機的計算與存儲資源; 分布式:在一個局域網(wǎng)中,每一臺機器既是一臺工作站,又是一臺服務器,沒有主—從之分,也就是人們常說的P2P模式。整個系統(tǒng)在用戶看來就是一臺存儲容量大、計算能力強的虛擬機。 云計算：在互聯(lián)網(wǎng)中，由多臺計算（應用）服務器和數(shù)據(jù)庫（存儲）服務器組成的,6. 云計算與分布式處理,79,一臺存儲容量大、技術能力強的虛擬機，分布式存儲及分布式計算模型是云計算體系架構中的核心。 云計算技術與分布式處理技術的異同 相同之處：兩者都提供了一臺存儲容量大、技術能力強的虛擬機。 不同之處：分布式處理技術是P2P模式，在虛擬機上的用戶程序被分成多個模塊透明,6. 云計算與分布式處理,80,地分發(fā)到任意多臺機器上，通過它們之間的交互和協(xié)作共同完成用戶的程序。用戶的文件/數(shù)據(jù)存方在任意多臺機器上的存儲器中，可供透明地進行訪問和修改。所有機器上的負載基本保持平衡。 而云計算技術是用戶通過虛擬機調(diào)用存放在存儲器群中的程序，該程序被透明地分發(fā)到任意一臺計算服務器上執(zhí)行,以保持計算服務器群的負載基本平衡。用戶的文,6. 云計算與分布式處理,81,文件/程序/數(shù)據(jù)存放在任意多臺存儲器中，可供透明地訪問和修改。 總而言之，分布式處理技術是云計算技術的基礎，而在分布式處理技術基礎上發(fā)展起來的云計算技術是一種基于互聯(lián)網(wǎng)的集中分布式處理技術。,謝謝大家！,計算機科學與計算學院,