全部課程
發(fā)布時(shí)間: 2021-08-26 16:59:37
hadoop有什么用?Hadoop是Apache旗下一個(gè)開源框架,用來(lái)開發(fā)與運(yùn)行分布式應(yīng)用程序來(lái)處理海量數(shù)據(jù)(大型數(shù)據(jù)集)。
大數(shù)據(jù)處理需要解決的關(guān)鍵性問(wèn)題,包括數(shù)據(jù)采集與數(shù)據(jù)管理、分布式存儲(chǔ)和并行計(jì)算、大數(shù)據(jù)應(yīng)用開發(fā)、數(shù)據(jù)分析與挖掘、大數(shù)據(jù)前端應(yīng)用、數(shù)據(jù)服務(wù)和展現(xiàn)等,而這些問(wèn)題在Hadoop框架下,基本都能夠有相應(yīng)的解決方案。
Hadoop以分布式文件系統(tǒng)HDFS(Hadoop distributed file system)和Map Reduce分布式計(jì)算框架為核心,為用戶提供了底層細(xì)節(jié)透明的分布式基礎(chǔ)設(shè)施。
HDFS的高容錯(cuò)性、高伸縮性等優(yōu)點(diǎn),允許用戶將Hadoop部署在廉價(jià)的硬件上,構(gòu)建分布式文件存儲(chǔ)系統(tǒng)。
Map Reduce分布式計(jì)算框架則允許用戶在不了解分布式系統(tǒng)底層細(xì)節(jié)的情況下開發(fā)并行、分布式的應(yīng)用程序,充分利用大規(guī)模的計(jì)算資源,解決傳統(tǒng)高性能單機(jī)無(wú)法解決的大數(shù)據(jù)處理問(wèn)題。
總之,Hadoop是目前分析海量數(shù)據(jù)的首選工具。
Hadoop的優(yōu)勢(shì)
Hadoop框架允許用戶快速編寫和測(cè)試分布式系統(tǒng)。該框架是高效的,在計(jì)算機(jī)之間自動(dòng)分布數(shù)據(jù)和工作,利用CPU內(nèi)核的底層并行機(jī)制。
Hadoop不依賴于硬件來(lái)提供容錯(cuò)和高可用性(FTHA),相反,Hadoop庫(kù)本身的設(shè)計(jì)就是用于在應(yīng)用層級(jí)探測(cè)和處理故障的發(fā)生。能夠動(dòng)態(tài)地向集群添加服務(wù)器、或者從集群中刪除服務(wù)器,Hadoop持續(xù)運(yùn)行狀態(tài)不會(huì)被打斷。
Hadoop另一個(gè)大優(yōu)勢(shì)是,除了開源之外,由于是基于Java技術(shù)研發(fā)的,所以對(duì)于所有平臺(tái)都兼容。
上一篇: hadoop需要什么基礎(chǔ)
下一篇: hadoop是什么