在對(duì)大數(shù)據(jù)系統(tǒng)有了初步了解后，要知道大數(shù)據(jù)系統(tǒng)的架構(gòu)其實(shí)是不一樣的，要根據(jù)企業(yè)各自的需求來選擇合適的組件來構(gòu)建自己的系統(tǒng)，那么常見的組件有哪些呢？它們各自的作用是什么？下面介紹了大數(shù)據(jù)系統(tǒng)中常用的組件。

1、Hadoop

Hadoop是大數(shù)據(jù)系統(tǒng)的基礎(chǔ)組件，許多其他分布式存儲(chǔ)和數(shù)據(jù)處理組件都建立在它的基礎(chǔ)上，它是Apache旗下的一個(gè)開源軟件平臺(tái)，還包括HDFS（分布式文件系統(tǒng)）、YARN（運(yùn)行調(diào)度系統(tǒng)）和MapReduce（分布式編程運(yùn)算框架）。

2、HDFS

HDFS是一個(gè)用于存儲(chǔ)文件的分布式文件系統(tǒng)，由許多服務(wù)器組成，它們連接在一起，為各種分布式計(jì)算系統(tǒng)（MapReduce、Spark、tez）提供功能和數(shù)據(jù)存儲(chǔ)。

3、YARN（Yet Another Resource Negotiator），

一個(gè)負(fù)責(zé)作業(yè)調(diào)度和集群資源管理的資源協(xié)調(diào)者。

4、MapReduce

這是一個(gè)分布式計(jì)算編程組件，它將一個(gè)算法抽象成兩部分，少量的代碼可以實(shí)現(xiàn)大量數(shù)據(jù)的并行離線計(jì)算。

5、HIVE

這是一個(gè)基于大數(shù)據(jù)技術(shù)（文件系統(tǒng)+計(jì)算框架）的SQL數(shù)據(jù)倉(cāng)庫(kù)工具，它將結(jié)構(gòu)化的數(shù)據(jù)文件映射到數(shù)據(jù)庫(kù)表中，實(shí)現(xiàn)了簡(jiǎn)單的SQL查詢，并可以將SQL語(yǔ)句直接轉(zhuǎn)換為MapReduce任務(wù)來執(zhí)行。

6、Hbase

一個(gè)基于Hadoop的分布式海量數(shù)據(jù)庫(kù)，一個(gè)建立在HDFS上的分布式列數(shù)據(jù)庫(kù)。HBASE是Google Bigtable的一個(gè)開源實(shí)現(xiàn)，但有許多不同之處。