數(shù)據(jù)分布式存儲原理

發(fā)布時間： 2022-07-07 10:53:00

數(shù)據(jù)分布式存儲原理，數(shù)據(jù)分布式規(guī)則?就這?怎么就數(shù)據(jù)分布式了?，F(xiàn)在我們把MDC對應(yīng)OSD數(shù)量生成的數(shù)據(jù)分布式規(guī)則交給VBS模塊。

VBS是安裝在用戶系統(tǒng)中的一個代理，當(dāng)用戶需要存放數(shù)據(jù)在分布式存儲中時，VBS會先接收用戶的數(shù)據(jù)，然后對用戶數(shù)據(jù)進(jìn)行切塊分區(qū)(一般會把數(shù)據(jù)分成1MB大小的數(shù)據(jù)分片。

例如一個1GB的視頻文件需要存放在分布式存儲中，則會被VBS接收后分割為1024個1MB大小的數(shù)據(jù)分片)，接著對每個數(shù)據(jù)分片帶有的SCSI標(biāo)識進(jìn)行格式轉(zhuǎn)化，使之成為分布式存儲系統(tǒng)使用的Key標(biāo)識。然后對key進(jìn)行哈希計(jì)算，算出每個數(shù)據(jù)分片的哈希值。

可以這樣理解，其實(shí)每個數(shù)據(jù)在操作系統(tǒng)下發(fā)存儲的時候都會帶著一個介紹信(SCSI標(biāo)識)，操作系統(tǒng)告訴數(shù)據(jù)拿著這個介紹信去找大V哥開房間存放數(shù)據(jù)。

分布式存儲的VBS模塊就是這個大V哥，當(dāng)大V哥看到這個介紹信(SCSI標(biāo)識)后就告訴數(shù)據(jù)，你的這個介紹信(SCSI標(biāo)識)現(xiàn)在用不了了，必須重新登記一下，然后VBS就根據(jù)介紹信(SCSI標(biāo)識)又開了一張票(Key)給數(shù)據(jù)，然后數(shù)據(jù)拿著這張票(Key)去找大V哥的小弟，小弟就根據(jù)票(key)來分配房卡(key帶入哈希函數(shù)進(jìn)行計(jì)算算出哈希值)，開房間存放數(shù)據(jù)(如圖)。

(圖數(shù)據(jù)分片邏輯圖)

數(shù)據(jù)被VBS接收后，最終數(shù)據(jù)會變成多個1MB的小數(shù)據(jù)分片，并且每一個1MB的小數(shù)據(jù)塊都會帶著最終的哈希值。哈希值可以在0-2^32之間取整，很巧的是，MDC生成的哈希路由圓環(huán)也剛好是2^32份個分區(qū)，那么哈希值取整是多少，該1MB數(shù)據(jù)分片就歸屬于哪一個分區(qū)。

由于MDC通過對應(yīng)OSD和哈希路由圓環(huán)的分區(qū)生成了一個分區(qū)對應(yīng)磁盤的關(guān)系(數(shù)據(jù)分布式規(guī)則)，那么最終這個數(shù)據(jù)就存放在該分區(qū)對應(yīng)的磁盤中，該磁盤的OSD會將數(shù)據(jù)持久化存放在磁盤介質(zhì)中。(如圖)若上文假設(shè)中提到分區(qū)1-分區(qū)3對應(yīng)OSD1，剛好現(xiàn)在有一個數(shù)據(jù)分片對應(yīng)的哈希值取整后為3，則該1MB數(shù)據(jù)歸屬在分區(qū)3，分區(qū)3對應(yīng)OSD1，則由OSD1將該1MB數(shù)據(jù)存放到該OSD對應(yīng)的磁盤中，完成數(shù)據(jù)落盤。

(圖哈希全流程圖)

由于哈希路由圓環(huán)所生成的分區(qū)是均分對應(yīng)到OSD上的，所以當(dāng)大量數(shù)據(jù)存儲時，由于概率，最終數(shù)據(jù)基本會均分到各個OSD對應(yīng)的磁盤中存放起來。所有磁盤是并發(fā)工作的，都可以接收數(shù)據(jù)就等同于所有磁盤對應(yīng)所在的服務(wù)器都是并發(fā)且相對均衡地接收數(shù)據(jù)，最終完成數(shù)據(jù)的分布式存儲。

您可能也喜歡：