大規(guī)模分布式存儲系統(tǒng)的定義如下：

“分布式存儲系統(tǒng)是大量普通PC服務(wù)器通過Internet互聯(lián)，對外作為一個整體提供存儲服務(wù)?！?/p>

分布式存儲系統(tǒng)具有如下幾個特性：

●可擴(kuò)展。分布式存儲系統(tǒng)可以擴(kuò)展到幾百臺甚至幾千臺的集群規(guī)模，而且，隨著集群規(guī)模的增長，系統(tǒng)整體性能表現(xiàn)為線性增長。

●低成本。分布式存儲系統(tǒng)的自動容錯、自動負(fù)載均衡機(jī)制使其可以構(gòu)建在普通PC機(jī)之上。另外，線性擴(kuò)展能力也使得增加、減少機(jī)器非常方便，可以實(shí)現(xiàn)自動運(yùn)維。

●高性能。無論是針對整個集群還是單臺服務(wù)器，都要求分布式存儲系統(tǒng)具備高性能。

●易用。分布式存儲系統(tǒng)需要能夠提供易用的對外接口，另外，也要求具備完善的監(jiān)控、運(yùn)維工具，并能夠方便地與其他系統(tǒng)集成，例如，從Hadoop云計(jì)算系統(tǒng)導(dǎo)入數(shù)據(jù)。

分布式存儲系統(tǒng)的挑戰(zhàn)主要在于數(shù)據(jù)、狀態(tài)信息的持久化，要求在自動遷移、自動容錯、并發(fā)讀寫的過程中保證數(shù)據(jù)的一致性。分布式存儲涉及的技術(shù)主要來自兩個領(lǐng)域：分布式系統(tǒng)以及數(shù)據(jù)庫，如下所示：

●數(shù)據(jù)分布：如何將數(shù)據(jù)分布到多臺服務(wù)器才能夠保證數(shù)據(jù)分布均勻？數(shù)據(jù)分布到多臺服務(wù)器后如何實(shí)現(xiàn)跨服務(wù)器讀寫操作？

●一致性：如何將數(shù)據(jù)的多個副本復(fù)制到多臺服務(wù)器，即使在異常情況下，也能夠保證不同副本之間的數(shù)據(jù)一致性？

●容錯：如何檢測到服務(wù)器故障？如何自動將出現(xiàn)故障的服務(wù)器上的數(shù)據(jù)和服務(wù)遷移到集群中其他服務(wù)器？

●負(fù)載均衡：新增服務(wù)器和集群正常運(yùn)行過程中如何實(shí)現(xiàn)自動負(fù)載均衡？數(shù)據(jù)遷移的過程中如何保證不影響已有服務(wù)？

●事務(wù)與并發(fā)控制：如何實(shí)現(xiàn)分布式事務(wù)？如何實(shí)現(xiàn)多版本并發(fā)控制？

●易用性：如何設(shè)計(jì)對外接口使得系統(tǒng)容易使用？如何設(shè)計(jì)監(jiān)控系統(tǒng)并將系統(tǒng)的內(nèi)部狀態(tài)以方便的形式暴露給運(yùn)維人員？

●壓縮/解壓縮：如何根據(jù)數(shù)據(jù)的特點(diǎn)設(shè)計(jì)合理的壓縮/解壓縮算法？如何平衡壓縮算法節(jié)省的存儲空間和消耗的CPU計(jì)算資源？

分布式存儲系統(tǒng)挑戰(zhàn)大，研發(fā)周期長，涉及的知識面廣。一般來講，工程師如果能夠深入理解分布式存儲系統(tǒng)，理解其他互聯(lián)網(wǎng)后臺架構(gòu)不會再有任何困難。

文章引用：http://www.duhuilife.cn/new/159.html

本站文章為深圳網(wǎng)站建設(shè)·源美網(wǎng)絡(luò)原創(chuàng)策劃，如有版權(quán)糾紛或者違規(guī)問題，請聯(lián)系我們刪除，謝謝！