隨著網(wǎng)絡(luò)帶寬的高速增長(zhǎng)，在軟件上的消耗已成為網(wǎng)絡(luò)性能的瓶頸,，而通過(guò)繞過(guò)CPU實(shí)現(xiàn)高性能傳輸?shù)腞DMA網(wǎng)絡(luò)成為分布式存儲(chǔ)不錯(cuò)的選擇,。RDMA（RemoteDirectMemoryAccess）,，可以簡(jiǎn)單理解為網(wǎng)卡完全繞過(guò)CPU實(shí)現(xiàn)兩個(gè)服務(wù)器之間的內(nèi)存數(shù)據(jù)交換,。其作為一種硬件實(shí)現(xiàn)的網(wǎng)絡(luò)傳輸技術(shù),，可以大幅提升網(wǎng)絡(luò)傳輸效率,，幫助網(wǎng)絡(luò)IO密集的業(yè)務(wù)（比如分布式存儲(chǔ),、分布式數(shù)據(jù)庫(kù)等）獲得更低的時(shí)延以及更高的吞吐。初的RDMA是實(shí)現(xiàn)在IB（Infiniband）上,，由于其新的硬件技術(shù)棧成本比較高,，主要用于HPC（高性能計(jì)算）等少數(shù)場(chǎng)景。而新的技術(shù)發(fā)展下,，能夠?qū)崿F(xiàn)在以太網(wǎng)上使用RDMA,。 布式存儲(chǔ)解決如何將數(shù)據(jù)存到多臺(tái)機(jī)器上，并且提供可用性,，可靠性和一致性等問(wèn)題,。鹽城數(shù)據(jù)分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)

    得益于合理的分布式架構(gòu),，分布式存儲(chǔ)可預(yù)估并且彈性擴(kuò)展計(jì)算、存儲(chǔ)容量和性能,。分布式存儲(chǔ)的水平擴(kuò)展有以下幾個(gè)特性：1)節(jié)點(diǎn)擴(kuò)展后,，舊數(shù)據(jù)會(huì)自動(dòng)遷移到新節(jié)點(diǎn)，實(shí)現(xiàn)負(fù)載均衡,，避點(diǎn)過(guò)熱的情況出現(xiàn);2)水平擴(kuò)展只需要將新節(jié)點(diǎn)和原有集群連接到同一網(wǎng)絡(luò),，整個(gè)過(guò)程不會(huì)對(duì)業(yè)務(wù)造成影響;3)當(dāng)節(jié)點(diǎn)被添加到集群，集群系統(tǒng)的整體容量和性能也隨之線性擴(kuò)展,，此后新節(jié)點(diǎn)的資源就會(huì)被管理平臺(tái)接管,，被用于分配或者回收。隨著分布式存儲(chǔ)的發(fā)展,，存儲(chǔ)行業(yè)的標(biāo)準(zhǔn)化進(jìn)程也不斷推進(jìn),，分布式存儲(chǔ)優(yōu)先采用行業(yè)標(biāo)準(zhǔn)接口進(jìn)行存儲(chǔ)接入。在平臺(tái)層面,，通過(guò)將異構(gòu)存儲(chǔ)資源進(jìn)行抽象化,，將傳統(tǒng)的存儲(chǔ)設(shè)備級(jí)的操作封裝成面向存儲(chǔ)資源的操作，從而簡(jiǎn)化異構(gòu)存儲(chǔ)基礎(chǔ)架構(gòu)的操作,，以實(shí)現(xiàn)存儲(chǔ)資源的集中管理,，并能夠自動(dòng)執(zhí)行創(chuàng)建、變更,、回收等整個(gè)存儲(chǔ)生命周期流程,，從而降低了存儲(chǔ)采購(gòu)和管理成本。 上海大規(guī)模分布式存儲(chǔ)運(yùn)維告訴你分布式存儲(chǔ)的那些“坑”,。

    分布式存儲(chǔ)早期主要用于互聯(lián)網(wǎng)日志,、企業(yè)備份歸檔、開發(fā)測(cè)試等場(chǎng)景,，這些場(chǎng)景無(wú)疑是低價(jià)值場(chǎng)景,，成本是第yi訴求甚至訴求。然此一時(shí)彼一時(shí),，士別三日也當(dāng)刮目相看,。首先是分布式存儲(chǔ)產(chǎn)品能力已今非昔比，逐漸具備了承載企業(yè)高價(jià)值業(yè)務(wù)的關(guān)鍵能力,，例如毫秒級(jí)時(shí)延,、TB/s級(jí)帶寬、雙活/3DC業(yè)務(wù)級(jí)容災(zāi),、端到端DIF等,，無(wú)論是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)的承載，功能完備性的比較大短板早已補(bǔ)齊,。其次,，分布式存儲(chǔ)已走入眾多高價(jià)值關(guān)鍵業(yè)務(wù),，如運(yùn)營(yíng)商BOM業(yè)務(wù)、金融渠道類業(yè)務(wù)以及超算,、油藏探測(cè)HPC等高價(jià)值業(yè)務(wù),，通過(guò)大規(guī)模應(yīng)用實(shí)踐來(lái)檢驗(yàn)成色。（小道消息,，某些高價(jià)值場(chǎng)景全閃出貨價(jià)達(dá)到1000美金/TB以上啦）看完當(dāng)下還要看看未來(lái),，筆者認(rèn)為未來(lái)高價(jià)值的非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景，分布式存儲(chǔ)的版圖還會(huì)持續(xù)擴(kuò)展,。如自動(dòng)駕駛訓(xùn)練,、4K/8K超高清、5G日志留存等場(chǎng)景,，對(duì)多協(xié)議訪問(wèn),、極zhi帶寬、擴(kuò)展性訴求強(qiáng)烈,，分布式存儲(chǔ)已然成為這些未來(lái)業(yè)務(wù)的優(yōu)先架構(gòu),。

分布式存儲(chǔ)早是由谷歌提出的，其目的是通過(guò)廉價(jià)的服務(wù)器來(lái)提供使用與大規(guī)模,，高并發(fā)場(chǎng)景下的Web訪問(wèn)問(wèn)題,。它采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性,、可用性和存取效率,，還易于擴(kuò)展。分布式存儲(chǔ)的興起與互聯(lián)網(wǎng)的發(fā)展密不可分,，互聯(lián)網(wǎng)公司由于其數(shù)據(jù)量大而資本積累少,，而通常都使用大規(guī)模分布式存儲(chǔ)系統(tǒng)。與傳統(tǒng)的高duan服務(wù)器,、高duan存儲(chǔ)器和高duan處理器不同的是,，互聯(lián)網(wǎng)公司的分布式存儲(chǔ)系統(tǒng)由數(shù)量眾多的、低成本和高性價(jià)比的普通PC服務(wù)器通過(guò)網(wǎng)絡(luò)連接而成,。 超大規(guī)模時(shí)空數(shù)據(jù)的分布式存儲(chǔ)與應(yīng)用,。

    一般分布式存儲(chǔ)的MDC采用的是數(shù)據(jù)庫(kù)或內(nèi)存儲(chǔ)數(shù)據(jù)庫(kù)來(lái)記錄數(shù)據(jù)塊和物理位置關(guān)系?？蛻舳讼騇DC發(fā)出詢問(wèn)位置的請(qǐng)求,，MDC查詢數(shù)據(jù)庫(kù)后返回請(qǐng)求數(shù)據(jù)的存儲(chǔ)位置。這種方法存儲(chǔ)訪問(wèn)的速度較慢,，而且MDC作為交通的“樞紐”,，是整個(gè)存儲(chǔ)的核xin,，當(dāng)MDC發(fā)生故障，會(huì)導(dǎo)致整個(gè)存儲(chǔ)都不能使用,。但是采取這個(gè)方式,，也有好處，比如可以根據(jù)不同需求設(shè)置不同的副本策略等,。對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)是在同樣容量下提供的存儲(chǔ)性能比文件存儲(chǔ)更好,，又能像文件存儲(chǔ)一樣有很好的共享性。實(shí)際使用中,，性能不是對(duì)象存儲(chǔ)關(guān)注的問(wèn)題,，需要高性能可以用塊存儲(chǔ)，容量才是對(duì)象存儲(chǔ)關(guān)注的問(wèn)題,。所以對(duì)象存儲(chǔ)的持久化層的硬盤數(shù)量更多,，單盤的容量也更大。對(duì)象存儲(chǔ)的數(shù)據(jù)的安全性保障也各式各樣,，可以是單機(jī)raid或網(wǎng)絡(luò)raid,，也可以副本。Ceph和google基于GFS的存儲(chǔ)就是典型的對(duì)象存儲(chǔ),。 分布式存儲(chǔ)是一種數(shù)據(jù)存儲(chǔ)技術(shù),，通過(guò)網(wǎng)絡(luò)使用企業(yè)中的每臺(tái)機(jī)器上的磁盤空間。臺(tái)州大道云行分布式存儲(chǔ)原理

分布式存儲(chǔ)能夠?qū)崿F(xiàn)內(nèi)容感知,，配合前端應(yīng)用對(duì)海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析和價(jià)值挖掘,。鹽城數(shù)據(jù)分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)

為了保證分布式存儲(chǔ)系統(tǒng)的高可靠和高可用，數(shù)據(jù)在系統(tǒng)中一般存儲(chǔ)多個(gè)副本,。當(dāng)某個(gè)副本所在的存儲(chǔ)節(jié)點(diǎn)出現(xiàn)故障時(shí),，分布式存儲(chǔ)系統(tǒng)能夠自動(dòng)將服務(wù)切換到其他的副本，從而實(shí)現(xiàn)自動(dòng)容錯(cuò),。分布式存儲(chǔ)系統(tǒng)通過(guò)復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn),，并確保多個(gè)副本之間的數(shù)據(jù)一致性?？蛻舳藢懻?qǐng)求發(fā)送給主副本,，主副本將寫請(qǐng)求復(fù)制到其他備副本，常見(jiàn)的做法是同步操作日志（CommitLog）,。主副本首先將操作日志同步到備副本,，備副本回放操作日志，完成后通知主副本,。接著,，主副本修改本機(jī)，等到所有的操作都完成后再通知客戶端寫成功。下圖中的復(fù)制協(xié)議要求主備同步成功才可以返回客戶端寫成功,，這種協(xié)議稱為強(qiáng)同步協(xié)議,。 鹽城數(shù)據(jù)分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)

江蘇魏晉元興智能科技有限公司主要經(jīng)營(yíng)范圍是數(shù)碼、電腦,，擁有一支專業(yè)技術(shù)團(tuán)隊(duì)和良好的市場(chǎng)口碑,。魏晉元興智能致力于為客戶提供良好的網(wǎng)絡(luò)安全，VR,MR,，VR,，AI，視頻監(jiān)控安防,，出入口門禁失控制,，一切以用戶需求為中心，深受廣大客戶的歡迎,。公司秉持誠(chéng)信為本的經(jīng)營(yíng)理念,，在數(shù)碼、電腦深耕多年,，以技術(shù)為先導(dǎo),，以自主產(chǎn)品為重點(diǎn)，發(fā)揮人才優(yōu)勢(shì),，打造數(shù)碼,、電腦良好品牌。魏晉元興智能秉承“客戶為尊,、服務(wù)為榮,、創(chuàng)意為先、技術(shù)為實(shí)”的經(jīng)營(yíng)理念,，全力打造公司的重點(diǎn)競(jìng)爭(zhēng)力,。