Achievements
網(wǎng)絡(luò)存儲(chǔ)技術(shù)從誕生到現(xiàn)在,已經(jīng)經(jīng)歷了近二十年的歷程。在這個(gè)過程中,無論是計(jì)算技術(shù)、網(wǎng)絡(luò)通信技術(shù)還是信息儲(chǔ)存技術(shù)都發(fā)生了翻天覆地的變化。計(jì)算技術(shù)領(lǐng)域,基于開放操 作系統(tǒng)上的集群計(jì)算技術(shù)已經(jīng)取代大型機(jī);網(wǎng)絡(luò)通信領(lǐng)域,開放架構(gòu)的 TCP/IP通信已經(jīng)統(tǒng)治了一切;在信息存儲(chǔ)技術(shù)上,單塊磁盤的容量已經(jīng)從G級(jí)別進(jìn)入T級(jí)別。
傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)設(shè)備,無論是FC SAN、NAS還是IP SAN,都是采用以滿足單臺(tái)服務(wù)器存儲(chǔ)需要為目標(biāo)的體系設(shè)計(jì),在共享能力、性能、可靠性、擴(kuò)展性以及總體擁有成本上,已經(jīng)無法滿足企業(yè)新的應(yīng)用需求。如果 僅僅通過外圍手段來彌補(bǔ),必將造成存儲(chǔ)架構(gòu)越來越復(fù)雜,用戶管理難度越來越大,總體擁有成本越來越高。
為了滿足IT技術(shù)發(fā)展的挑戰(zhàn),LoongStore集群存儲(chǔ)采用了代表計(jì)算技術(shù)、網(wǎng)絡(luò)通信技術(shù)以及文件 系統(tǒng)技術(shù)發(fā)展方向的體系架構(gòu),提供給用戶跨平臺(tái)共享、高性能、高可靠、可平滑擴(kuò)展、使用和維護(hù)簡(jiǎn)單的高端存儲(chǔ)系統(tǒng)。系統(tǒng)以開放架構(gòu)平臺(tái)智能存儲(chǔ)服務(wù)器為基 本節(jié)點(diǎn),通過在千兆以太網(wǎng)基礎(chǔ)上不受限制地添加節(jié)點(diǎn),構(gòu)成了業(yè)界最高的性能、可靠性以及極低總體擁有成本的存儲(chǔ)集群。
LoongStore為一種大規(guī)模的文件共享存儲(chǔ)系統(tǒng),它面向海量數(shù)據(jù)、高并發(fā)訪問的環(huán)境。其產(chǎn)品架構(gòu)圖如圖所示:
圖1 LoongStore產(chǎn)品架構(gòu)
LoongStore產(chǎn)品架構(gòu)支持:
l 單文件系統(tǒng)100PB
l 支持2000個(gè)以上節(jié)點(diǎn)并發(fā)
l 支持超過500億文件
產(chǎn)品主要特點(diǎn):
l 產(chǎn)品架構(gòu)上:實(shí)現(xiàn)了橫向擴(kuò)展。從原來的單節(jié)點(diǎn)增加CPU、內(nèi)存、存儲(chǔ)等等的縱向擴(kuò)展方案往增加節(jié)點(diǎn)數(shù)量的橫向擴(kuò)展方案的轉(zhuǎn)變,使得容量擴(kuò)展更加靈活、同時(shí)也實(shí)現(xiàn)了更低的起始投入成本;
l 產(chǎn)品工作流上:實(shí)現(xiàn)了更高效的數(shù)據(jù)讀寫方式。通過實(shí)現(xiàn)元數(shù)據(jù)與數(shù)據(jù)通道分離、將數(shù)據(jù)條帶化存儲(chǔ)在不同的存儲(chǔ)服務(wù)器上,從而高效實(shí)現(xiàn)數(shù)據(jù)的并行讀寫;
l 產(chǎn)品性能上:實(shí)現(xiàn)了高聚合帶寬。克服了以前文件集中式存儲(chǔ)的瓶頸,實(shí)現(xiàn)了文件切片分布式存儲(chǔ)方案,實(shí)現(xiàn)了高聚合帶寬;
l 產(chǎn)品性能上:實(shí)現(xiàn)了性能近線性增長(zhǎng)。如:
(1)聚合帶寬隨著存儲(chǔ)集群規(guī)模擴(kuò)大而線性增長(zhǎng),
(2)充分發(fā)揮硬件性能,如網(wǎng)卡性能利用率達(dá)到了80%,
(3)擴(kuò)展到100GB/s以上的聚合性能;
l 產(chǎn)品可靠性上:實(shí)現(xiàn)了無單點(diǎn)故障。通過
(1)為不同目錄的數(shù)據(jù)設(shè)置不同的冗余度,
(2)自動(dòng)故障探測(cè)與恢復(fù),
(3)設(shè)備恢復(fù)速度是RAID的5倍,750GB SATA盤恢復(fù)時(shí)間15分鐘,
(4)元數(shù)據(jù)服務(wù)器每?jī)膳_(tái)互備等,實(shí)現(xiàn)了產(chǎn)品的無單點(diǎn)故障;
l 在產(chǎn)品擴(kuò)展性方面:實(shí)現(xiàn)了在線業(yè)務(wù)擴(kuò)展容量。支持不停業(yè)務(wù)在線擴(kuò)容,并自動(dòng)遷移均衡數(shù)據(jù)。從而實(shí)現(xiàn)不需要關(guān)停業(yè)務(wù)的方式輕易擴(kuò)展容量;
l 在產(chǎn)品管理方面:實(shí)現(xiàn)了單點(diǎn)配置管理。產(chǎn)品通過單點(diǎn)實(shí)現(xiàn)了所有的配置管理功能,通過內(nèi)置各種自動(dòng)化處理流程,減少人為參與;
l 產(chǎn)品兼容性方面:兼容各種X86架構(gòu)的服務(wù)器和IP網(wǎng)絡(luò),應(yīng)用服務(wù)器端支持Linux/Windows/Mac等等。
LoongStore大規(guī)模集群云存儲(chǔ)系統(tǒng)能夠幫助企業(yè)加速信息到價(jià)值的轉(zhuǎn)換,目前已經(jīng)在互聯(lián)網(wǎng)、廣電、能源、電信等數(shù)據(jù)密集型行業(yè)幫助企業(yè)實(shí)現(xiàn)了突破性的價(jià)值。產(chǎn)品主要應(yīng)用行業(yè)與應(yīng)用案例有:(1)互聯(lián)網(wǎng):視頻,SNS等,例如中國(guó)國(guó)家網(wǎng)絡(luò)電視臺(tái)(CNTV),人人網(wǎng),搜狐;(2)能源:大慶油田,中石油勘探開發(fā)研究院總院;(3)動(dòng)漫和廣電:中影集團(tuán),教育電視臺(tái)等,《建黨偉業(yè)》、《建國(guó)大業(yè)》、《孔子》等大片的后期制作就是采用該存儲(chǔ)系統(tǒng);(4)教育及其(5)軍工,航天等等領(lǐng)域。
l 支持PB級(jí)的存儲(chǔ)容量規(guī)模,最大容量可超過100PB;
l 可提供幾十甚至上百GByte/s的聚合數(shù)據(jù)讀寫帶寬,而且性能可隨存儲(chǔ)規(guī)模的擴(kuò)展而線性提升;
l 可高效支持海量小文件的存儲(chǔ)和管理,單套系統(tǒng)可高效管理超過500億個(gè)文件,現(xiàn)有在線系統(tǒng)已經(jīng)超過百億級(jí)文件數(shù)量規(guī)模,而且每天仍然以2000-5000萬個(gè)新文件的速度遞增,每天的下載量為10-20億個(gè)文件;
l 可支持超過2000多個(gè)計(jì)算節(jié)點(diǎn)(或者應(yīng)用節(jié)點(diǎn))同時(shí)高效并發(fā)訪問同一套存儲(chǔ)系統(tǒng);
l 提供完全符合POSIX標(biāo)準(zhǔn)的文件級(jí)接口,支持全局共享訪問,無須加入第三方共享軟件。前端可同時(shí)部署Linux、Windows、Mac等異構(gòu)計(jì)算節(jié)點(diǎn)。所有應(yīng)用可不經(jīng)過任何修改和移植即可使用存儲(chǔ)服務(wù);
l 支持在線擴(kuò)展存儲(chǔ)容量,無需終止應(yīng)用的正常服務(wù),新增容量即插即用。同時(shí)提供在線數(shù)據(jù)遷移功能,擴(kuò)容后可均衡所有設(shè)備上的存儲(chǔ)負(fù)載;
l 內(nèi)置數(shù)據(jù)高可用機(jī)制,一旦發(fā)現(xiàn)硬件故障將自動(dòng)進(jìn)行數(shù)據(jù)恢復(fù),無需停止服務(wù)。除了能夠冗余磁盤故障之外,即使整個(gè)存儲(chǔ)服務(wù)器或者磁盤陣列故障都不影響應(yīng)用正常服務(wù)也不會(huì)破壞應(yīng)用數(shù)據(jù)。傳統(tǒng)存儲(chǔ)只能冗余磁盤故障;
l 如果系統(tǒng)中正常設(shè)備上的空閑空間總和不少于故障設(shè)備上已經(jīng)使用的空間即可進(jìn)行數(shù)據(jù)恢復(fù),無須加入新的設(shè)備,傳統(tǒng)存儲(chǔ)采用RAID機(jī)制必須加入新的存儲(chǔ)設(shè)備才能進(jìn)行恢復(fù)。確保了系統(tǒng)無間斷持續(xù)運(yùn)行;
l 在線控制存儲(chǔ)設(shè)備的負(fù)載。在觀察到某塊存儲(chǔ)設(shè)備有異常現(xiàn)象時(shí),可以在線手動(dòng)禁止這塊磁盤的空間分配,設(shè)置后系統(tǒng)不再往被禁止分配空間的磁盤內(nèi)寫入新的數(shù)據(jù),原有的數(shù)據(jù)仍然可用。當(dāng)設(shè)備正常時(shí)即可在線放開;
l 提供主動(dòng)數(shù)據(jù)遷移功能,方便硬件在線更換。當(dāng)某些設(shè)備使用時(shí)間超過一定年限,或者是發(fā)現(xiàn)設(shè)備有安全隱患時(shí),可以主動(dòng)將該設(shè)備上的數(shù)據(jù)遷移到其它存儲(chǔ)設(shè)備,遷移完成后即可將設(shè)備移除下線,不影響應(yīng)用的正常服務(wù);
l 簡(jiǎn)易管理,通過單一圖形化界面即可管理和監(jiān)控整個(gè)存儲(chǔ)系統(tǒng);
l 高硬件兼容性,既可以采用傳統(tǒng)的SAN或者盤陣作為存儲(chǔ)單元,也可以采用通用的存儲(chǔ)服務(wù)器進(jìn)行構(gòu)建,硬件選型范圍廣,成本低,適合用于構(gòu)建海量的云存儲(chǔ)系統(tǒng)。
商談。
信息領(lǐng)域。