HDFS（Hadoop Distributed File System）作為通用的分布式文件系統(tǒng)，可以提供高可擴(kuò)展、低成本、高可靠的海量數(shù)據(jù)存儲(chǔ)，并廣泛應(yīng)用于大數(shù)據(jù)存儲(chǔ)和分析方向。近年來伴隨5G、物聯(lián)網(wǎng)、人工智能等領(lǐng)域的快速發(fā)展，數(shù)據(jù)量規(guī)模不斷增大，同時(shí)隨著大數(shù)據(jù)應(yīng)用的多樣化發(fā)展，對數(shù)據(jù)的利用也更加成熟與深入，更大數(shù)據(jù)量以及更加靈活的數(shù)據(jù)處理場景對HDFS的數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)讀寫吞吐提出了越來越高的要求。

為應(yīng)對這些挑戰(zhàn)，浪潮著力研發(fā)與集成的面向分布式文件系統(tǒng)的智能存儲(chǔ)管理技術(shù)Smart Storage Management（簡稱SSM）應(yīng)運(yùn)而生。通過多項(xiàng)新技術(shù)及特性來解決存儲(chǔ)場景中的各類挑戰(zhàn)，助力大數(shù)據(jù)產(chǎn)品提供更加高效、智能的存儲(chǔ)解決方案。

概念上，智能存儲(chǔ)管理（SSM）被定義為面向 HDFS的智能管理架構(gòu)，主要提供針對新型存儲(chǔ)設(shè)備、高速網(wǎng)絡(luò)、新計(jì)算的存儲(chǔ)優(yōu)化與數(shù)據(jù)優(yōu)化解決方案，實(shí)現(xiàn)端到端的數(shù)據(jù)管理服務(wù)，聚焦點(diǎn)可以概括為“兩核心、三場景、四技術(shù)、五特性”。

“兩大核心”SSM的核心是基于數(shù)據(jù)熱度的智能化管理來實(shí)現(xiàn)自動(dòng)化面向存儲(chǔ)的全生命周期優(yōu)化。在數(shù)據(jù)熱度方面，SSM通過收集文件系統(tǒng)操作數(shù)據(jù)與狀態(tài)信息，利用多項(xiàng)指標(biāo)分析數(shù)據(jù)訪問模式，從文件級別定義數(shù)據(jù)熱度，針對熱度信息統(tǒng)籌規(guī)劃相應(yīng)地優(yōu)化數(shù)據(jù)管理方式。在智能決策方面，SSM建立了基于規(guī)則的智能決策體系，圍繞現(xiàn)有的大數(shù)據(jù)存儲(chǔ)模式智能地構(gòu)建了實(shí)用的解決方案。

“三種場景”目前SSM在三種典型場景下表現(xiàn)突出，例如多存儲(chǔ)模式。SSM適用于數(shù)據(jù)存儲(chǔ)模式豐富的應(yīng)用場景，可以提供更加靈活的存儲(chǔ)模式選擇；在數(shù)據(jù)優(yōu)化上則提供了小文件合井、數(shù)據(jù)災(zāi)備、數(shù)據(jù)壓縮等新功能，適用于對數(shù)據(jù)優(yōu)化有需求的應(yīng)用場景；智能化管理是面向大規(guī)模集群的數(shù)據(jù)管命周期的自動(dòng)化管理。

“四項(xiàng)技術(shù)”SSM主要通過四項(xiàng)技術(shù)實(shí)現(xiàn)智能的存儲(chǔ)管理，主要包括通過分布式集群自治技術(shù)解決管理服務(wù)的高可用問題來實(shí)現(xiàn)存儲(chǔ)管理集群去中心化；利用分布式事件驅(qū)動(dòng)技術(shù)實(shí)現(xiàn)面向高并發(fā)場景的輕量級計(jì)算服務(wù)與監(jiān)督機(jī)制，提升管理操作執(zhí)行效率與容錯(cuò)性。

基于規(guī)則的智能存儲(chǔ)管理技術(shù)解決存儲(chǔ)數(shù)據(jù)量巨大、數(shù)據(jù)增量高、數(shù)據(jù)類型混雜難以管理的問題，實(shí)現(xiàn)數(shù)據(jù)生命周期的智能化管理；憑借數(shù)據(jù)熱度感知技術(shù)解決存儲(chǔ)資源利用不均、資源浪費(fèi)問題，實(shí)現(xiàn)數(shù)據(jù)冷熱分層等。

“五種特性”面向用戶場景，SSM最終體現(xiàn)為五類典型的特性增強(qiáng)，主要包括如下：

異構(gòu)存儲(chǔ)增強(qiáng)：結(jié)合智能規(guī)則管理與數(shù)據(jù)熱度感知，充分發(fā)揮異構(gòu)存儲(chǔ)訪問效率；

糾刪碼增強(qiáng)：針對文件級的副本與糾刪碼、糾刪碼間快速轉(zhuǎn)換，效率提升30%；訪問路徑不變。

小文件合并增強(qiáng)：自動(dòng)感知小文件，減緩NameNode壓力，讀性能提升一倍；

自動(dòng)化數(shù)據(jù)災(zāi)備：全自動(dòng)跨域數(shù)據(jù)增量備份；

透明化自動(dòng)壓縮：自選壓縮模式，無感知壓縮。

總體來看，智能存儲(chǔ)管理（SSM），以數(shù)據(jù)熱度識(shí)別及智能化的決策體系為核心，配置面向應(yīng)用場景的技術(shù)優(yōu)化整體方案（異構(gòu)存儲(chǔ)增強(qiáng)、糾刪碼增強(qiáng)、小文件合并、自動(dòng)化災(zāi)備、透明化壓縮），自動(dòng)化智能化的解決HDFS存儲(chǔ)面向異構(gòu)介質(zhì)、存儲(chǔ)空間及應(yīng)用負(fù)載等方向的挑戰(zhàn)，大大提升HDFS分布式存儲(chǔ)的易用性及適用場景。

作為面向海量數(shù)據(jù)存儲(chǔ)、計(jì)算、挖掘的一站式企業(yè)級大數(shù)據(jù)解決方案，浪潮云海Insight大數(shù)據(jù)平臺(tái)采用新型技術(shù)架構(gòu)可承擔(dān)企業(yè)大規(guī)模數(shù)據(jù)的采集集成、多樣存儲(chǔ)、規(guī)模計(jì)算以及智能分析挖掘等工作，支撐企業(yè)數(shù)據(jù)中心業(yè)務(wù)模型快速落地，助力企業(yè)信息化智能轉(zhuǎn)型。

具體來說云海Insight團(tuán)隊(duì)從客戶需求出發(fā)，結(jié)合業(yè)務(wù)場景對智能存儲(chǔ)管理技術(shù)（SSM）進(jìn)行全面的方案驗(yàn)證及增強(qiáng)，最終在大數(shù)據(jù)平臺(tái)中將智能存儲(chǔ)管理技術(shù)產(chǎn)品化，包括智能存儲(chǔ)的一鍵安裝、可視化運(yùn)維、基于票據(jù)的認(rèn)證架構(gòu)等，解決了用戶針對大數(shù)據(jù)平臺(tái)的備份災(zāi)備、數(shù)據(jù)生命周期管理、小文件合并等技術(shù)的訴求，提供了更優(yōu)秀的用戶體驗(yàn)。

經(jīng)過多方實(shí)踐驗(yàn)證，面向HDFS的智能存儲(chǔ)管理技術(shù)能夠免去外界觸發(fā)完成數(shù)據(jù)管理并進(jìn)一步細(xì)化管理粒度，實(shí)現(xiàn)一次規(guī)則定制即可完成數(shù)據(jù)生命周期管理的解決方案，達(dá)成效果：

冷熱數(shù)據(jù)在異構(gòu)介質(zhì)間的快速遷移可提升數(shù)據(jù)訪問效率2倍以上；

數(shù)據(jù)存儲(chǔ)在副本與糾刪間的自動(dòng)快速轉(zhuǎn)換節(jié)省存儲(chǔ)空間超過50%；

憑借透明化的數(shù)據(jù)壓縮、小文件合并以及平臺(tái)級自動(dòng)數(shù)據(jù)備份及遷移等方式可達(dá)成業(yè)務(wù)無感知，全面提升大數(shù)據(jù)平臺(tái)的智能數(shù)據(jù)管理能力。