中文
2023-07-21 19:59:16
近年來，數據存儲市場“最靚的仔”無疑就是分布式存儲。
大模型火了之后，通過AI生成圖片、報表、音視頻的應用比比皆是。眾所周知，要想訓練出一個有學習能力的、可理解的、響應迅速的大模型應用，必經之路是給算法模型“投喂”大量的文本、圖像、音視頻數據。
面對大量新興應用場景中暴增的數據，既想“存得下”，還要“讀得快”，如果不差錢的話，顯然購買更多的存儲設備、疊加容量是最省心的選擇。但這種方法治標不治本，性能線性提升始終受到機頭限制，往往最后讓企業“不堪重負”的，是高昂的設備成本和運維成本。
正因如此，分布式存儲憑借在性能、性價比等方面的持續突破，終于有機會“大展身手”。并迅速在AI、芯片設計、PACS影像、多媒體編輯等高精尖領域漸當大任，擺脫了“只能做第二存儲”的困境。
在深信服近期發布的EDS 501高性能版本中，我們既看到了“最靚的仔”——分布式存儲絕非花架子，憑借自研的技術破除性能瓶頸，也看到了一個內外兼修的“硬漢”在高精尖領域中“大展拳腳”，表現出卓越的性能和穩定性。
01分布式存儲堪當大任
為什么分布式存儲能在越來越多高精尖領域中脫穎而出、堪當大任？
其一，隨著云計算技術與理念走向普及，以及數字化轉型的深入，基礎設施層面加快分布式相關技術的部署已經成為大勢所趨。
例如，《金融科技發展規劃（2022—2025年）》就明確要求金融機構建設分布式架構的先進基礎設施，加速核心業務應用向分布式基礎設施的遷移與部署。
此外，像運營商、制造業、政務等行業都在進行核心業務系統的分布式架構改造與遷移，這無疑讓分布式存儲今后有機會支撐起更多核心業務系統。
其二，需要主存儲支撐的關鍵業務場景，近年來也在發生顯著變化。
《分布式存儲發展白皮書》認為，分布式存儲當前適用的九大典型應用場景包括HPC、大數據分析、AI、醫療影像等，這些場景里存在著大量以音視頻、圖片、文檔等非結構化數據為主的海量小文件，要想充分挖掘數據中蘊含的巨大價值，亟需一個高性能存儲系統來支撐。
其三，分布式存儲的崛起最為關鍵的原因，還是技術上的持續突破。
過去，開源Ceph軟件對于分布式存儲的普及和推廣功不可沒；但落后的技術棧、羸弱的性能表現，使得Ceph很難在諸多核心業務場景中取得突破。
如今，像深信服等廠商自研分布式存儲系統，技術棧更加先進，加上軟硬件結合與適配，在性能、可靠性等方面出類拔萃，勝任高精尖領域的各種存儲需求。
02高性能分布式存儲：離不開技術創新
做分布式存儲容易，但做好高性能的分布式存儲很難。
這就是為什么分布式存儲市場雖然近年來一直保持著高速增長，但市場上的產品、解決方案魚龍混雜，不少產品性能、可靠性等方面難以令人滿意。
可以說，隨著閃存介質成本的不斷下降，以及像NVMe、PCI-E等協議的快速發展，分布式存儲將加速迎來系統架構、軟件堆棧和關鍵技術的一次全面變革：海量多樣性數據應用，推動分布式存儲面向混合工作負載、多協議互通、解耦式的架構演進、HPC/HPDA、AI等應用對于分布式存儲超高性能提出更高要求……
以深信服分布式存儲EDS 501高性能版本為例，其正是分布式存儲走向全面變革大趨勢的一款代表性產品。它在整體架構、技術堆棧以及核心技術的突破，成為了高精尖領域中的一把性能利器，讓企業在數字化轉型中全速前進。
首先是在架構層面，不同于開源Ceph的系統架構，深信服EDS 501高性能版本采用了清晰分層、解耦協同的架構，Persistence層具備穩定可靠、空間高效、擴展性強等特點；Index層則實現靈活高效的邏輯映射，打造極致低時延；Service層則具備彈性可伸縮、海量的元數據能力；Access層則具備開放兼容、輕量級的協議架構。
架構的領先性，使得深信服EDS 501高性能版本承載用戶的核心數據生產業務，在激活海量小文件等非結構化數據產能的同時，做到“性能”和“容量”兼得。
其次，深信服EDS 501高性能版本自主研發的鳳凰分布式高性能文件系統，在軟件堆棧層面更具先進性。支持混合IO負載、兼具大小文件能力，對元數據高并發、小文件密集型、大文件高吞吐和混合負載四種場景有著極好的支撐；同時，鳳凰分布式高性能文件系統實現軟件解鎖單機瓶頸，兼具卓越性能與彈性擴展。
第三，深信服EDS 501高性能版本在分布式存儲的核心技術上取得突破，巨量元數據能力、全局IO動態整合、自適應三級緩存和協議增強支持等四大自研創新技術，讓分布式存儲的性能表現徹底脫胎換骨。
例如，巨量元數據能力在百億規模文件場景下也能做到存儲性能穩定一致，內存緩存元數據的規模提升7倍，在最大化利用系統資源的同時，充分發揮各節點的計算性能；全局IO動態整合技術則釋放機械盤順序寫的性能優勢，業務寫IO可在NVMe SSD組成的大性能層進行智能排序整理后寫入容量層，解決小文件寫放大導致的空間浪費問題，提升混合配置下的數據回刷速度；自適應三級緩存技術則通過客戶端內存—存儲節點內存—NVMe SSD縮短數據路徑，將數據時延降至us級；協議增強支持則采用更精密的協議設計，進一步降低協議對性能的額外開銷，縮短時延和提升性能。
《分布式存儲發展白皮書》認為，分布式存儲市場正在高速發展，未來具備軟硬件一體化能力的廠商和產品會在市場更具優勢。深信服EDS利用性能SSD 與容量 HDD 的獨立擴展，適應復雜的場景配置，最大限度地發揮裸金屬服務器性能的同時，通過軟件中立來解鎖廠商綁定，不僅減少硬件成本（如避免 SSD 的不合理溢價），還能降低運維保護費用，從整體上降低了總擁有成本。
因此，軟硬一體化得以實現端到端的優化，讓分布式存儲的性能、擴展性和可靠性發揮到極致。
無疑，深信服EDS 501高性能版本已經為市場樹立了一個絕佳的標桿。
03深入場景，高性能要經受真考驗
不可否認，閃存介質成本的持續下降，讓分布式存儲的性能提升變得不再是一件高門檻的事情，但要做到真正的高性能表現，分布式存儲還需要在真實場景中經受考驗。
事實上，近年來市場中已經有很多分布式存儲產品，在一些性能測試的表現是一頓操作猛如虎，但到真實場景中卻是“仔細一看原地杵”。
究其原因，一方面是測試機構的測試方法與實際業務場景相差甚遠，尤其是考慮到當下新應用、新場景涌現的情況下，一些測試方法并不能真實反映出分布式存儲的性能；另一方面，閃存對于性能的提升，使得一些分布式存儲產品滿足于“虛榮”的高性能，距離真實場景的高性能存儲需求尚有差距。
顯然，作為分布式存儲領域耕耘多年的廠商，深信服深知分布式存儲必須與真實場景的性能需求緊密結合。
例如在醫學影像領域，PACS系統等應用對接的各種影像設備都在朝著超高速、高精度方向發展。最典型的就是CT成像技術，320排探測器、動態640層帶來了比以往大得多的數據量。此外，PACS系統對接多臺醫療設備經常是多臺設備同時連續寫入，而醫生在閱片時又是序列讀取，這就使得PACS系統逐漸呈現出連續寫、序列讀的性能特征。
對此，深信服EDS 501高性能版本在千兆PACS環境閱片測試場景下，能實現秒級加載450幅影像。在上海市肺科醫院的PACS影像閱片真實場景，閱片端12秒即可全部加載患者700~800張CT影像，小文件性能表現極為出色。
又如，AI、芯片制造、工業設計等領域融合了HPC、大數據和AI技術的應用層出不窮，對于分布式存儲的性能要求更為苛刻。在這種“數據密集型”應用承載中，深信服EDS 501高性能版本穩定承載深南電路超過20億的AI檢測文件，實現了EDA前后仿真效率提升40%，性能表現持續刷新預期。
此外，在自然資源&實景三維、多媒體編輯&娛樂等場景中，深信服EDS 501高性能版本也是經受住了各種性能挑戰。
截至目前，深信服EDS在AI、醫療醫院&生物科技、多媒體編輯&娛樂、自然資源&實景三維、芯片&工業設計等領域累計服務了2萬個用戶、 完成了35000 小時的穩定交付，承載的PB級項目超過200個。
綜合觀察
在市場和需求高速增長的大趨勢下，分布式存儲迎來了其黃金時代。與此同時，分布式存儲的一場技術、產品變革也在發生，架構、技術堆棧以及軟硬協同將重塑分布式存儲的產品。深信服EDS 501高性能版本在性能等方面的出色表現，無疑為整個市場樹立了標桿。面向未來，隨著千行百業數字化轉型的深入，分布式存儲數字底座基石的作用將會愈發突出，也必然會在更多業務場景中發揮關鍵作用。
