清華大學智能產業研究院里:研究員正在標注用于AI訓練的圖像數據集,處理著成千上萬張圖片;
某高校超精密光電儀器工程研究所里:研究員正忙碌于解析剛剛收集的海量數據。
......
科研探索的步伐加快,研究數據量也在激增。隨之而來的是,存儲的擴容、性能、安全等問題。
從用戶的真需求中提煉大創新,我們希望用一套存儲方案,幫助高校實現科研效率的飛躍,助力提升中國科研創新實力!
科研煩惱1
實驗數據多,擴容難:科研工作處理的數據不斷積累,從TB級增長到PB級、甚至也在從PB級不斷躍升,甚至像大型基因測序科研每日會產生10TB到100TB的下機數據。
對于存儲系統來說,這不僅是容量的挑戰,更是性能提升的考驗。
科研煩惱2
I/O瓶頸,進度慢:科研人員運行Llama2、ChatGLM、Baichuan等AI模型訓練軟件時,經常遇到這些崩潰瞬間:
AI訓練任務頻繁中斷、需要頻繁保存checkpoint文件,訓練集小文件數據讀取慢...
運行基因測序儀和軟件,FastQ大文件,聚合帶寬GB級到幾十GB,測序時間從1天到幾周越來越久,經歷漫長等待...
這些煩惱源自于存儲的大、小文件性能跟不上,導致大幅了降低工作效率。
科研煩惱3
數據有丟失風險,不可靠:高價值的科研成果,如果被誤刪或遭到勒索軟件的加密將不得不重返工,浪費大量時間,耽誤科研進度。
一套存儲,擴展靈活 讓科研更高效
最快60秒完成擴展,性能不受影響
基于分布式架構,EDS存儲支持單存儲多硬盤池以及多存儲池的靈活擴展,輕松應對數據量的激增。同時,通過數據分層技術,智能分配數據至不同性能的存儲介質,確保了存儲性能的線性提升。
無論是自動駕駛的衛星圖像數據,還是AI模型訓練的大規模數據集,EDS都能提供充足的存儲空間和高效的數據處理能力。
效率提升30%,加速科研成果輸出
基于EDS存儲創新自研鳳凰分布式文件系統,為科研打造了全NVMe級高性能大“Tier”層,同時支持科研場景專用客戶端、NVME over RDMA、NFS+、GDS、IB等關鍵能力,數倍提升海量小文件的性能和大文件吞吐率。讓眾多的科研任務并發訪問存儲群集節點,明顯縮短科研工作周期,加速科研結果輸出。
全面保護!科研不中斷,數據0丟失
EDS存儲為科研用戶提供了多層次的可靠性保障,確??蒲腥蝿盏倪B續性和數據的安全性。
- 安全防護:包括內置防勒索模塊,支持硬盤故障隔離和端到端數據校驗,防止數據安全問題中斷科研進程;
- 數據恢復:利用元數據矩陣式算法,實現分鐘級的性能無損快照,同時通過遠程復制、增量備份等能力,確??蒲袛祿耐暾?;
- 管理優化:還提供文件回收站、WORM和用戶行為日志審計等能力,減少人為誤操作的風險,降低糾錯成本,提升科研工作效率。
在實際應用中,清華大學智能產業研究院、某高校超精密光電儀器工程研究所等頂尖高校和科研機構都在使用EDS存儲。
憑借深信服EDS存儲高性能、高可靠性的優勢,高??蒲袑⒉辉偈芟抻谖锢砜臻g的束縛,也不再受限于數據存儲的邊界,可以自由地探索在科技的最前沿!