• <nav id="5jebs"></nav>
    <button id="5jebs"></button>
        • 新聞中心

          新聞中心??>??當系統“謊報軍情”,數據端到端校驗為您支招!
          當系統“謊報軍情”,數據端到端校驗為您支招!
          背景圖 2019-01-18 00:00:00
          2018年8月5日,某公司在微博上發表長文表示,其在某云上的“近千萬元級的平臺數據,包括經過長期推廣導流積累起來的精準注冊用戶以及內容數據”全部丟失。8月8日,某云方回應,稱該故障緣起于因磁盤靜默錯誤導致的單副本數據錯誤,再加上數據遷移過程中的兩次不規范操作,導致云盤的三副本安全機制失效,并最終導致客戶數據完整性受損。
          那“靜默錯誤”究竟是什么,足以將一家創業公司擊倒?

           

          靜默錯誤,何許人也? 

          一般而言,磁盤在使用過程中,往往會造成兩類數據錯誤:一是可以正常告警的錯誤;二是無法預警的錯誤??烧8婢某R幑收?,往往由硬件錯誤、固件BUG、軟件BUG、供電問題和介質損壞等造成。而無法預警的錯誤,即靜默錯誤(Silent Data Corruption),往往是指用戶直到需要使用這些數據時,才會發現這些數據已經發生了錯誤和損壞,最終造成無可挽回的損失。

          簡而言之,靜默錯誤就是用戶在使用數據時,發現讀取出來的數據與當時寫入的不一致,即數據損壞。打個比方,小明在銀行里存入1萬元。一段時間后,銀行系統出現靜默錯誤,此時系統并不會預警,直接導致小明去銀行查詢才會發現自己的賬戶上沒有余額了!

          在系統中,靜默錯誤實際發生的頻次并不是很低。比如,NetApp在針對超過150萬臺硬盤驅動器進行的41個月的觀察中,發現了超過400,000個靜默數據損壞。其中,硬件RAID控制器未檢測到的超過30,000個。

          伴隨著大數據時代的到來,硬盤基數的指數級增長會導致靜默錯誤越來越多地發生。在公有云場景下如此,私有云場景下亦是如此。常規的副本、備份和容災等方法,都無法處理靜默錯誤。

           

          數據完整性保證的利器——端到端校驗

          數據存儲最重要的要求之一,就是保證用戶讀取的數據和之前存入的數據一致。就像小明存入1萬元,就需要保證小明之后取出來的仍然是1萬元。如果出現錯誤,那么數據存儲就不可靠。那么如何做到這種保證呢? 這就不得不提到數據完整性保證的利器——端到端校驗。

          為防止因靜默錯誤而返回給用戶錯誤數據,深信服企業云提供aSAN數據端到端校驗功能,通過Checksum引擎、Verify引擎和Checksum管理模塊,選用具有業界領先水平的校驗和(Checksum)算法,配合校驗和存儲性能優化關鍵技術,在用戶數據一進入系統開始就生成一個校驗和,作為該數據的“指紋”,并進行存儲。之后就會一直用該校驗和來對數據進行校驗,保障用戶遠離靜默故障。

          以小明在銀行存款為例,在存入1萬元后,系統會針對小明的用戶數據生成一個“指紋”。待之后小明查詢賬戶余額的時候,會對這個“指紋”進行校驗,以確保用戶的數據沒有發生不可預警的變化,從而保障小明的資產。

          深信服企業級云-aSAN數據端到端校驗總流程架構圖

          深信服企業級云-aSAN數據端到端校驗總流程架構圖

          關鍵技術1:業界領先水平的校驗和算法

          校驗和算法有兩個主要的評價標準:一是生成校驗的速度;二是沖突率和均勻性。沖突率是指兩個數據不一樣,但生成的校驗和相同的概率。

          深信服企業級云aSAN數據端到端校驗方案使用XXhash64算法,相比目前業界普遍使用的CRC-32和Adler-32算法,具有速度更快、沖突率更低的特點。在i7-4770K和i5-3340M CPU環境中,針對XXhash64在不同負載情況下進行實測,速度均大于12.5GB/s,最高可達13.8GB/s,達到業界領先水平。

          以上文中的場景為例,小明在銀行存款時,銀行系統針對小明的用戶數據生成“指紋”的方法,更可靠、計算速度更快了。

          關鍵技術2:校驗和存儲性能優化

          校驗和在內存中生成,并可以跟隨數據一起傳輸、存儲。當數據存儲到磁盤、SSD等非易丟性存儲中,校驗和也需要進行存儲。這樣會帶來額外的寫開銷,影響系統性能。

          深信服企業級云基于無元數據中心架構,在aSAN端到端校驗方案中,通過使用異步回刷、關鍵I/O路徑Bypass、I/O競爭隔離等多項手段,優化校驗和存儲帶來的性能問題。此外,通過自校驗、沖突檢測、時序檢測來保證正確性和一致性。

           

          數據穩定,深信服企業級云有效保護!

          在大數據時代,數據是企業的核心資產。深信服企業級云基于業界領先的aSAN數據端到端校驗能力,可以有效地幫助用戶規避因靜默錯誤而導致的核心數據資產丟失問題。若檢驗到靜默錯誤的發生,可配合深信服企業級云的數據恢復功能進行數據重建,在全閃存部署集群環境下,重建速度可達每TB/30min。

          此外,深信服超融合企業級云還提供了可靠性中心和容災解決方案,支持CDP異地容災,可以從容應對故障情況。

          用戶還可以使用深信服超融合企業級云構建雙活數據中心,通過部署延伸集群和仲裁節點,靈活配置虛擬機的調度策略,實現業務雙活和數據雙活。深信服企業級云還具有亞健康告警和壞道修復功能,為用戶提供穩定可靠的企業云環境,多手段多機制有效保障用戶的數據資產。

           

          總結

          面對磁盤數據損壞不可預警的靜默錯誤,用戶通常會面臨核心業務數據丟失,并且只有在需要使用數據時才會感知到數據受損。這種情況下,數據已經出錯了系統卻不知道,依然謊報軍情!面對如此隱秘的bug,如何避免自己成為下一個“某公司”?選用穩定可靠、具備數據端到端校驗功能的云計算基礎設施,才能夠有效保障數據資產,規避因靜默錯誤帶來的損失。

          久久在精品线影院,久久视频这里只精品亚洲,99欧美精品含羞草,欧洲精品性爽视频