• <nav id="5jebs"></nav>
    <button id="5jebs"></button>
        • 新聞中心

          新聞中心??>??云集技術學社 | RDS技術發展及主要技術能力
          云集技術學社 | RDS技術發展及主要技術能力
          背景圖 2021-10-15 00:00:00

          8月19日,深信服數據庫規劃負責人Austin在信服云《云集技術學社》系列直播課上進行了《RDS技術發展及主要技術能力》的分享,對RDS的起源、發展和現狀、RDS常見的技術能力、業界主流RDS方案、RDS未來趨勢進行介紹,以下是他分享內容摘要。 

          看點一:RDS的起源發展與現狀

          數據庫的發展,最早在IaaS層面探索。虛擬化技術帶來了從物理服務器到虛擬機的轉換體驗,而在IaaS層數據庫主要是在虛擬機中自建的方式使用。隨著IaaS層面比較完善之后,人們開始思考數據庫在PaaS層的設計與建設。

          一般來說,企業的DBA(數據庫管理員)工作量大且復雜,除了日復一日地進行數據庫安裝、部署、巡檢、備份、恢復,為數據庫的正常運行負責外,其工作難度主要還體現在:

          1.基礎設施和數據庫種類繁多,需要不同的專業知識和能力,高級DBA專家覆蓋成本高昂;

          2.未經完善產品化測試的運維腳本在異常場景上的考慮往往不夠周全,且人工操作難免錯漏,難以保障服務質量,反而有可能成為事故之源;

          3.日常運維工作使DBA時間碎片化,工作重復且繁瑣;

          4.不同SLA的數據庫需要不同的安全配置,備份策略、高可用架構等均不同,管理員精力往往只夠保障少數核心數據庫。

          復雜、冗長、容易出錯的數據庫部署流程犯錯的幾率較大,而不規范運維、人為操作失誤往往帶來巨量損失。哪怕花了很多功夫做了很多次備份,依然存在失效的可能。此外,企業建設高可用架構還存在著涉及面多、操作易出錯、技術門檻要求高、故障處理時間長、對業務影響大等弊端。為了解決這些難題,誕生了RDS模式。

          早期數據庫的運維可以通過廠商工具來解決,類似Oracle的OEM、MySQL的sqlworkbench、navicat等,隨著互聯網和云計算的興起出現了RDS和DBaas。在云計算資源的使用上,從最開始只是使用IaaS層基礎資源,轉向使用包括云數據庫在內的各類PaaS資源。

          數據庫是企業IT架構的核心部分,RDS關系型數據庫服務已經成為企業重度依賴的云服務。信息技術研究和顧問公司Gartner指出,云將主導數據庫市場的未來,到2022年,75%的數據庫將被部署或遷移至云平臺,只有5%的數據庫會考慮部署在本地。 

          看點二:RDS常見的技術能力介紹

          RDS實例一鍵部署

          將數據庫的最佳實踐配置在產品界面上,用戶根據產品向導完成數據庫部署,避免誤配置,規避隱患

          數據庫生命周期管理

          一是參數管理,預置調優過的參數模板,可在部署階段直接選用并支持在平臺頁面調整內部參數,共計160+項,無需登錄數據庫即可調參;

          二是賬號管理,在部署階段即創建管理賬號。數據庫內部的賬號,分為管理賬號和普通賬號,均可統一在平臺進行管控,可自行定義普通賬號權限,包括只讀、讀寫、DDL、DML;

          三是庫管理,對數據庫實例創建不同的庫并給不同的庫關聯上不同的賬號;

          四是資源層管理,可以對CPU、內存等配置進行更改,以及可以磁盤空間、數量進行修改。

          數據庫備份以及恢復

          RDS自帶數據庫級備份能力,有效保障事務一致性,無需依賴復雜的人工腳本操作或者昂貴的備份軟件。輕松實現數據庫主從集群備份,優先備從庫降低業務性能損耗;增量備份可提高存儲利用率,降低成本。

          數據庫集群高可用架構

          RDS的部署過程就自帶高可用架構,有個管理面維護主從架構、有監控程序進行主從切換,管理面維護集群架構的拓撲關系,在單個節點或者整個集群故障之后進行故障修復。

          數據庫監控與巡檢

          監控巡檢系統首先由指標采集組件對不同數據庫的各項相關數據(系統數據、網絡數據、數據庫數據、消息和事件)進行采集。然后采集的數據經由收集系統Collector進行匯總整理,存儲至時序數據庫TSDB。最后再通過數據處理模塊對數據進行實時處理,分別由巡檢中心生成巡檢報告、告警系統觸發告警、展示服務提供UI呈現。

          讀寫分離、橫向擴展架構

          讀寫分離一般運用于讀多寫少或者高并發的未知場景。由于云計算的擴展的一些特性,讓RDS可以在數據庫這一層也可以做到橫向擴展的架構。目前常見的是通過中間件去實現7層的自動讀寫分離,讓主數據庫處理事務性增、改、刪操作(INSERT、UPDATE、DELETE),而從數據庫處理SELECT查詢操作。數據庫復制被用來把事務性操作導致的變更同步到集群中的從數據庫。然后通過擴容只讀節點來增加數據庫的只讀實例。

          數據庫容災與切換

          一般采用本地高可靠+異地容災的方式作為解決方案,例如對于MySQL而言采用3節點方案,本地一主一從+異地備庫,Oracle本地RAC+異地DG的方案。部署的時候不同節點可以支持跨在不同的機房中,實現跨節點的冗余,當然前提是需要跨集群的網絡可以打通。一般搭配DNS、負載均衡等設備然實現故障時候的業務切換訪問恢復機制。

          在數據保護力度上,RTO/PRO滿足歷史數據恢復、開發測試多版本數據構建等需求;CDP,秒級RPO,數據庫日志解析同步技術;CDM,秒級掛載,秒級完成快照掛載,并自動生成數據庫實例,全增合并,后臺自動完成合并,降低任意時間點數據的恢復時間。

          為了保障可用性,RDS可以按需定期彈性做恢復演練,并支持發送演練報告到指定郵箱,支持實現低成本以及便捷的恢復演練能力。

          SQL分析與優化

          RDS可以實現快速診斷,按照不同的實例做多維度的統計信息,包含總SQL條目、總執行次數、總延遲時間、總鎖等待時間、平均查詢延時、平均鎖等待時間等?;跈C器學習和細粒度的監控數據,實現7×24小時的異常檢測,相比基于閾值的告警方式,能夠更為及時的發現數據庫的異常變化。

          RDS還可以提供問題處理建議,并且自動化處理問題?;跈C器學習和細粒度的監控數據,實現7×24小時的異常檢測,提供自動SQL限流、異??煺?、自動SQL Review和優化、彈容量評估、存儲空間自動擴展、計算資源自動擴展等功能,實現了診斷流程的閉環,優化效果可量化。如果數據庫遇到緩存穿透、異常流量等問題,傳統的解決方案中沒有好的解決方案,只能接受業務崩潰或者寄希望于開發進行處理,自動SQL限流可以直接快速的發現異常并識別到異常SQL,自動觸發限流操作,5分鐘內幫助業務恢復。

          數據庫審計

          當企業要進行等保合規建設、企業的系統面臨安全問題時,或者當企業內部多個業務部門及應用廠商駐點開發人員都要去使用數據庫時,就要求數據庫有審計的能力。而在RDS中,針對數據庫審計有著四大功能:

          一是全面的安全規則,除了內置大量SQL安全規則,還可根據業務需要自定義各種場景的安全規則,對于違規的數據庫訪問可進行實時警告和阻斷;

          二是導出、收藏與訂閱功能,支持按天、周、月訂閱報表,用戶可直接進行拖拽組合,方便靈活,為用戶提供結合自身業務特性的訂閱報表,讓數據庫管理更簡單;

          三是精細化的數據庫權限管控,支持各類元素的配置,支持針對各類SQL語句命令以及訪問程序名對用戶做權限管控;

          四是日志查詢與統計分析,TB級日志秒級查詢,支持14種數據庫行為、趨勢或SQL預計的分析報表,可從5種維度進行數據庫分析。

          數據庫遷移DTS

          看點三:業界主流RDS方案介紹

          公有云RDS服務

          公有云常見RDS產品分別是MySQL版、SQL Server版、MariaDB版、PostgreSQL版。深信服也有托管云RDS的服務。RDS價格按計算規格、以包年包月或者按量付費的形式進行收費,會提供數據庫備份存儲空間,超出按照存儲空間收費;針對異地備份服務(DBS)、數據庫遷移費用(DTS)、自治服務(DAS)等高級能力單獨收費;提供高級專家人工服務,獨立收取服務費。

          私有云RDS服務

          自建本地數據中心,構建私有云環境,通過數據庫服務目錄,提供數據庫服務,適應企業云、教育云、政務云等場景。產品能力上和公有云RDS基本類似,使用模式上會有差異,服務資源為自有,按需使用即可無按量計費模式。 

          獨立DBaas平臺

          本地數據中心場景為主,并非整個數據中心建設云服務,而是通過構建單獨的數據庫資源池平臺,或者是采用獨立數據庫管理平臺軟件,實現DBaas(數據庫即服務)平臺的搭建。獨立軟件交付在部分功能的體驗性相較于云服務RDS會略微有差異。

          云端數據庫專家服務

          從企業的發展性價比的選擇上以及發展的規律上看,一般企業都會使用上述的公有云、私有云等產品來解決數據庫運維的日常問題。但是總有些疑難雜癥難以解決,這時候企業會購買云端數據庫專家服務來保證安全問題的兜底。

          看點四:RDS未來趨勢介紹

          Austin認為隨著互聯網和云計算技術的不斷發展,RDS的未來發展會呈現三種趨勢。

          一是更加自動化、智能化

          從最符合企業的經濟效益來講,產品的高度自動化、智能化一定是最佳的實踐方式。從人力成本上考慮,企業無法請大量高級DBA來運維數據庫。從最初數據庫的腳本化到工具化到現在的產品化,我們可以看出自動化智能化的趨勢十分明顯。未來數據庫產品化的發展一定會迎來自動化智能化的時代。

          二是更加多元化

          隨著云計算技術的發展,基于業務發展和企業發展,企業對于數據庫的需求各不相同,推動了云計算廠商根據企業需求定制解決方案,這也使得應用場景、數據庫類型和承載環境呈現多元化發展的趨勢。

           

          三是更加關注數據安全性

          隨著近些年數據安全事件頻發,政府也發布了系列政策進行規范,這使得企業更加關注數據安全性。隨著用戶在整個數據中心安全的建設上的逐步完善,現在最薄弱的一環那就在數據庫這一層上。所以基于這個層面,深信服提出了最大安全性架構數據庫的解決方案,可以全方面地分析數據流轉流程中的相關風險并提供解決方案。

          久久在精品线影院,久久视频这里只精品亚洲,99欧美精品含羞草,欧洲精品性爽视频