敏感數(shù)據(jù)處理是上訊敏捷數(shù)據(jù)管理平臺(tái)(ADM)產(chǎn)品功能模塊之一,,主要針對(duì)敏感數(shù)據(jù)的處理使用,,提供集敏感數(shù)據(jù)自動(dòng)識(shí)別,、仿真處理與數(shù)據(jù)交付為一體的敏感數(shù)據(jù)管理功能,,覆蓋了敏感數(shù)據(jù)使用與管理的全部場(chǎng)景。針對(duì)敏感數(shù)據(jù)識(shí)別提供通用數(shù)據(jù)特征庫(kù),,敏感數(shù)據(jù)類(lèi)型包括但不限于個(gè)人身份信息,、組織機(jī)構(gòu)信息,、資質(zhì)資格證信息,、金融數(shù)據(jù)信息,、醫(yī)療數(shù)據(jù)信息、車(chē)輛數(shù)據(jù)信息等眾多類(lèi)別,,支持全庫(kù)與子集自動(dòng)掃描識(shí)別,,包括數(shù)據(jù)內(nèi)容、字段類(lèi)型,、約束關(guān)系均可以實(shí)現(xiàn)自動(dòng)識(shí)別,并依據(jù)類(lèi)型特征加以分類(lèi),;針對(duì)敏感數(shù)據(jù)的仿真處理,,ADM內(nèi)置大量數(shù)據(jù)算法對(duì)敏感數(shù)據(jù)進(jìn)行隨機(jī)化、模糊化替換,,保證處理后數(shù)據(jù)的完整性,、仿真性以及數(shù)據(jù)間的關(guān)聯(lián)關(guān)系保持不變,支持處理結(jié)果的校驗(yàn),。數(shù)據(jù)安全領(lǐng)域的CDM是指copy data management,。數(shù)據(jù)副本管理
上訊敏捷數(shù)據(jù)管理平臺(tái)(ADM)支持并行重刪技術(shù),通過(guò)在多個(gè)不同的節(jié)點(diǎn)上構(gòu)建指紋庫(kù),,并將指紋并行分布于多個(gè)節(jié)點(diǎn),,采用內(nèi)存級(jí)指紋庫(kù)進(jìn)行重刪,所有指紋讀寫(xiě)全部保存于內(nèi)存中,,從而提升指紋查詢(xún)和處理效率,,并且減少了因磁盤(pán)中指紋庫(kù)增大所導(dǎo)致的隨機(jī)IO壓力。以此識(shí)別并消除數(shù)據(jù)備份過(guò)程中數(shù)據(jù)源中重復(fù)的數(shù)據(jù),,該技術(shù)適用于不同平臺(tái)中的文件,、數(shù)據(jù)庫(kù)、虛擬機(jī)等不同應(yīng)用類(lèi)型的數(shù)據(jù),,可以大幅度減少需要傳輸?shù)臄?shù)據(jù)量,,從而極大地節(jié)省數(shù)據(jù)傳輸帶寬,解決單點(diǎn)性能和存儲(chǔ)空間壓力,。操作日志審計(jì)海量數(shù)據(jù)供數(shù)于下游開(kāi)發(fā)測(cè)試統(tǒng)計(jì)分析場(chǎng)景的數(shù)據(jù)使用需求該如何滿(mǎn)足,?
l虛擬化平臺(tái)數(shù)據(jù)保護(hù)ADM為用戶(hù)提供***且有針對(duì)性的虛擬化平臺(tái)保護(hù)方案,包括VMware/SmartX/浪潮/華為FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack虛擬化平臺(tái),幫助用戶(hù)解決商業(yè)和國(guó)產(chǎn)虛擬化的備份和恢復(fù)業(yè)務(wù),。例如:VMware是通過(guò)調(diào)用管理虛擬機(jī)和讀寫(xiě)數(shù)據(jù)的API備份接口VADP(VstorageAPISforDataProtection)進(jìn)行備份,。VMware備份實(shí)現(xiàn)了無(wú)代理備份,即無(wú)需在虛擬化平臺(tái)或者各個(gè)虛擬機(jī)上安裝客戶(hù)端代理,,只需通過(guò)代理客戶(hù)端連接虛擬化平臺(tái)即可,,因此幾乎不占用主機(jī)資源,不影響生產(chǎn)性能,。支持虛擬機(jī)自動(dòng)發(fā)現(xiàn)功能,,當(dāng)虛擬機(jī)發(fā)生變化時(shí),無(wú)需人工添加或刪除變化的虛擬機(jī),,即可實(shí)現(xiàn)自動(dòng)備份,,備份模式***支持NBD、NBD-SSL,、SAN,、Hot-Add備份,恢復(fù)模式支持SAN,、NBD,、NBD-SSL模式,備份格式包括RAW,、VMDK等,。
在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場(chǎng)景選擇適合的重刪策略與粒度方案,。在確定重刪策略與粒度后,,會(huì)根據(jù)輸入側(cè)不同粒度(卷級(jí)、文件級(jí),、塊級(jí))的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,,并依據(jù)任務(wù)級(jí)與全局指紋庫(kù)提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級(jí),、文件級(jí)重刪和并行重刪技術(shù),。源端重刪是采用基于內(nèi)容的可變長(zhǎng)數(shù)據(jù)切分算法,通過(guò)對(duì)數(shù)據(jù)塊進(jìn)行哈希算法的***標(biāo)記,,即指紋(Fingerprint),,在指紋庫(kù)中尋找相同的指紋。如果存在相同指紋,,則表示已保存了相同的數(shù)據(jù)塊,,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,,從而節(jié)省更多的備份空間,。該算法還可以智能識(shí)別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),,從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問(wèn)題,比較大限度地提升重刪性能和重刪率,,為避免數(shù)據(jù)備份過(guò)程中冗余網(wǎng)絡(luò)傳輸與存儲(chǔ)開(kāi)銷(xiāo),,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗(yàn)可以明顯縮小備份傳輸過(guò)程中的數(shù)據(jù)冗余,目的在于不備份任意一個(gè)冗余數(shù)據(jù),。上訊敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品的合規(guī)性體現(xiàn)在通過(guò)數(shù)據(jù)申請(qǐng)審批流程使用數(shù)據(jù),,嚴(yán)格控制數(shù)據(jù)外流。
組織內(nèi)部應(yīng)建立一套完善的數(shù)據(jù)備份恢復(fù)體系,,部署相應(yīng)的數(shù)據(jù)備份恢復(fù)平臺(tái),,實(shí)現(xiàn)對(duì)生產(chǎn)數(shù)據(jù)的定期備份和恢復(fù)驗(yàn)證。該平臺(tái)應(yīng)包括對(duì)備份數(shù)據(jù)進(jìn)行定期的恢復(fù)驗(yàn)證,,周期間隔跨越日、月,、季度,、半年、年等,,恢復(fù)驗(yàn)證策略設(shè)置完畢可自動(dòng)執(zhí)行,,確保數(shù)據(jù)的可恢復(fù)性和可用性;該平臺(tái)應(yīng)能對(duì)長(zhǎng)期存儲(chǔ)的備份數(shù)據(jù)進(jìn)行時(shí)效性管理,,針對(duì)數(shù)據(jù)的分享、存儲(chǔ),、使用和刪除設(shè)定有效期,,過(guò)期存儲(chǔ)數(shù)據(jù)可進(jìn)行刪除或再次授權(quán)使用;該平臺(tái)應(yīng)能對(duì)備份數(shù)據(jù)進(jìn)行壓縮或加密存儲(chǔ),,保證存儲(chǔ)空間的有效利用.敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品數(shù)據(jù)信創(chuàng)產(chǎn)品,,實(shí)現(xiàn)了國(guó)產(chǎn)數(shù)據(jù)庫(kù)的備份與國(guó)產(chǎn)操作系統(tǒng)的兼容。敏感數(shù)據(jù)處理效率每秒幾萬(wàn)條
敏捷數(shù)據(jù)管理平臺(tái)虛擬數(shù)據(jù)秒級(jí)分發(fā),,提升了環(huán)境準(zhǔn)備效率,,數(shù)據(jù)交付時(shí)間整體節(jié)約100倍以上。數(shù)據(jù)副本管理
數(shù)據(jù)備份面臨存儲(chǔ)成本高的問(wèn)題,,ADM采用內(nèi)置高效的壓縮存儲(chǔ)池存放數(shù)據(jù),壓縮比約為3:1,,存儲(chǔ)即壓縮,,降低了備份數(shù)據(jù)的存儲(chǔ)成本;其次,,通過(guò)ADM的數(shù)據(jù)庫(kù)虛擬化技術(shù),,一份基礎(chǔ)數(shù)據(jù)即可快速拉起多份虛擬數(shù)據(jù)庫(kù),由于虛擬數(shù)據(jù)庫(kù)90%的數(shù)據(jù)均與原始數(shù)據(jù)相同,,因此拉起時(shí)幾乎不占用額外的物理存儲(chǔ)空間,,只對(duì)新增的寫(xiě)操作計(jì)入容量占用,因此,,隨著數(shù)據(jù)分發(fā)使用的場(chǎng)景和頻率增加,,虛擬庫(kù)的數(shù)量越來(lái)越多,而存儲(chǔ)成本將會(huì)呈倍數(shù)級(jí)節(jié)約,,例如針對(duì)同一份數(shù)據(jù)創(chuàng)建N個(gè)虛擬庫(kù),,傳統(tǒng)方法需要N倍的存儲(chǔ)空間占用,,而通過(guò)ADM只需要占用近乎0TB的存儲(chǔ)空間,節(jié)約了數(shù)據(jù)存儲(chǔ)環(huán)節(jié)的資源和成本,。數(shù)據(jù)副本管理