怎樣同步數(shù)據(jù)到阿里云OSS?
發(fā)布時(shí)間:2018-02-27 點(diǎn)擊數(shù):1969
用戶如希望,將增量數(shù)據(jù),自動(dòng)往OSS的Bucket中同步,可以參考以下方法。
?主要方法
- OSS跨區(qū)域復(fù)制:將OSS的BucketA數(shù)據(jù),同步到另一個(gè)區(qū)域的BucketB中。您可以在控制臺中,對OSS源Bucket設(shè)置跨區(qū)域復(fù)制。
-
鏡像回源:適用于客戶源站無縫遷移數(shù)據(jù)到OSS。即服務(wù)已在建源站或者在其他云產(chǎn)品上運(yùn)行,需遷移到OSS,但又不能停止服務(wù)。在Ossimport完成歷史數(shù)據(jù)遷移后,業(yè)務(wù)切換到OSS后,當(dāng)訪問的數(shù)據(jù)不在OSS,會觸發(fā)鏡像回源,到源站抓取下載到OSS中。
- OSS API或SDK:使用OSS API或SDK編寫代碼實(shí)現(xiàn),詳情請參見Copy Object、Upload Part Copy。
?場景1:OSS的不同Bucket之間的數(shù)據(jù)同步
當(dāng)需要將BucketA數(shù)據(jù),同步到BucketB時(shí),可參考如下方法:
-
設(shè)置跨區(qū)域復(fù)制
- 適用于源BucketA、目的BuketB都不是歸檔存儲,且分屬不同區(qū)域場景
-
鏡像回源
- 適用于當(dāng)客戶端訪問BucketB時(shí),BucketB中沒有該數(shù)據(jù),觸發(fā)鏡像回源去BcuektA中抓取,下載到BucketB。
-
OSS API/SDK Copy Object、Upload Part Copy
- 適用于用戶有特性需求,且有較強(qiáng)開發(fā)能力
?常見疑問
-
是否可以指定Bucket下特定目錄而非整個(gè)Bucket間進(jìn)行同步?
可以。通過設(shè)置跨區(qū)域復(fù)制功能指定文件名前綴進(jìn)行同步,控制只同步特定目錄。 -
歸檔存儲是否可以使用跨區(qū)域復(fù)制功能?
當(dāng)源Bucket或目標(biāo)Bucket是歸檔存儲時(shí),不支持設(shè)置跨區(qū)域復(fù)制。用戶可以使用OSS API/SDK 編寫代碼,以實(shí)現(xiàn)同步。由于歸檔存儲存在恢復(fù)時(shí)間,如果客戶在應(yīng)用中,需要由歸檔存儲,向標(biāo)準(zhǔn)或低頻存儲間同步,建議采用更合理的架構(gòu),將源Bucket改為標(biāo)準(zhǔn)或低頻存儲,目標(biāo)Bucket改為歸檔存儲,節(jié)省成本,提升業(yè)務(wù)體驗(yàn)。
?場景2:第三方數(shù)據(jù)源的數(shù)據(jù)“同步”到OSS
第三方數(shù)據(jù)源,自動(dòng)同步到OSS,可參考如下方法:
-
鏡像回源
- 當(dāng)客戶端訪問OSS時(shí),OSS如沒有該數(shù)據(jù),則觸發(fā)鏡像回源去第三方數(shù)據(jù)源站中抓取,下載到OSS。
-
OSS API/SDK Copy Object、Upload Part Copy
適用于用戶有特性需求,且有較強(qiáng)開發(fā)能力 -
使用OSSimport增量遷移模式
使用OSSIMPORT數(shù)據(jù)遷移增量模式,間隔固定時(shí)間,去查詢源站數(shù)據(jù),并將其同步到OSS中。
?常見疑問
-
如果是將歷史數(shù)據(jù),批量地遷移或復(fù)制到OSS,請參考數(shù)據(jù)遷移文檔
?其他
如果問題還未能解決,請聯(lián)系售后技術(shù)支持。