如何將數(shù)據(jù)遷移到阿里云OSS?
用戶希望將歷史數(shù)據(jù)遷移到用戶在OSS的某個(gè)目標(biāo)Bucket上。其中,需要遷移的源數(shù)據(jù)可能來自于OSS的某個(gè)Bucket,也可能來自于本地、第三方云存儲(chǔ)(如AWS S3、Azure Blob、騰訊云COS、七牛、百度BOS、又拍云、金山KS3等)、HTTP等。
?主要方法
-
OssImport
使用Ossimport工具進(jìn)行遷移,適用于各類數(shù)據(jù)源的歷史數(shù)據(jù),批量遷移到OSS,請(qǐng)參考OssImport文檔。 -
鏡像回源
適用于客戶源站無縫遷移數(shù)據(jù)到OSS。即服務(wù)已經(jīng)在自己建立的源站或者在其他云產(chǎn)品上運(yùn)行,需要遷移到OSS上,但是又不能停止服務(wù),此時(shí)可利用鏡像回源功能實(shí)現(xiàn)。在Ossimport完成歷史數(shù)據(jù)遷移后,將新產(chǎn)生的數(shù)據(jù)遷移過程,請(qǐng)參考鏡像回源、無縫遷移到OSS。 -
OSS跨區(qū)域復(fù)制
適用于同一賬戶下,從OSS Bucket A將數(shù)據(jù)復(fù)制到Bucket B,請(qǐng)參考設(shè)置跨區(qū)域復(fù)制。在使用時(shí),需注意設(shè)置“同步歷史數(shù)據(jù)”。此外,如果不希望同步BucketA的刪除操作,可將同步策略設(shè)置為“寫同步”。 -
閃電立方
適用于線下數(shù)據(jù)中心大規(guī)模數(shù)據(jù)遷移上云,支持TB到PB級(jí)別大規(guī)模數(shù)據(jù)上云。具體參考官網(wǎng)產(chǎn)品介紹閃電立方。 -
OSS API或SDK
使用OSS API或SDK編寫代碼實(shí)現(xiàn),適用于開發(fā)能力較強(qiáng)的客戶,請(qǐng)參考Copy Object、Upload Part Copy。
?場(chǎng)景1:將非OSS上的數(shù)據(jù)遷移到OSS中
在此場(chǎng)景中,遷往目的地是OSS上的Bucket,而源數(shù)據(jù)不是存儲(chǔ)在OSS上,比如在本地、HTTP、第三方云存儲(chǔ)(如AWS S3、Azure Blob等)。
各方法的選擇如下:
-
OssImport
適用于歷史數(shù)據(jù)批量遷移到OSS,特別適合數(shù)據(jù)量比較大的情況。數(shù)據(jù)量大時(shí),使用ossimport分布式版本。 -
鏡像回源
適用于源站新的熱數(shù)據(jù)在線遷移到OSS,如滿足您對(duì)于數(shù)據(jù)熱遷移、特定請(qǐng)求重定向等需求。 -
閃電立方
適用于用戶本地?cái)?shù)據(jù)中心,TB到PB級(jí)別大規(guī)模數(shù)據(jù)上云 -
OSS API/SDK Copy Object、Upload Part Copy
適用于有特性需求,使用OSS API/SDK 編寫代碼上傳OSS。
?場(chǎng)景2:OSS之間的數(shù)據(jù)遷移
此場(chǎng)景是指將OSS源Bucket數(shù)據(jù)遷移到OSS目標(biāo)Bucket中。遷移的數(shù)據(jù)源和遷移目的地都是OSS的Bucket。
各方法的選擇如下:
-
OSS跨區(qū)域復(fù)制
-
源Bucket和目標(biāo)Bucket屬于同一個(gè)用戶,且分屬不同的區(qū)域。
-
源Bucket、目標(biāo)Bucket存儲(chǔ)類型都不是歸檔類型:
說明:如果希望源Bucket歷史數(shù)據(jù)遷移(復(fù)制到)目標(biāo)Bucket后,源Bucket的變更(新增、更新、刪除)不再同步到目標(biāo)Bucket,可以在控制臺(tái)關(guān)閉源Bucket的跨區(qū)域復(fù)制。
-
源Bucket和目標(biāo)Bucket屬于同一個(gè)用戶,且分屬不同的區(qū)域。
-
OssImport
更適合數(shù)據(jù)量較大(如大于10TB)歷史數(shù)據(jù)遷移場(chǎng)景。 -
OSS API/SDK Copy Object、Upload Part Copy
建議優(yōu)先使用ossImport或跨區(qū)域復(fù)制,除非用戶有更細(xì)化或特性的需求,且有一定的開發(fā)能力。