简单几步骤带您快速把资料从AWS 搬迁到GCP

工作流程

1.在AWS建立IAM User & Access Key
2.在Cloud Storage建立Bucket
3. 设定Transfer Job

1. 建立IAM User & Access Key

Google Cloud Storage提供Transfer Job快速汇入资料，其中最方便的就是从AWS S3传资料，首要步骤提供Access Key，让Cloud Storage执行Job.
1.建立IAM User
2.设定IAM Policy，这边设定AmazonS3ReadOnlyAccess这个权限
3.产生一组Access Key和Secret Key

1.1 AWS CONSOLE -> SERVICES -> IAM -> ADD USER

建立一个IAM User，提供传输资料。

1.2 设定IAM USER 类型

这里IAM User 范例名称为: aws-s3-to-gcp，需要 Access Key，所以Access Type 选择Programmatic access

1.3 设定IAM POLICY

使用AWS预设的Policy:
1.选择Attach existing policies directly
2.搜寻S3
3.选择AmazonS3ReadOnlyAccess.如果要允许传输完毕之后，删除Object，那就选择AmazonS3FullAccess

1.4 确认IAM 设定

1.5 建立IAM 帐号，取得ACCESS KEY

建立IAM 帐号，把 Access Key 和 Secret Access Key 存下来。

注意：Secret Access Key 只能看到一次，画面关闭后，不能再查阅。

2. 在Cloud Storage 建立Bucket

2.1 GCP CONSOLE -> STORAGE -> BROWSER

在GCP Console 找到Storage

2.2 建立BUCKET

以下为范例：

• Bucket Name: aws-gtcafe-us-east-2-temp-data
• Default Storage Class: Regional
• Regional Location: us-east-1

关于Cloud Storage简单的介绍，请参阅  Experience GCP#Cloud Storage  的简介。

3. 设定Transfer Job

3.1 GCP CONSOLE -> STORAGE -> TRANSFER

3.2 SELECT SOURCE

填入S3资讯：
•  Bucket Name
•  Access Key
•  Secret Access Key

3.2 SELECT DESTINATION

选择目标，这边范例为 aws-gtcafe-us-east-2-temp-data。

如果想设定移转完成后，删除来源的Object (如下图)，那IAM Policy 就要选AmazonS3FullAccess

3.3 CONFIG TRANSFER

设定传输的周期，一次性、还是固定周期。设定完成后就会开始从S3 传资料到Cloud Storage。

Compare Google Cloud Storage and AWS S3

下图是  Google Cloud Platform for AWS Professionals: Storage  比较Cloud Storage 和S3。

我觉得两者的一些差异：
1. Cloud Storage支援Multi-regional，不需要管要从哪一个region复制。S3则需要透过Cross region replication但是有点麻烦。
2. Cloud Storage的UI反应很快，可以快速删除整个Bucket，使用感觉不错。S3 UI其实不怎么好用，像是无法删除整个Bucket ，而是要透过CLI下–recursive才行。

参考资料

•  Google Cloud Storage
• Amazon Simple Storage Service (S3) » Developer Guide
• Google Cloud Platform for AWS Professionals: Storage