+86 189 8218 1436 周一至五 10:00-22:00

用命令行操作 Cloud Storage 入门

TL;DR:用小白能懂的方式讲清用命令行操作 Cloud Storage,覆盖 gcloud storage、gsutil、上传下载、权限和排错。

它是什么:命令行与 Cloud Storage 的关系

Cloud Storage 是 GCP 的对象存储服务,可以先想成“大网盘”,用来存放图片、备份、日志、静态文件等。数据按存储桶和对象组织:存储桶是最外层容器,对象就是一个个文件。

用命令行操作 Cloud Storage,就是不在网页里点按钮,而在终端输入文字命令。主要依靠 gcloud storage 或 gsutil:前者是新版推荐入口,后者常见于老教程。它适合脚本化、批量处理和服务器无图形界面场景,写一次就能重复跑。

第一次试,先别传重要资料。下面命令不用改占位符,按顺序复制即可;在自己电脑上,登录会打开浏览器,初始化会让你选择项目。服务器若已配好服务账号,通常不用重复登录。

gcloud --version
gcloud auth login
gcloud init
gcloud config list
gcloud storage --help
gsutil --help
gcloud storage ls

为什么先做这些?命令行不会替你猜“你是谁、在哪个项目”。前几条确认工具、账号和当前项目;帮助命令用来查官方用法;最后一条只列出当前项目能看到的存储桶,不改动数据,比较安全。

  • 坑:地址通常以 gs:// 开头,桶名全局唯一,别写中文、空格或大写字母;a/b/c.txt 这种“目录”本质仍是对象名。
  • 坑:没选项目、没权限、未启用结算或 API 时,常见报错是“找不到”或“权限不足”,先查配置,不要乱改文件名。
  • 坑:公开权限和临时访问链接可能泄露数据,修改权限前先确认是不是私密文件。

后面常见的操作对象包括创建存储桶、上传下载文件、复制移动、列目录、修改权限和生成临时访问链接。可以理解成:你说清楚资源路径和动作,命令行工具再把请求发给 GCP 执行。

解决什么问题:为什么不用鼠标点控制台

用命令行操作 Cloud Storage,不是把简单事弄复杂。控制台像仪表盘:看状态、看文件大小,或临时改一两个对象,用鼠标点几下最直观;但重复任务、定时备份、批量迁移、自动化流水线(代码一提交就自动跑),靠手工点击会慢、会累,还容易点漏。

更常见的是 SSH 到 VM 或 Linux 服务器,只有黑窗口、没有浏览器,不想把日志下载到本地再上传。命令行可以直接上传日志、拉取配置、同步备份。下面整段复制到终端:先确认工具和项目,再建演示文件,第一次别碰真实业务数据。

gcloud --version
PROJECT_ID="$(gcloud projects list --format='value(projectId)' | head -n 1)"
[ -z "$PROJECT_ID" ] || gcloud config set project "$PROJECT_ID"
gcloud config get-value project
gcloud storage ls
WORKDIR="$HOME/gcpok-demo"; mkdir -p "$WORKDIR/logs" "$WORKDIR/config"
echo "log" > "$WORKDIR/logs/app.log"; echo "port=8080" > "$WORKDIR/config/app.conf"
[ -f "$WORKDIR/bucket.txt" ] || printf 'gcpok-demo-%sn' "$(date +%s%N)" > "$WORKDIR/bucket.txt"
BUCKET="$(cat "$WORKDIR/bucket.txt")"
gcloud storage buckets describe "gs://$BUCKET" >/dev/null 2>/dev/null || gcloud storage buckets create "gs://$BUCKET" --location=asia-east1
gcloud storage cp "$WORKDIR/logs/app.log" "gs://$BUCKET/logs/"
gcloud storage cp "gs://$BUCKET/logs/app.log" "$WORKDIR/logs/app.log.download"
gcloud storage cp "$WORKDIR/config/app.conf" "gs://$BUCKET/config/"
gcloud storage cp "gs://$BUCKET/config/app.conf" "$WORKDIR/config/app.conf.download"
gcloud storage rsync -r "$WORKDIR" "gs://$BUCKET/backup/"

为什么这样写?第一行看 Cloud SDK 在不在;接着自动选项目,避免传错地方;复制命令负责单个文件上下行,所以日志能上传、配置能拉回;同步命令负责目录备份。桶名存进 bucket.txt,后面脚本和定时任务才找得到同一个桶。坑:多项目账号会自动选列表第一个项目;没装工具、没登录、没开结算或服务账号权限不够,都会失败。

真正省事的是命令能写进脚本和定时任务。控制台每次靠人记目录、桶和权限,命令行把这些固定下来,减少漏传、误删和权限配置不一致;同一段脚本放进流水线也一样跑。下面生成备份脚本,每天凌晨 2 点执行一次,重复运行会先去掉旧的同名任务。

WORKDIR="$HOME/gcpok-demo"
mkdir -p "$WORKDIR"
printf '%sn' 
  '#!/usr/bin/env bash' 
  'set -euo pipefail' 
  'export PATH="$HOME/google-cloud-sdk/bin:/snap/bin:/usr/local/bin:/usr/bin:/bin:$PATH"' 
  'WORKDIR="$HOME/gcpok-demo"' 
  'BUCKET="$(cat "$WORKDIR/bucket.txt")"' 
  'gcloud storage rsync -r "$WORKDIR" "gs://$BUCKET/backup/"' 
  > "$WORKDIR/backup.sh"
chmod +x "$WORKDIR/backup.sh"
"$WORKDIR/backup.sh"
( crontab -l 2>/dev/null | grep -v 'gcpok-demo/backup.sh'; echo "0 2 * * * $HOME/gcpok-demo/backup.sh >> $HOME/gcpok-demo/backup.log 2>> $HOME/gcpok-demo/backup.err" ) | crontab -
  • 别删 bucket.txt:脚本靠它找桶;删了会生成新桶名,旧备份像「不见了」。
  • 别一上来同步 /etc:可能有敏感信息;先用演示目录练熟,再换真实日志和配置目录。
  • 别乱加删除参数:同步默认不清云端多余文件;加了可能误删还在用的备份。
  • 定时任务环境变量少:脚本已补常见路径;没跑成功看 backup.log 和 backup.err。VM 用服务账号,别等浏览器登录;权限统一用 IAM 最小授权,别每次手点改。

怎么上手:第一次用命令行操作 Cloud Storage

第一次用命令行操作 Cloud Storage,建议直接用控制台右上角的 Cloud Shell;本机用户先安装谷歌云命令行工具(Google Cloud CLI)。下面命令在同一窗口按顺序复制执行,Windows 也用 Cloud Shell 最省事。

gcloud --version
gcloud init
gcloud config list
gcloud services enable storage.googleapis.com
gcloud beta billing projects describe "$(gcloud config get-value project)"

为什么:gcloud init 会打开浏览器登录并选项目;后面几句是确认项目和计费已启用:当前项目、Storage API、billingEnabled。小白常踩的坑是选错账号或项目,project 为空、billingEnabled 不是 true,都会让创建桶失败。

接着创建桶。名称必须全局唯一,不是只在本项目唯一;区域决定数据放哪,存储类别影响费用和访问方式,先选好再建。

export PROJECT_ID="$(gcloud config get-value project)"
export REGION="asia-east1"
export STORAGE_CLASS="STANDARD"
export BUCKET_NAME="gcpok-${PROJECT_ID}-$(date +%s)"
echo "$BUCKET_NAME" > bucket-name.txt
gcloud storage buckets create "gs://$BUCKET_NAME" 
  --location="$REGION" 
  --default-storage-class="$STORAGE_CLASS"

坑:看到 already exists 就换后缀,别照抄教程里的桶名。asia-east1、STANDARD 只是练习值;真实业务按用户位置、合规和访问频率选,建完再迁移通常要额外花钱。

上传、下载、查看对象都按“来源在前、目标在后”理解;gs:// 开头是云端路径,没有前缀是本机文件。

export BUCKET_NAME="$(cat bucket-name.txt)"
echo "我的第一个 Cloud Storage 文件" > hello.txt
gcloud storage cp hello.txt "gs://$BUCKET_NAME/"
gcloud storage ls "gs://$BUCKET_NAME/"
gcloud storage cp "gs://$BUCKET_NAME/hello.txt" hello-download.txt
gsutil cp hello.txt "gs://$BUCKET_NAME/gsutil-hello.txt"
gsutil ls "gs://$BUCKET_NAME/"

旧教程里的 gsutil cp、gsutil ls 基本也能用;新项目优先 gcloud storage。容易错的是把上传和下载写反、漏写 gs://,或让同名文件被覆盖。

删除前务必核对路径。先只查看,确认输出正是 hello.txt:

export BUCKET_NAME="$(cat bucket-name.txt)"
gcloud storage ls "gs://$BUCKET_NAME/hello.txt"

确认无误后再单独执行删除;不要随手加 -r、通配符,或把路径写到整个桶。

export BUCKET_NAME="$(cat bucket-name.txt)"
gcloud storage rm "gs://$BUCKET_NAME/hello.txt"

如果遇到 403、Access denied,先查 IAM 角色、服务账号和当前 gcloud 配置,别急着开放公开读写。

export PROJECT_ID="$(gcloud config get-value project)"
gcloud config list
gcloud auth list
gcloud iam service-accounts list
gcloud projects get-iam-policy "$PROJECT_ID" 
  --flatten="bindings[].members" 
  --format="table(bindings.role,bindings.members)"

重点看当前账号是否有建桶、写对象、读对象的最小角色;用服务账号时,要授权给服务账号本身。千万别给 allUsers、allAuthenticatedUsers 开公开权限,那不是排错,是把数据放到门外。

与替代方案对比:控制台、图形工具和 API

如果准备长期用命令行操作 Cloud Storage,先记住:这些方案不是互相淘汰,而是场景不同。控制台最直观,打开网页就能看见桶、对象和权限,适合新手认识 Cloud Storage、临时排错;但批量上传、每天定时备份、多台服务器重复同一套动作时,点鼠标容易漏,也很难跨服务器复用。

  • 图形化客户端更接近本地文件管理体验,少量文件拖一拖很舒服;但它要安装、登录、维护配置。命令行更轻,Linux 服务器常常只有终端,复制命令就能验证,也方便写进自动化脚本。
  • API 与客户端库适合把存储动作内嵌到应用逻辑,比如用户上传头像后由程序自动保存、生成链接;命令行更适合运维人员快速执行、验证结果、写进任务脚本。别为排错临时写程序,也别在业务代码里硬拼一堆命令字符串。

本节先不上传文件,复制下面三行做最小检查:

gcloud --version
gcloud auth login
gcloud storage --help

为什么这么做:先确认 Google Cloud CLI 已安装,再让浏览器登录账号,最后查看 Cloud Storage 命令入口。新手最常见的坑,是没安装、没登录就照抄上传命令,看到“command not found”或权限报错,以为桶坏了;也有人把中文占位、尖括号、旧教程参数一起复制。放进定时任务时,别把需要人工点浏览器的登录命令塞进脚本,应先完成服务器授权或使用服务账号。

和自建文件服务器比,Cloud Storage 省去磁盘扩容、机器维护、系统补丁和硬件故障处理;但它是对象存储,不是普通挂载盘。它按“桶 + 对象”管理,通常整体上传、下载、覆盖,不能像本地文件那样随便改中间几行,也不要依赖传统文件夹锁。理解这点,再选控制台、图形工具、API 或命令行,就不容易走弯路。

最佳实践:安全、成本与排错清单

常见问题(FAQ)

新手该学 gcloud storage 还是 gsutil?

优先学 gcloud storage,旧脚本再查对应 gsutil 写法。

上传文件提示权限不足怎么办?

先确认当前项目、账号和 IAM 角色,再检查存储桶权限,不要直接改成公开。

命令行能替代控制台吗?

大多数日常操作可以,控制台更适合查看状态、费用、权限和临时排查。

删除对象前要注意什么?

先用 gcloud storage ls 核对路径,小范围试跑,重要数据开启版本控制。

不想自己折腾 GCP?我们提供云平台代维护、上云迁移与账单代付服务,一对一技术支持。

查看代维服务 →

发表评论