它是什么
做 bigquery 入门,先把它想成 GCP 上的「超大 Excel 仓库」:它是无服务器数据仓库,用来放订单表、用户表、网站日志、App 埋点等业务数据,再用 SQL 一次扫描很多行,批量算日报、留存、转化和异常统计。无服务器不是没有机器,而是你不用装系统、打补丁、开 VM、配磁盘;底层资源、扩容和可用性由平台负责。
新手只需理解三层:项目管账单和权限,数据集像业务文件夹,表才是有字段的数据。先固定项目,是因为数据集和查询都挂在某个项目下;「建了却找不到」「账单跑错项目」多半是这里没选对。
打开 GCP 控制台右上角的 Cloud Shell,它已登录且自带 gcloud、bq。复制下面命令:确认账号和项目,没设项目时取列表第一个,再启用 BigQuery API。这样后面查询才有明确归属,也能避开 API 未启用的报错。
gcloud auth list
gcloud projects list --format="table(projectId,name)"
PROJECT_ID=$(gcloud config list --format="value(core.project)")
if [ -z "$PROJECT_ID" ]; then PROJECT_ID=$(gcloud projects list --format="value(projectId)" | head -n 1); fi
gcloud config set project "$PROJECT_ID"
gcloud services enable bigquery.googleapis.com
gcloud config get-value project
接着用只读命令看三层:列当前项目的数据集、看公共数据集里的表、看一张表的字段。它们只是看目录和说明书,不会写公共数据。
bq ls --datasets
bq ls bigquery-public-data:usa_names
bq show --format=pretty bigquery-public-data:usa_names.usa_1910_current
- 坑:有多个项目时,「取第一个」未必是你要用的;核对最后输出的 Project ID,错了找管理员或重设。
- 坑:标准 SQL 常用「项目.数据集.表」,bq ls 常用「项目:数据集」;冒号、点号写反容易报 Not found。
最后别急着写复杂查询。按需计费时,查询费通常按扫描到的数据量算;若账号买了预留的计算资源(槽、Edition),则按资源算,存储另算;先弄清费用口径比急着写复杂查询更重要。第一条 dry_run 只验证并估算扫描量,不真正跑;第二条加最大计费字节数,超过 100 MB 就拒绝执行,像给账单装刹车。
bq query --use_legacy_sql=false --dry_run
'SELECT state, SUM(number) AS babies FROM `bigquery-public-data.usa_names.usa_1910_current` WHERE year = 2020 GROUP BY state ORDER BY babies DESC LIMIT 5'
bq query --use_legacy_sql=false --maximum_bytes_billed=100000000
'SELECT state, SUM(number) AS babies FROM `bigquery-public-data.usa_names.usa_1910_current` WHERE year = 2020 GROUP BY state ORDER BY babies DESC LIMIT 5'
小白最常踩的坑是 SELECT * 扫整表、忘加日期或分区条件、反复重跑。先 dry_run 看「价」,再带上限执行,比一上来写多层 JOIN 安全得多。
解决什么问题
对 bigquery 入门 来说,BigQuery 不是“更快的 Excel”。表格工具几万行还能用,几十万、上百万行做筛选、透视、公式就转圈;文件在群、邮箱、网盘里来回传,谁改了哪版说不清;“活跃用户”这类口径各写一份公式,结果难对齐。它把数据放进项目内数据集,把口径写成 SQL 或视图,下次复用,大家看同一份逻辑。
它也省掉 VM 自建分析库的运维杂活:不用 SSH 登录装库、打补丁、配备份、盯磁盘,数据涨了也不用半夜扩容。BigQuery 是全托管、无服务器的数据仓库,存储和计算交给平台,你只管提问。
零基础也能照做;在 Cloud Shell 或装好 Google Cloud CLI 的 macOS/Linux 终端,下面命令可直接复制执行。它会自动取当前账号能看到的第一个项目、启用 BigQuery API,并用公开数据试算:
gcloud auth login
gcloud config set project "$(gcloud projects list --format='value(projectId)' --limit=1)"
gcloud services enable bigquery.googleapis.com
bq query --use_legacy_sql=false --location=US --dry_run --maximum_bytes_billed=1000000000 'SELECT COUNT(*) AS total FROM `bigquery-public-data.usa_names.usa_1910_current`'
bq query --use_legacy_sql=false --location=US --maximum_bytes_billed=1000000000 'SELECT COUNT(*) AS total FROM `bigquery-public-data.usa_names.usa_1910_current`'
为什么先 dry_run 再真跑?dry_run 只估算扫描量,maximum_bytes_billed 限制单次最多扫 1GB,避免手滑写错 SQL 产生账单。小白容易踩的坑:自动选第一个项目,多项目可能选错;没开结算或没权限会报错;Windows 用户建议用 Cloud Shell,省去 shell 差异;测试时别用 SELECT * 测大表。正式用前确认当前项目,并在「结算」的「预算和提醒」设 50%、90%、100% 提醒。
把 CSV、日志、广告后台、业务库导出这些分散数据集中到同一个项目内,再配合 IAM 权限、Cloud Audit Logs 审计日志和预算提醒。这样数据在哪、谁能查、花多少钱、口径哪版都有迹可循,让查询更可控。
怎么上手
第一次用 BigQuery,别急着装工具,按下面顺序在网页控制台做最稳。
- 进入 GCP 控制台,点「新建项目」,起个名字;到「结算」里绑定结算账号。BigQuery 有免费额度,但不绑结算常常连查询都跑不起来。确认右上角项目是刚建的那个,再打开 Cloud Shell。
- 数据集区域要提前定。下面用
asia-east1;它决定数据放在哪里,也影响查询位置和合规。创建后不能原地改,跨区复制、联表都麻烦,别一路默认 US。
把下面整段一次复制到 Cloud Shell。它会自动读取当前项目、开通 BigQuery API、生成一份订单 CSV、建数据集和表;自动识别字段后,先看字段和前 5 行,再做一次「筛选已支付、按城市和渠道分组、计数」的查询。重复执行会重新导入示例表,所以命令先只删这张示例表,避免计数翻倍。
PROJECT_ID="$(gcloud config get-value project)"
echo "当前项目:$PROJECT_ID"
gcloud services enable bigquery.googleapis.com
bq mk --location=asia-east1 --dataset "$PROJECT_ID:demo_bq"
printf '%sn'
'order_id,city,channel,amount,status'
'1001,上海,app,39.9,paid'
'1002,北京,web,88.0,paid'
'1003,上海,web,25.5,refunded'
'1004,深圳,app,129.0,paid'
'1005,北京,app,46.8,paid' > orders.csv
bq rm -f -t "$PROJECT_ID:demo_bq.orders" 2>/dev/null || true
bq load --location=asia-east1 --autodetect --source_format=CSV --skip_leading_rows=1 "$PROJECT_ID:demo_bq.orders" orders.csv
bq query --use_legacy_sql=false --location=asia-east1 "SELECT column_name, data_type FROM `${PROJECT_ID}.demo_bq.INFORMATION_SCHEMA.COLUMNS` WHERE table_name = 'orders' ORDER BY ordinal_position"
bq query --use_legacy_sql=false --location=asia-east1 --maximum_bytes_billed=100000000 "SELECT * FROM `${PROJECT_ID}.demo_bq.orders` LIMIT 5"
SQL="SELECT city, channel, COUNT(*) AS order_count
FROM `${PROJECT_ID}.demo_bq.orders`
WHERE status = 'paid'
GROUP BY city, channel
ORDER BY order_count DESC"
bq query --dry_run --use_legacy_sql=false --location=asia-east1 "$SQL"
bq query --use_legacy_sql=false --location=asia-east1 --maximum_bytes_billed=100000000 "$SQL"
bq ls -j -a --limit=10
gcloud projects get-iam-policy "$PROJECT_ID"
bq show --format=prettyjson "$PROJECT_ID:demo_bq"
这里有两个省钱动作:查询前先做 dry run,看预估扫描量;真正查询时把上限设成 100 MB,超过就失败而不是扣费。结果会直接打印出来;再到 BigQuery 控制台的「查询编辑器 > 作业信息」看实际扫描量,在「作业历史」看作业记录。命令行后半段会列出最近作业、项目权限和数据集权限,重点检查有没有把数据授权给陌生人。
最后到「结算 > 预算和提醒」新建预算,金额填你能接受的小额,阈值设 50%、90%、100% 并勾邮件提醒;查询编辑器里也把 Maximum bytes billed 设成 100 MB。预算提醒只提醒,不会自动停机;真正能拦住单次误刷的是查询上限。新手最常见的坑是选错项目、忘绑结算、区域随手默认、对大表不加条件查全部列,以及给 allAuthenticatedUsers 开权限。
与替代方案对比
做 bigquery 入门,别问“谁更强”,按数据量、复用次数、维护成本选。和 Excel、Google Sheets 比,BigQuery 更适合大规模数据和团队复用;几千万行日志,表格会卡,文件传来传去也容易口径乱。把统计写成 SQL,同事复跑同一句即可。反过来,临时数 200 行报名表,表格打开就拖,更轻便。
想感受差别,在 Google Cloud Shell(浏览器里自带命令行,不用装软件)整段复制。下面会选列表第一个项目、开启 API,再数公共气象数据里 2010 年的记录;重点是体验“一次扫描很多行”,不是背命令。
gcloud config set project "$(gcloud projects list --format='value(projectId)' | head -n 1)"
gcloud services enable bigquery.googleapis.com
bq query --use_legacy_sql=false 'SELECT COUNT(*) AS rows_2010 FROM `bigquery-public-data.samples.gsod` WHERE year = 2010'
为什么这么做:表格靠人复制文件,BigQuery 靠 SQL 和项目权限;同一口径可复用,少踩“我的表比你多一列”的坑。
和 VM 上自建 PostgreSQL、ClickHouse 比,BigQuery 像托管仓库:省去 SSH 登录、备份、扩容维护和打补丁,因为机器和调度由平台管。坑是长期固定重负载要细算预留资源;一直满负荷时,提前包下算力可能比按量更划算。
和 MySQL、PostgreSQL 这类传统数据库比,BigQuery 擅长报表与批量分析,不擅长高频下单、扣库存、按订单号频繁单行更新这类事务场景。把它想成月底盘点,不是收银台。坑是别把下单接口直接接进来,写入延迟、更新方式和事务语义都不合适。
- 小白常见坑:多项目账号里,第一条命令会选列表第一个项目,可能不是想计费的项目;公司环境先确认项目名,别盲跑。
- 没开 API、没权限或没绑定结算账号会报错,按提示开通或找管理员,别反复改 SQL。
最佳实践
常见问题(FAQ)
完全没有数据库基础能学 bigquery 入门吗?
可以,先学会建数据集、导入表、写简单筛选和分组,再逐步理解分区与权限。
bigquery 会很贵吗?
不一定,费用主要来自查询扫描量;限制查询列、设预算提醒,小样本练习成本很低。
它和传统数据库有什么区别?
它偏大规模分析与报表,不适合高频下单;传统数据库更偏日常交易和单行读写。
需要自己维护服务器吗?
不需要,GCP 负责底层资源、扩容和可用性,你主要管理数据、权限与成本。
不想自己折腾 GCP?我们提供云平台代维护、上云迁移与账单代付服务,一对一技术支持。
