它是什么:把告警变成可执行的动作
先纠个误会:ai自动化运维不是聊天机器人替你乱点控制台,也不是让 AI 凭感觉修服务器。它很老实——把指标、日志、规则和脚本串成闭环:指标报数,日志讲现场,规则判断算不算事,脚本只做那一下小动作,结果再写回记录。链子是人画好的,AI 多半只把 200 条重复告警并成一条、挑出关键日志,不替你拍板。
零基础记一句就够:发现异常 → 按预设规则判断 → 执行小范围动作 → 留下记录。比如 CPU 连续 5 分钟过 85%,不是全面重装,而是先加一台、或只重启卡住的那个进程,顺手记下「谁、几点、因哪条规则、动了哪台」。
搬到 GCP 里,对应组件其实都很朴素:
- 监控指标/日志:Cloud Monitoring 报数,Cloud Logging 当录像;
- 告警策略:Alerting Policy,就是那句「连续 5 分钟才叫我」;
- 自动扩缩容:MIG autoscaler,先加机器,别先动机器;
- 重启脚本:Startup Script 里一小段
reset,只兜底用; - 审批记录:Cloud Audit Logs,动作跑没跑全靠它回看。
别急着写脚本,先复制下面两条,把「眼睛」和「回看」确认好:
gcloud monitoring policies list --format="table(displayName, enabled)"
gcloud logging read "protoPayload.methodName=~'compute.instances.(reset|start|stop)'" --limit=5 --format="table(timestamp, protoPayload.authenticationInfo.principalEmail, protoPayload.methodName)"
为什么这么做:闭环最怕「规则还没看清就先接了动作」。先列策略,确认系统眼里啥才算异常;再读审计日志,确认「留痕」那一环真的通了,后面才敢接脚本。
小白最容易踩的三个坑:
- 第二条查出来空白,别急着说「没执行过」——多半是没开 Data Access 审计日志,或账号缺
logging.viewer。先补 IAM、打开对应服务的 Audit Logs,再回来查。 - 把自动扩缩容和重启脚本绑在同一条告警上:一边加机器、一边 reset 老机器,两边打架,比不自动化还乱。新手只接「扩容」,重启留到后面单独加审批。
- 别以为 AI 会自己猜阈值。并不会,阈值、冷却时间、最多动几台全是你写进策略里的,AI 只帮你少收重复短信;没写「最多动 1 台」就放权,是这节最该避开的裸奔操作。
做到这儿,你手里已经不是个会聊天的框,而是一条能复盘的小流水线:看得见异常、动得有分寸、事后翻日志对得上账。再往里加脚本,心里就有底了。
解决什么问题:减少半夜救火和重复操作
凌晨两点手机一响:磁盘满了、服务无响应、VM 负载飙高。你迷糊着找密钥、SSH 连上去,光登录就几分钟;再一条条敲命令,特别容易慢、漏、误操作——本想删日志,路径多打个空格,或者没看清就重启了正在跑的进程。人最不清醒的时候,偏偏故障最爱来。
AI 自动化运维做的事很朴素:把每次救火都要重复的步骤提前写成固定动作,让机器按流程跑。无非四件:
- 清理临时文件(/tmp 里放了一周的旧日志);
- 重启服务(确认无响应后拉起进程);
- 扩容实例(负载一直高就自动加一台分担);
- 发送通知(把「做了啥、成没成」推给人,同时留底)。
先复制这段最小版本练手,只做「看一眼 → 清旧日志 → 重启 → 通知留痕」,暂不碰扩容:
# 1) 先确认是不是磁盘问题,别上来就删
df -h
# 2) 只预览、不删除,看清名单
sudo find /tmp -maxdepth 1 -type f -name "*.log" -mtime +7 -print
# 3) 确认无误后真删,并把清单存成证据
sudo find /tmp -maxdepth 1 -type f -name "*.log" -mtime +7 -print -delete | sudo tee -a /var/log/ai-ops.log
# 4) 装了 nginx 才重启,没装也不报错(换成你自己的服务名即可)
if systemctl list-unit-files | grep -q '^nginx.service'; then sudo systemctl restart nginx; fi
# 5) 发送通知 + 留一条带时间的处理记录
echo "[$(date '+%F %T')] 已清理旧日志并检查/重启服务,处理人:自动化流程" | sudo tee -a /var/log/ai-ops.log
为什么这么写?第 1、2 步是防误操作的保险:先 df -h 确认真是磁盘问题,再让 find 只 -print 不删,看清楚名单才加 -delete;-maxdepth 1 限制只翻 /tmp 这一层,不会钻进子目录误删别人的东西。第 3、5 步用 tee -a 追加,屏幕上「通知」了人,/var/log/ai-ops.log 里也留下了证据。第 4 步加 if 判断,是为了没装 nginx 的机器也能整段跑通、不半路报错。
小白最容易踩的坑:
- 别写
sudo echo "..." >> /var/log/ai-ops.log:sudo只管echo,管不到后面的>>,照样提示「权限不够」,要用sudo tee -a。 - 示例是
nginx,先systemctl status nginx确认一下,再换成你真实的服务名;别照抄完看没输出就以为搞坏了。 - 半夜还要手输
sudo密码,就又退回人工救火了。正式托管前给专用账号配免密sudo,且只放行这几条命令,别图省事全放开。
对团队的价值不只是「不用起床」:流程固定后恢复时间从几分钟压到几秒;每一步都落日志,复盘有证据,不用靠回忆「我好像删了啥」;最实在的是新手照着流程也能处理常见故障,不必背完一肚子命令才敢值班。等这段跑顺了,再把扩容实例和群机器人 webhook 通知接进去,就是完整的一套 AI 自动化运维了。
怎么上手:从一台 VM 做最小闭环
想入门 ai自动化运维,别一上来就管集群。先开一台小规格 VM(比如 e2-micro),装好 Ops Agent 开启 GCP 监控与日志,只盯三样:处理器使用率、磁盘空间、错误日志。指标贪多最容易把新手淹没在告警噪音里,这三个够兜住八成常见故障。
配告警之前,先用 gcloud 做次「只读体检」,确认数据真的在收。把实例名和区域换成你自己的,直接复制执行:
gcloud compute instances describe my-vm --zone=asia-east1-b --format="value(name,status)" &&
gcloud logging read 'resource.type="gce_instance" AND severity>=ERROR' --limit=5 --format="table(timestamp,textPayload)" &&
gcloud monitoring time-series list --filter='metric.type="compute.googleapis.com/instance/cpu/utilization"' --limit=1
踩坑提醒:很多人跳过这步直接建告警,结果收不到通知才发现监控 API 没开、Agent 没起来,回头排查特别绕。看到终端真吐出日志和 CPU 数值,再去控制台配告警策略才踏实。
然后记住「慢就是快」:先让告警只发通知(邮件或短信),观察几天把阈值调准。别一激动就挂自动修复,一次误报就可能把正常服务反复重启。稳定后,再接入重启服务或扩容脚本。加动作时务必单独建个服务账号,用最小权限锁死范围(例如只给这一台机的 compute.instances.reset)。图省事直接绑 Owner 是新手最危险的坑,脚本万一写错,连回滚都来不及。
闭环的最后一环是「留痕」。不管只发了通知还是真动了手,每次执行都要写日志,记全时间、触发原因、动作结果、回滚方式。以后复盘、或者让 AI 学着做根因分析,靠的就是这些干净记录:
MSG="$(date -Iseconds) | 触发:CPU>90% | 动作:重启nginx | 结果:成功 | 回滚:stop nginx"
gcloud logging write ai-ops-audit "$MSG" --payload-type=text --severity=INFO
跑通这一台,你就摸到 ai自动化运维 的门了:先看得见,再敢动,动完说得清。
与替代方案对比:别一上来就造大平台
别一上来就造大平台。先按“出事时能不能说清、能不能留痕”对比:能跑通小闭环,再往上加 ai自动化运维。
- 纯人工运维最灵活,适合低频变更和临时排障;但依赖经验,夜间响应慢,换个人处理结果可能不同。
- 固定脚本比手工快,却常只看命令返回码,缺少日志判断和统一审计;ai自动化运维更适合把脚本接入指标、日志和审批,而不是让脚本自己拍板。
- 第三方平台开箱即用,但订阅、数据外传、席位,以及外部账号能读多少日志、改多少资源,成本和权限边界要先算清。
- GCP 原生方案更容易贴合现有项目、IAM 与账单,费用在同一项目里看,操作进 Cloud Audit Logs;对小白更稳。
对小白来说,先用 GCP 原生监控加简单脚本,比直接买复杂平台更稳:先“会报数、会提醒”,再谈自动处理。打开控制台右上角 Cloud Shell,整段复制执行;第一行会让你登录并选项目,选完后面会继续跑:
gcloud init
gcloud services enable monitoring.googleapis.com logging.googleapis.com --project="$(gcloud config get-value project)"
gcloud logging metrics describe aiops_simple_error_count >/dev/null 2>&1 || gcloud logging metrics create aiops_simple_error_count --description="Count ERROR logs for simple aiops demo" --log-filter="severity >= ERROR"
cat > check_aiops.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
PROJECT="$(gcloud config get-value project)"
if [ -z "$PROJECT" ] || [ "$PROJECT" = "(unset)" ]; then echo "请先运行 gcloud init 选择项目"; exit 1; fi
START="$(date -u -d '10 minutes ago' +'%Y-%m-%dT%H:%M:%SZ')"
COUNT="$(gcloud logging read "severity >= ERROR AND timestamp >= "$START"" --project="$PROJECT" --limit=100 --format="value(logName)" | wc -l | tr -d ' ')"
echo "最近 10 分钟错误日志条数:$COUNT"
if [ "$COUNT" -gt 20 ]; then echo "建议人工确认后再处理;先别自动重启。"; fi
EOF
chmod +x check_aiops.sh && ./check_aiops.sh
为什么这么做:启用 Logging/Monitoring,建 ERROR 日志指标,再用脚本数最近 10 分钟错误。脚本只提示、不重启,等于把固定脚本接到指标与人工审批之间;看懂曲线后,再在 Monitoring 给 aiops_simple_error_count 加图表或告警。
- 坑:没绑结算账号会启用失败;选错项目数据会跑偏;别给脚本 Owner,先给只读权限。
- 坑:命令里的 limit=100 只是演示上限,不是全量;上线前设预算提醒、确认日志保留期,避免账单突然变多。
最佳实践:先安全,再自动化
做 ai自动化运维,第一步不是让 AI 立刻动手,而是先把每条动作贴标签:只通知、需审批、可自动执行。只通知负责发消息、写日志;需审批放重启、扩容;可自动执行只放只读检查、打标签这类低风险动作。删除 VM、磁盘、存储桶,以及修改 IAM 权限,必须默认关闭。因为 AI 也会误判,权限给大了,一次错判就可能变成真事故。
mkdir -p "$HOME/aiops-safe/logs"
printf '%sn'
'default_action: notify_only'
'levels:'
' notify_only: [发告警, 写日志]'
' need_approval: [重启测试VM, 扩容副本]'
' auto_execute_safe: [只读检查, 打标签]'
'forbidden_by_default: [删除VM磁盘桶, 修改IAM权限]'
'target_env: vm-test-01'
> "$HOME/aiops-safe/policy.yaml"
printf '%sn' vm-test-01 127.0.0.1 > "$HOME/aiops-safe/whitelist.txt"
printf '%sn'
'#!/usr/bin/env bash'
'set -euo pipefail'
'BASE="$HOME/aiops-safe"'
'TIMEOUT=10'
'MAX_RETRIES=2'
'ROLLBACK_CMD="echo 回滚:恢复上一版配置"'
'STATE="$BASE/last_run"'
'now=$(date +%s)'
'last=0'
'if [ -f "$STATE" ]; then last=$(cat "$STATE"); fi'
'if [ "$((now - last))" -lt 60 ]; then echo "60秒内已处理,跳过"; exit 0; fi'
'echo "$now" > "$STATE"'
'check_host() { timeout "$TIMEOUT" printf "只读检查 %s: OKn" "$1"; }'
'cat "$BASE/whitelist.txt" | while read -r host; do'
' retry=0'
' until check_host "$host"; do'
' retry=$((retry+1))'
' if [ "$retry" -ge "$MAX_RETRIES" ]; then echo "重试达上限,人工接管"; break; fi'
' sleep 1'
' done'
'done'
'echo "演练完成;回滚命令:$ROLLBACK_CMD"'
'echo "$(date -Is) dry-run 完成" >> "$BASE/logs/exec.log"'
> "$HOME/aiops-safe/healthcheck.sh"
bash -n "$HOME/aiops-safe/healthcheck.sh"
bash "$HOME/aiops-safe/healthcheck.sh"
上面会在你的家目录建一个安全演练目录,不碰生产资源。脚本里写死了超时、重试上限、白名单、回滚命令和 60 秒防抖;看到“60秒内已处理,跳过”不是报错,正是为了避免一次告警引发连环重启。
- 小白坑:别把 AI 的“建议清理”当成“自动删除”,也别一上来给服务账号项目级大权限。
- 小白坑:白名单只写明确机器名,别写通配符,更不要把外部输入直接拼进命令。
- 为什么:超时防卡死,重试上限防无限循环,白名单防误扫生产,回滚命令让失败后能恢复。
- 为什么:示例回滚只是打印提示,真实环境要换成提前备份、验证过的恢复命令。
接着只用测试 VM 演练故障:先跑只读检查,连续观察 24 小时,确认 CPU、磁盘、延迟等告警阈值不会误报,再推广到生产环境;生产先设成“需审批”。新手常把测试环境阈值直接照搬,结果发版、备份、批处理一来就误报。
mkdir -p "$HOME/aiops-safe/logs"
touch "$HOME/aiops-safe/policy.yaml" "$HOME/aiops-safe/logs/exec.log"
cp "$HOME/aiops-safe/policy.yaml" "$HOME/aiops-safe/policy.yaml.bak"
printf '%sn' "old-rule-demo: notify_only" >> "$HOME/aiops-safe/policy.yaml"
grep -v "old-rule-demo" "$HOME/aiops-safe/policy.yaml" > "$HOME/aiops-safe/policy.clean.yaml"
mv "$HOME/aiops-safe/policy.clean.yaml" "$HOME/aiops-safe/policy.yaml"
tail -n 50 "$HOME/aiops-safe/logs/exec.log"
printf '%sn'
'每月检查:'
'1. 看执行日志和 GCP 控制台的结算、预算页,对比费用是否突增'
'2. 连续 30 天只通知、无人处理的规则,先备份再下线'
'3. 人工接管:重试达上限、白名单外主机、涉及删除或改 IAM、费用异常、回滚失败'
'4. 值班同学必须知道谁审批、谁回滚、在哪里看日志'
> "$HOME/aiops-safe/monthly-review.txt"
cat "$HOME/aiops-safe/monthly-review.txt"
echo "费用检查:打开 GCP 控制台 - 结算 - 预算与提醒"
每月定期查看执行日志和费用,删掉无效规则;上面演示的是从本地规则文件移除示例规则,不是删云资源。规则越堆越多、费用突然变高,常来自半夜反复重启、日志暴涨或 API 调用过多。团队还要写清何时必须人工接管,否则机器人做了什么,没人能第一时间接手。
常见问题(FAQ)
ai自动化运维会自己改坏服务器吗?
有可能,所以先用只读权限、模拟运行和审批,再开放自动修复。
小白需要会写代码吗?
不必,先学 GCP 控制台、告警策略和简单 gcloud 命令即可。
先从哪类任务开始?
从只发通知、检查磁盘、重启单个服务这类低风险任务开始。
和传统脚本有什么区别?
ai自动化运维会结合指标、日志、权限和记录形成闭环。
不想自己折腾 GCP?我们提供云平台代维护、上云迁移与账单代付服务,一对一技术支持。
