+86 189 8218 1436Mon. - Fri. 10:00-22:00

GCP监控Stackdriver 统一GCP与AWS的监控与Log日志服务

GCP监控Stackdriver 统一GCP与AWS的监控与Log日志服务
Posted in: GCP谷歌云服务器代维护, Google谷歌GCP云服务器代维护服务, Google谷歌GCP云服务外包, Google谷歌GCP企业支持外包, Google谷歌GCP技术支持服务, Google谷歌GCP服务器代维外包 Started by

GCP监控Stackdriver 统一GCP与AWS的监控与Log日志服务

cover-1024x479

您的GCP监控好伙伴– Stackdriver!

Google  Stackdriver  它提供了rich dashboards, 监控, 警告, log 纪录分析, 追踪(tracing), 错误回报(error reporting)及生产环境除错(production debugging) ,是一个跨足了GCP 及AWS 的统一性服务。Stackdriver 有效地大幅减少团队在生产时花费的寻找错误及修复错误的时间。本篇介绍Stackdriver的好处以及其计价方式:

  • • 整合GCP与AWS的统合介面
  • • 多项GCP原生整合功能
  • • 帮您快速发现并修复问题
  • •  Stackdriver计价方式

整合GCP 与AWS 的统合介面

针对同时使用GCP 与AWS 作为混合云策略的团队,Stackdriver 提供了原生监控(native monitoring)、log纪录以及错误回报。藉由Stackdriver,仅以一个dashboard 就可监控application的状态

stackdriver-10-1024x457
stackdriver-dashboard

同样地,当有丛集达到设计的最大容纳量(capacity)时,可以设定警告(alerting)作为提醒。在简单的介面上,就可以寻找AWS EC2 错误与log 纪录。

stackdriver-13
stackdriver-logs

最后, 当新的错误被侦测于任一application 的时候,Stackdriver 会寄出错误报表(error reports)。

stackdriver14-1024x589
stackdriver-error-reports

多项GCP 原生整合功能

Stackdriver 除了可适用于各项开源套件(open source packages)外,也整合了GCP 本身的各项服务。Compute Engine, App Engine, Container Engine, BigQuery, Cloud Pub/Sub, Cloud Storage 及Cloud Datalab 等。

帮您快速发现并修复问题

Stackdriver 可以省去利用过多的工具就可判断问题。多数客户会使用超过5 种完全独立的工具来处理这些问题是很花时间的。不过在Stackdriver 上,利用简单的summary dashboard 就可以做到一览无遗(at-a-glance view)的好处。这样的可视化介面提供了各项metrix,如您的云端平台、系统agent (system agents)、系统运作时间的监测(uptime checks)以及log 纪录等。此外还可以选择触发警告的政策项目,如URL 错误、系统运作时间以及延迟时间(latency)等。顺带一提,Stackdriver 为了更有效率地发现并修复错误,也整合了PagerDuty 和Slack 等通讯软体作为即时回应。

stackdriver-summary-dashboard-1024x540
stackdriver-summary-dashboard

Stackdriver 以Log累积使用容量计价

Stackdriver Logging

•  每个月给予一个project 50GB的免费使用量,每1GB的用量0.5美金,Log 资料会保留30天,假如需要保留30天之前的资料,可以export资料至storage或是BigQuery。
•   Cloud Audit Logging  包括Admin activity logs以及Data Access logs是预设开启的并不会收费。
     •   Admin activity logs (更改resources的metadata以及设定)会保留400天
     •   Data Access logs (新增、修改、读取user-provided data)会保留30天。

Stackdriver Monitoring

•   GCP Metrics 免费
•非GCP Metrics(  Agent Metrics ,  Custom Metrics ,  Logs-based Metrics ,  AWS Metrics )有150 MB的免费使用量,单位级距计费资料保留六周。
     •   $0.2580/MB: 150–100,000MB
     •   $0.1510/MB: 100,000–250,000MB
     •   $0.0610/MB: > 250,000MB

•   Monitoring API Write time series data免费
• API Read前一百万次免费,之后每1000个API calls以0.01美金计价,资料保留六周。

GCP Stackdriver 全新计价方式详细

全新计价方式:以Log累积使用容量计价

Stackdriver Logging

•  每个月给予一个project 50GB的免费使用量,每1GB的用量0.5美金,Log 资料会保留30天,假如需要保留30天之前的资料,可以export资料至storage或是BigQuery。
•   Cloud Audit Logging  包括Admin activity logs以及Data Access logs是预设开启的并不会收费。
     •   Admin activity logs (更改resources的metadata以及设定)会保留400天
     •   Data Access logs (新增、修改、读取user-provided data)会保留30天。

Stackdriver Monitoring

•   GCP Metrics免费
•非GCP Metrics( Agent Metrics , Custom Metrics , Logs-based Metrics , AWS Metrics )有150 MB的免费使用量,单位级距计费资料保留六周。
     •   $0.2580/MB: 150–100,000MB
     •   $0.1510/MB: 100,000–250,000MB
     •   $0.0610/MB: > 250,000MB

•   Monitoring API Write time series data免费
• API Read前一百万次免费,之后每1000个API calls以0.01美金计价,资料保留六周。

Stackdriver Trace:2018/09/30 开始生效

•   Stackdriver Trace ingestion:250万个spans免费额度,之后计价$0.20/million spans
•   Stackdriver Trace retrieval:2500万个spans免费额度,之后计价$0.02/million spans

提供四种参数作为计算价格的标准

1. Resource数量
2. Metrics数量
3.是否为GCP Metrics
4.写入Metrics的频率

【范例1】

现在有一个专案里面有1000个resources,只有GCP metrics,metrics 写入data 的频率为1 分钟1 次。

1个月有43,800分钟* 1个metric大约为8bytes = 350,400 bytes相当于0.33416748MB (1个月1个metric的使用量)

0.33416748MB * 75000个metrics = 25,063MB (月使用量)

150 MB(免费额度)*0 + (25,063-150MB)* $0 = $0 (每月的花费,因为GCP metrics不用收费)

【范例2】

现在有一个专案里面有1000个resources,每个resource 有75 个non-GCP metrics,metrics 写入data 的频率为1 分钟1 次。

1个月有43,800分钟* 1个metric大约为8bytes = 350,400 bytes相当于0.33416748MB (1个月1个metric的使用量)

0.33416748MB * 75000个metrics = 25,063MB (月使用量)

150 MB(免费额度)*0 + (25,063-150MB)* $0.2580 = $6,427.55(每月的花费)

【范例3】

现在有一个专案里面有1000个resources,每个resource 有75 个non-GCP metrics,metrics 写入data 的频率为1 小时1 次。

0.005569458MB(一个metric 的月使用量) * 75000个metrics =418 MB (月使用量)

150 MB(免费额度)*0 + (267-150MB)* $0.2580 = $69.14(每月的花费)

【范例4】

现在有一个专案里面有1 个resource,每个resource 有500,000 个non-GCP metrics,metrics 写入data 的频率为1 分钟1 次。

0.33416748MB (1个月1个metric 的使用量) * 75000个metrics = 167,084MB (月使用量)

150 MB(免费额度)*0 + (100,000- 150MB)* $0.2580 +(167,084-67,084MB)* $0.151 = $35,890.98(每月的花费)

 

在Windows/Linux 上安装Stackdriver agent,并新增Alert Policy

本篇文章将以「monitoring」、「logging」为分类,逐步教学如何在Windows 及Linux 上安装Stackdriver agent,以及如何在Stackdriver 上新增快讯政策(Alert Policy)。

在Windows 上安装Stackdriver agent

Stackdriver monitoring on Windows:

  1. RDP 连进Windows server
  2. 若有使用HTTP proxy,须先以administrator 身份执行以下指令以设定http_proxy 环境变数:(假设HTTP proxy 位址为YOUR-PROXY)
  3. setx http_proxy http://YOUR-PROXY /m
  4. https://repo.stackdriver.com/windows/StackdriverMonitoring-GCM-46.exe下载并安装agent installer

注:参考文件

Stackdriver logging on Windows:

  1. RDP 连进Windows server
  2. 若有使用HTTP proxy,须先以administrator 身份执行以下指令以设定http_proxy 环境变数:(假设HTTP proxy 位址为YOUR-PROXY)
  3. setx http_proxy http://YOUR-PROXY /m
  4. https://dl.google.com/cloudagents/windows/StackdriverLogging-v1-8.exe下载安装档,并将档案搬移到C:\Users[USERNAME] (假设登入使用者名称为USERNAME),搬移后执行安装档

注:参考文件

在Linux 上安装Stackdriver agent

Stackdriver monitoring on Linux server:

  1. 执行下列指令:
    curl -sSO https://dl.google.com/cloudagents/install-monitoring-agent.sh
    sudo bash install-monitoring-agent.sh
    
  2. 如果有使用HTTP proxy,则需额外将Stackdriver 的设定档中的PROXY_URL 修改为您的HTTP proxy URL

(1) Debian / Ubuntu设定档位置在/etc/default/stackdriver-agent (2) Amazon Linux / Red Hat / CentOS设定档位置在/etc/sysconfig/stackdriver (3)修改设定档后需以以下指令重启agent:

sudo service stackdriver-agent restart

注:参考文件

Stackdriver logging on Linux server:

执行下列指令即可:

curl -sSO "https://dl.google.com/cloudagents/install-logging-agent.sh"
sudo bash install-logging-agent.sh

参考文件

新增快讯政策(Alert Policy)

点选左边导览列的Alerting → Create a Policy,选取新增判断方式。1-2

 

2-2

选取要监控resource type 以及metric。

3-2

这边以BigQuery 的Query 次数为例。

4-2

5-2

设定完参数后,点选储存。

新增Monitoring Chart

Chart 可以显示任何使用者project 收集到的metrics,包括custom metrics。在新增Chart 之前需要先确认使用者有roles/monitoring.editor 的IAM 权限。

先创立一个新的Dashboard。
6-2

 

点选位于右上角的Add Chart。
7-2

输入chart 的名称并选取监控的metrics,这边以GCE VM instance 的CPU usage 为例。
8-2

点选Save 即创建完毕。
9-1

新增Uptime Checks

左边导览列选取Uptime Checks → Uptime Checks Overview。
10-1

选取右上角的Add Uptime Check。
11-1

填入Uptime Check 的格式。
12-1

填写完毕后按Save 即新建完毕,创建完毕后需要等待一段时间才会开始有数据。并且可以针对该Uptime Check 设定Alert Policy,只需要点选右边的铃铛即可。
13-1