Prometheus优化指南：如何提升系统性能

一. 优化数据存储

1. 配置数据保留策略

--storage.tsdb.retention.time=7d
通过将数据保留时间从15天缩短到7天，可以显著减少存储的占用。对于长期数据存储，可以考虑将数据转储到远程存储系统，如 Thanos 或 Cortex，它们能够提供更高效的数据存储和压缩机制。
2. 调整块大小
Prometheus 的时序数据库通过块（blocks）来存储数据，默认每个块持续2小时的数据。可以根据具体环境调整块的大小，以平衡查询性能和存储效率。

--storage.tsdb.min-block-duration=2h

二. 降低采集频率

1. 调整抓取间隔

scrape_interval: 30s
适当延长 scrape_interval 可以降低对 Prometheus 服务和被监控服务的压力。

scrape_configs:
  - job_name: 'service_A'
    scrape_interval: 10s
  - job_name: 'service_B'
    scrape_interval: 1m
为重要服务设置较短的抓取间隔（例如10秒），而对于较少变动的服务，可以设置较长的抓取间隔（如1分钟）。

三. 精简标签和指标

1. 控制标签数量

2. 避免高基数标签

高基数标签（例如 user_id 或 session_id）会显著增加指标的基数。尽量避免将这些高基数的标签加入监控数据中。

例如，不要将用户ID这样的动态值直接作为标签：

request_count{user_id="12345"}  # 避免此类标签
可以使用其他方式统计用户行为，而不是直接通过标签记录每个用户的ID。

四. 优化查询性能

1. 使用时间范围限制查询

rate(http_requests_total[5m])  # 使用指定时间范围的查询
尽量避免使用像 rate(http_requests_total) 这样的无时间范围的查询，这会导致 Prometheus 必须扫描所有数据。

2. 避免重复的子查询

sum(rate(http_requests_total[1m])) by (job)
尽量使用简单的聚合函数，而不是多层的查询嵌套。

3. 使用远程查询

对于一些历史数据的查询，可以考虑使用远程存储后端，如 Thanos 或 Cortex。这些系统支持分布式查询和存储，并且能够处理大规模的查询请求，而不会过载 Prometheus 实例。

五. 分片和高可用

1. Prometheus 分片

sum(rate(http_requests_total[1m])) by (job)scrape_configs:
  - job_name: 'node'
    file_sd_configs:
    - files:
      - /etc/prometheus/node/*.yml
    relabel_configs:
    - source_labels: [__address__]
      modulus:       2
      target_label:  __tmp_hash
      action:        hashmod
    - source_labels: [__tmp_hash]
      regex:         ^0$
      action:        keepscrape_configs:
  - job_name: 'node'
    file_sd_configs:
    - files:
      - /etc/prometheus/node/*.yml
    relabel_configs:
    - source_labels: [__address__]
      modulus:       2
      target_label:  __tmp_hash
      action:        hashmod
    - source_labels: [__tmp_hash]
      regex:         ^0$
      action:        keep
2. 高可用 Prometheus高可用模式下，可以运行多个 Prometheus 实例同时采集相同的数据，并通过负载均衡来分担查询压力。这不仅提升了系统的健壮性，还能分担查询负载。

六. 优化告警规则

1. 减少告警规则的复杂性

2. 使用外部告警系统