云原生可观测-日志观测（Loki）最佳实践

一、Loki 简介

云原生可观测三大支柱

支柱 工具 用途 Metrics Prometheus 性能趋势、系统负载 Logs Loki 原始事件记录、错误诊断 Traces Tempo / Jaeger 分布式链路追踪

一、Loki 简介

1.1 Loki 是什么

Loki 是由 Grafana Labs 开发的 日志聚合系统，与 Prometheus 架构一致，主打“标签驱动（label-based）日志管理”，并与 Grafana 紧密集成。

1.2 Loki 的优势：

• 类似 Prometheus 的标签模型。

• 不做全文索引，成本低。

• 与 Promtail、Grafana 紧密协作。

• 支持结构化日志查询与聚合分析。

---

二、Loki 架构与组件

2.1 架构示例

 +-------------+ | Grafana |  LogQL 查询 +------+------+ | +-----v-----+ +-----------------+  | Loki |<--| Object Storage |  +-----+-----+ +-----------------+  ^ +--------+--------+ | Promtail / Fluentbit | +--------------------+

2.2 Loki 模块角色

组件 说明 Promtail 日志收集 Agent，自动附加 Kubernetes 标签 Loki 存储、索引日志元数据，只索引 Labels Grafana 可视化查询，支持 Metrics + Logs 联动 Ruler 告警规则引擎（LogQL-based alert）

 

---

三、日志采集与标签管理最佳实践

3.1 推荐采集方式

• Kubernetes 场景推荐使用 Promtail DaemonSet，读取：

  /var/log/pods/_/*.log

3.2 标签管理策略（重点 🔥）

建议标签选择的三原则：

• 低基数：如 namespace, app, pod, container。

• 稳定性：避免标签频繁变动，如动态 IP。

• 唯一性避免：不要将 trace_id 作为标签！

配置示例（Promtail）：

pipeline_stages: - docker: {} - labels: job: my-app environment: production

---

四、LogQL 查询实践

4.1 基础语法

{job=\"nginx\"} |= \"error\"

• {...}：标签过滤（必须）

• |= \"xxx\"：精确包含

• |~ \"xxx\"：正则匹配

• !=, !~：负向过滤

4.2 聚合语法

count_over_time({job=\"api\"} |= \"timeout\" [5m])

聚合函数列表：

函数 说明 count_over_time 日志数量统计 rate 日志行的变化速率（类似 Prometheus） avg_over_time 提取数字后的平均值（结合 line_format） sum by (...) 标签维度聚合

 

---

4.3 结构化日志解析

{app=\"svc\"} | json | level=\"ERROR\" and request_id!=\"null\"

或者使用正则提取：

{app=\"svc\"} |~ \"(?P\\\\d{3}) (?P/api/[^ ]+)\"

---

五、告警策略与 LogQL

Loki 支持通过 Ruler + Alertmanager 进行日志级别的告警设置。

5.1 规则示例（YAML）

groups:- name: error-alerts rules: - alert: HighErrorRate expr: | rate({app=\"nginx\"} |= \"error\" [5m]) > 10 for: 1m labels: severity: critical annotations: summary: \"High error rate detected\"

5.2 告警推荐实践

• 告警表达式尽量使用 rate，避免瞬时波动。

• 尽量避免基于高基数字段告警。

---

六、Grafana 可视化与联动

6.1 日志 → 指标 → Trace 的联动

• 在日志行中提取 trace_id，实现与 tracing系统 的点击跳转。

• 通过 Explore 标签页可按 TraceID 聚合多维度观测。

6.2 日志仪表板设计建议

面板类型 示例内容 表格面板 最近 N 条错误日志 时间序列图 error 频次  直方图 各服务日志量分布 链接跳转 指向 Trace 或外部监控平台

 

---

七、性能优化建议

7.1 采集优化

• 控制 scrape_interval，避免 Promtail 频繁读取。

• 开启 batchsize, batchwait 进行日志缓冲。

7.2 存储优化

• 使用 MinIO / S3 存储 Chunk，减少本地磁盘压力。

• 配置 retention 自动清理历史日志（如 7 天）。

7.3 查询优化

• 控制查询时间窗口，避免 [1h] 级别的大窗口。

• 使用 label_values 或 metric name 缩小搜索空间。

---

八、示例场景汇总（最佳实践）

场景 查询语句 统计每分钟内 error 次数 rate({app=\"web\"} 查询最近 10 分钟内返回 500 的请求日志 {status=\"500\"} 提取 json 字段中 level=ERROR {app=\"svc\"} 按 pod 维度聚合异常日志速率 sum by(pod) (rate({app=\"api\"} trace_id 跳转 {job=\"frontend\"}

 

---

九、总结：Loki + LogQL 的可观测性价值

能力 实现 低成本日志存储 仅索引标签，不做全文索引 标签驱动的快速查询 类似 Prometheus 的语法体验 与指标/链路天然融合 与 Prometheus / skywarking等配合打造统一观测平台 结构化日志支持好 支持 JSON/正则解析字段 易于扩展与高可用部署 Helm + Shipper + ObjectStore 架构可弹性部署

 

资料：

LogQL: Log query language | Grafana Loki documentation