原创 基于 Grafana LGTM 可观测平台的构建

原标题：基于 Grafana LGTM 可观测平台的构建

% q* ?4 n; k! W7 C6 [: n

可观测性目前属于云原生一个比较火的话题，它涉及的内容较多，不仅涉及多种遥测数据（信号），例如日志（log）、指标(metric)、分布式追踪（trace）、连续分析(continuous profiling)、 事件（event）；还涉及遥测数据各生命周期管理，比如暴露、采集、存储、计算查询、统一看板。

' `6 O( d; g# u# y0 v

目前社区相关开源产品较多，各有各的优势，今天我们就来看看如何使用 Grafana LGTM 技术栈（Grafana、Loki、Tempo、Mimir）快速构建一个自己的可观测性平台。

通过本文你将了解：

如何在 Go 程序中导出 metric、trace、log、以及它们之间的关联 TraceID

5 \" P, Z- o Z: b

如何使用 OTel Collector 进行 metric、trace 收集

如何使用 OTel Collector Contrib 进行日志收集

' B/ }. t. @' d' r/ W

如何部署 Grafana Mimir、Loki、Tempo 进行 metric、trace、log 数据存储

$ D/ A' l0 z* K6 U

如何使用 Grafana 制作统一可观测性大盘

为了本次的教学内容，我们提前编写了一个 Go Web 程序，它提供 /v1/books 和 /v1/books/1 两个 HTTP 接口。

4 P" K5 Y, Q+ H# W

当请求接口时，会先访问 Redis 缓存，如果未命中将继续访问 MySQL；整个请求会详细记录相关日志、整个链路各阶段调用情况以及整体请求延迟，当请求延迟 >200ms 时，会通过 Prometheus examplar 记录本次请求的 TraceID，用于该请求的日志、调用链关联。

. X" u S1 y& W6 p5 z

下载并体验样例

我们已经提前将样例程序上传到 github，所以您可以使用 git 进行下载：

( x6 \8 l7 Q8 }6 T6 ^% t7 N0 }

git clone https://github.com/grafanafans/prometheus-exemplar.git

7 ] T3 O8 |4 m# Q; y5 b6 j

cd prometheus-exemplar

( e K+ q* ^) d- p C. G D+ r

使用 docker-compose 启动样例程序:

docker-compose up -d

这个命令会启动以下程序：

使用单节点模式分别启动一个 Mimir、Loki、Tempo

启动一个 Nginx 作为统一可观测平台查询入口，后端对接 Mimir、Loki、Tempo

启动 demo app, 并启动其依赖的 MySQL 和 Redis， demo app 可以使用 http://localhost:8080 访问

: W+ a- z7 N+ c

启动 Grafana 并导入预设的数据源和 demo app 统一看板，可以使用 http://localhost:3000 访问

整个部署架构如下：

6 ?; a' I! e1 H

当程序部署完成后，我们可以使用 wrk 进行 demo app 接口批量请求：

wrk http://localhost:8080/v1/books

9 [/ f ~, T5 i5 w- N; y0 r) }

wrk http://localhost:8080/v1/books/1

最后通过 http://localhost:3000 页面访问对应的看板：

+ E) N$ K' V- H, U* Z( F

细节说明

/ n p0 n( o2 ~: b& D

使用 Promethues Go SDK 导出 metrics

在 demo app 中，我们使用 Prometheus Go SDK 作为 metrics 导出，这里没有使用 OpenTelmetry SDK 主要因为当前版本（v0.33.0）还不支持 exemplar， 代码逻辑大致为：

. g2 }* e9 h$ @) O$ k

func Metrics(metricPath string, urlMapping func(string) string) gin.HandlerFunc <{p> httpDurationsHistogram := prometheus.NewHistogramVec(prometheus.HistogramOpts<{p> Name: "http_durations_histogram_seconds",

+ n6 P! X% m( Q, T

Help: "Http latency distributions.",

/ k" M/ q3 O; v @5 d

Buckets: []float64{0.05, 0.1, 0.25, 0.5, 1, 2},

}, []string{"method", "path", "code"})

prometheus.MustRegister(httpDurationsHistogram)

, s8 V0 l. }/ [

return func(c *gin.Context) <{p> .....

7 Q0 r* w" A# {' o; ]

observer := httpDurationsHistogram.WithLabelValues(method, url, status)

observer.Observe(elapsed)

, U( S; h0 [, C3 [& r

if elapsed > 0.2 <{p> observer.(prometheus.ExemplarObserver).ObserveWithExemplar(elapsed, prometheus.Labels<{p> "traceID": c.GetHeader(api.XRequestID),

6 J9 k7 F, C4 y3 G3 k

})

, x, V t2 b; ^/ h( Q1 V, @$ i% H

}

}

! t! B; n- ?- Y

}

使用 OTLP HTTP 导出 traces

7 Z/ R# @4 u: b5 d: T' S

使用 OTel SDK 进行 trace 埋点：

func (*MysqlBookService) Show(id string, ctx context.Context) (item *Book, err error) <{p> _, span := otel.Tracer().Start(ctx, "MysqlBookService.Show")

b$ N1 f6 g% Q3 p

span.SetAttributes(attribute.String("id", id))

defer span.End()

// mysql qury random time duration

time.Sleep(time.Duration(rand.Intn(250)) * time.Millisecond)

err = db.Where(Book{Id: id}).Find(&item).Error

% _, K: f4 A$ t: S0 n" N

return

4 J- R" f j" V1 m

}

& `$ k( Z0 h: h7 M j* F! u( B

使用 OLTP HTTP 进行导出：

9 ` K, Y' y B8 K

func SetTracerProvider(name, environment, endpoint string) error <{p> serviceName = name

client := otlptracehttp.NewClient(

otlptracehttp.WithEndpoint(endpoint),

otlptracehttp.WithInsecure(),

)

# m6 B \# D! ^1 e O% ?

exp, err := otlptrace.New(context.Background(), client)

if err != nil <{p> return err

}

tp := tracesdk.NewTracerProvider(

tracesdk.WithBatcher(exp),

: f+ z8 I8 A6 {7 i

tracesdk.WithResource(resource.NewWithAttributes(

/ {7 E. [ G6 k9 @! e

semconv.SchemaURL,

semconv.ServiceNameKey.String(serviceName),

attribute.String("environment", environment),

8 r$ G. e$ O3 A4 ]+ C2 l6 w

)),

, g0 R; w; ~4 W2 v+ q0 w

)

- E/ Z" x: c/ y3 N' J

otel.SetTracerProvider(tp)

return nil

# v6 S8 D H. e1 E% L

}

结构化日志

7 j. ]3 h# g) r7 q

这里我们使用 go.uber.org/zap 包进行结构化日志输出，并输出到 /var/log/app.log 文件，每个请求开始时，注入 traceID：

cfg := zap.NewProductionConfig()

cfg.OutputPaths = []string{"stderr", "/var/log/app.log"}

& U/ E$ y2 V: k% y2 |% Z

logger, _ := cfg.Build()

& L( ?3 J! f/ h4 u+ k

logger.With(zap.String("traceID", ctx.GetHeader(XRequestID)))

* ]9 Z3 l( R2 x4 ~6 I) q$ U

使用 OTel Collector 进行 metric、trace 收集

+ @, u/ b- z5 Y! L* c% A

因为 demo app 的 metrics 使用 Prometheus SDK 导出，所以 OTel Collector 需要使用 Prometheus recevier 进行抓取，然后我们再通过 Prometheus remotewrite 将数据 push 到 Mimir。

针对 traces，demo app 使用 OTLP HTTP 进行了导出，所有 Collector 需要用 OTP HTTP recevier 进行接收，最后再使用 OTLP gRPC 将数据 push 到 Tempo，对应配置如下：

receivers:

otlp:

& q+ b/ e" q6 A

protocols:

grpc:

! j' t6 d$ O) O

http:

prometheus:

! u: Q9 N6 J4 x5 W3 Z$ x8 W+ m" F! w

config:

& z$ F( b4 v# g2 o+ U

scrape_configs:

5 L: t1 N, _/ N

- job_name: app

3 y, o+ W o6 {2 B; d

scrape_interval: 10s

1 Q6 W v% g+ B S

static_configs:

" d/ b/ K2 ?) e( c6 w

- targets: [app:8080]

) N- W& `5 a9 R! Y" T, O

exporters:

otlp:

endpoint: tempo:4317

tls:

insecure: true

prometheusremotewrite:

6 J' Y, N& `! p3 e) F$ w: ?

endpoint: http://mimir:8080/api/v1/push

tls:

2 ^6 p) o7 G: G5 w

insecure: true

/ x; Z ~: [# ~$ e3 c6 s+ f: t% U

headers:

X-Scope-OrgID: demo

% _. [. c: x6 V

processors:

batch:

/ D3 Z9 B3 i4 B! Q; K4 U

service:

+ f* n; M2 y- \1 t) R

pipelines:

* q; f- z& @3 q* A4 T/ U) T

traces:

u6 }0 \/ X# `* ]8 j

receivers: [otlp]

processors: [batch]

7 a) E a! q8 R M5 f- U; J' }

exporters: [otlp]

3 }, n7 F& C* K8 T0 B4 s

metrics:

$ n% C! Z. _0 i5 C, z% I0 R% V

receivers: [prometheus]

* ~4 Z( P. p' K F

processors: [batch]

exporters: [prometheusremotewrite]

9 l- q5 z- m. n' _0 g9 C

使用 OTel Collector Contrib 进行 log 收集

9 O7 g9 f! h6 o- }$ O* w0 ~

因为我们结构化日志输出到了/var/log/app.log 文件，所以这里使用 filelog receiver 进行最新日志读取，最后再经过loki exporter 进行导出，配置如下：

" f- ]1 {$ H% z: F& h; ^

receivers:

filelog:

7 T8 h7 G+ t3 A( g9 b ^

include: [/var/log/app.log]

exporters:

loki:

endpoint: http://loki:3100/loki/api/v1/push

a+ X. r% E: k3 {1 @

tenant_id: demo

labels:

: f Z6 i# }% l) _; \

attributes:

log.file.name: "filename"

7 `% g8 c* f* L/ F) u' w4 r6 Y9 j

processors:

batch:

service:

pipelines:

logs:

receivers: [filelog]

# O( `9 E8 Z( [3 F) C; u+ @4 ~

processors: [batch]

exporters: [loki]

: }* i: r) n1 N0 t; |' z! h& a2 T* {

以上就是有关 demo app 可观测性与 Grafana LGTM 技术栈集成的核心代码与配置，全部配置请参考 https://github.com/grafanafans/prometheus-exemplar 。

. Z h- S6 _3 r6 U$ |

总结

9 b6 q5 y( k3 G: `

本文我们通过一个简单的 Go 程序，导出了可观测性相关的遥测数据，其中包括 metrics、traces、logs, 然后统一由 OTel Collector 进行抓取，分别将三种遥测数据推送到 Grafana 的 Mimir、 Tempo、Loki 进行存储，最后再通过 Grafana 统一看板并进行 metrics、traces、logs 关联查询。

这里关联的逻辑为使用 Prometheus 的 exemplar 记录采样对应的 traceID，然后通过该 traceID 进行相关日志和 trace 查询。返回搜狐，查看更多

" J! C4 R, r4 q: d; V& T. C * a j5 \4 V) ~3 y. [8 P7 E

责任编辑：

9 k0 S5 A" w: \