使用 Grafana 堆栈的分布式可观测性架构
作者:Portelcore 团队 目标:我们的目标是使用 Grafana、Mimir、Loki、Tempo 和 Alloy 部署一个完整的可观测性环境……
作者:Portelcore 团队 目标:我们的目标是使用 Grafana、Mimir、Loki、Tempo 和 Alloy,在 Ubuntu 24.04 LTS 上部署一个完整的可观测性环境,以摄取并分析 Web 应用(WordPress)的指标、日志和链路追踪。
我们有 3 台 Ubuntu 24.04 LTS 服务器,具有以下角色:
| 服务器 | 角色/服务 | IP 地址 |
|---|---|---|
| 服务器 1(后端) | Mimir(指标)+ Loki(日志)+ Tempo(追踪) | 172.20.0.151 |
| 服务器 2(前端) | Grafana(可视化 UI 界面) | 172.20.0.166 |
| 服务器 3(应用/代理) | Web 服务器(WordPress)+ Grafana Alloy(代理) | 172.20.0.176 |
阶段 0:初始准备(在 3 台服务器上)
Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»在开始之前,我们必须在三个服务器上运行这些命令,以确保系统已更新、时区正确且具备必要的工具。
sudo apt update && sudo apt upgrade -ysudo timedatectl set-timezone Europe/Madridsudo apt install curl wget unzip nano -y阶段1:后端服务器(Mimir、Loki和Tempo)
Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»我们将在服务器 1(172.20.0.151)上执行
该服务器将接收代理发送的所有数据。为了以专业方式管理它们,我们将创建 systemd 服务,使其在后台运行并在系统启动时自动启动。
1.1 指标采集:Grafana Mimir(端口9009)
Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»- 下载并安装二进制文件:
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64chmod +x mimir-linux-amd64sudo mv mimir-linux-amd64 /usr/local/bin/mimir- 创建配置和目录:
sudo mkdir -p /etc/mimirsudo mkdir -p /var/lib/mimir/blockssudo mkdir -p /var/lib/mimir/compactorsudo nano /etc/mimir/mimir.yaml我们将以下内容粘贴到 mimir.yaml 中:
multitenancy_enabled: false
server: http_listen_port: 9009 grpc_listen_port: 9096
blocks_storage: backend: filesystem filesystem: dir: /var/lib/mimir/blocks
ingester: ring: replication_factor: 1 kvstore: store: inmemory
compactor: data_dir: /var/lib/mimir/compactor- 为Mimir创建Systemd服务:
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF[Unit]Description=Grafana MimirAfter=network.target
[Service]ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.2 日志采集:Grafana Loki(端口3100)
Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»- 下载并安装二进制文件:
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zipunzip loki-linux-amd64.zipchmod +x loki-linux-amd64sudo mv loki-linux-amd64 /usr/local/bin/loki- 创建配置和目录:
sudo mkdir -p /etc/lokisudo mkdir -p /var/lib/loki/chunkssudo mkdir -p /var/lib/loki/rulessudo nano /etc/loki/loki.yaml我们将以下内容粘贴到 loki.yaml 中:
auth_enabled: false
server: http_listen_port: 3100 grpc_listen_port: 9097
common: path_prefix: /var/lib/loki storage: filesystem: chunks_directory: /var/lib/loki/chunks rules_directory: /var/lib/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
schema_config: configs: - from: 2026-01-01 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h- 为Loki创建Systemd服务:
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF[Unit]Description=Grafana LokiAfter=network.target
[Service]ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.3 跟踪采集:Grafana Tempo(端口3200)
Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»- 下载并安装二进制文件(固定到稳定版本v2.10.1):
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gztar -xvzf tempo_2.10.1_linux_amd64.tar.gzsudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/temposudo chmod +x /usr/local/bin/tempo- 创建配置和目录:
sudo mkdir -p /etc/temposudo mkdir -p /var/lib/tempo/tracessudo nano /etc/tempo/tempo.yaml我们将以下内容粘贴到 tempo.yaml 中:
server: http_listen_port: 3200 grpc_listen_port: 9095
distributor: receivers: otlp: protocols: http: grpc:
storage: trace: backend: local local: path: /var/lib/tempo/traces- 为Tempo创建Systemd服务:
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF[Unit]Description=Grafana TempoAfter=network.target
[Service]ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.4 同时启动所有服务并在后台运行
Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»现在我们已经为三者创建了 systemd 配置,接下来重新加载系统配置,并通过一条命令同时启用并启动它们:
sudo systemctl daemon-reloadsudo systemctl enable --now mimir loki tempo(我们可以通过 sudo systemctl status mimir loki tempo 验证这三个服务是否都在后台正常运行)。
阶段2:前端服务器(Grafana UI)
Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»我们将在服务器 2(172.20.0.166)上执行
- 从官方仓库安装Grafana:
sudo apt install -y software-properties-common apt-transport-httpssudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.keyecho "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.listsudo apt updatesudo apt install grafana -y- 启动并启用服务:
sudo systemctl enable --now grafana-server- 访问界面并配置:
- 打开 Web 浏览器并访问:
http://172.20.0.166:3000 - 用户名:
admin/ 密码:admin(系统会提示我们修改密码)。 - 进入 Connections > Data sources > Add data source,将这 3 个数据源全部配置为指向服务器 1(
172.20.0.151):- Prometheus(用于 Mimir):URL
http://172.20.0.151:9009/prometheus - Loki:URL
http://172.20.0.151:3100 - Tempo:URL
http://172.20.0.151:3200
- Prometheus(用于 Mimir):URL
- 打开 Web 浏览器并访问:
阶段3:应用服务器(WordPress + Alloy)
Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»我们将在服务器 3(172.20.0.176)上执行
3.1 安装应用程序(WordPress LAMP堆栈)
Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»# 1. Instalamos LAMPsudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)sudo a2enmod statussudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)sudo mysql -e "CREATE DATABASE wordpress;"sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPresscd /var/www/htmlsudo rm index.htmlsudo wget https://wordpress.org/latest.tar.gzsudo tar -xvzf latest.tar.gzsudo chown -R www-data:www-data wordpress我们可以进入 http://172.20.0.176/wordpress,完成图形化安装。
3.2 安装并配置Grafana Alloy(全局代理)
Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»- 下载并安装二进制文件:
cd ~wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zipunzip alloy-linux-amd64.zipchmod +x alloy-linux-amd64sudo mv alloy-linux-amd64 /usr/local/bin/alloy- 创建完整配置文件:
sudo mkdir -p /etc/alloysudo nano /etc/alloy/config.alloy粘贴以下内容。此配置提取磁盘、CPU、Apache、MySQL、日志和跟踪:
logging { level = "info"}
// --------------------------------------------------------// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)// --------------------------------------------------------prometheus.exporter.unix "node" {}
prometheus.scrape "node" { targets = prometheus.exporter.unix.node.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 2. MÉTRICAS DE APACHE (Servidor Web)// --------------------------------------------------------prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" { scrape_uri = "http://localhost/server-status?auto"}
prometheus.scrape "apache" { targets = prometheus.exporter.apache.apache.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 3. MÉTRICAS DE MYSQL (Base de Datos)// --------------------------------------------------------prometheus.exporter.mysql "mysql" { data_source_name = "wpuser:password@(localhost:3306)/"}
prometheus.scrape "mysql" { targets = prometheus.exporter.mysql.mysql.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)// --------------------------------------------------------prometheus.scrape "backend_services" { targets = [ {"__address__" = "172.20.0.151:9009", "job" = "mimir"}, {"__address__" = "172.20.0.151:3100", "job" = "loki"}, {"__address__" = "172.20.0.151:3200", "job" = "tempo"}, ] forward_to = [prometheus.remote_write.mimir.receiver] scrape_interval = "15s"}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIRprometheus.remote_write "mimir" { endpoint { url = "http://172.20.0.151:9009/api/v1/push" }}
// --------------------------------------------------------// 6. LOGS (Sistema y Apache)// --------------------------------------------------------loki.source.file "system_logs" { targets = [ {__path__ = "/var/log/syslog", "job" = "syslog"}, {__path__ = "/var/log/auth.log", "job" = "auth"}, {__path__ = "/var/log/apache2/*.log", "job" = "apache"}, ] forward_to = [loki.write.loki.receiver]}
// 7. ENVIAR LOGS A LOKIloki.write "loki" { endpoint { url = "http://172.20.0.151:3100/loki/api/v1/push" }}
// --------------------------------------------------------// 8. TRACES (Recepción y Envío a Tempo)// --------------------------------------------------------otelcol.receiver.otlp "default" { http {} grpc {} output { traces = [otelcol.exporter.otlp.tempo.input] }}
otelcol.exporter.otlp "tempo" { client { endpoint = "172.20.0.151:4317" tls { insecure = true } }}- 为Alloy创建Systemd服务:
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF[Unit]Description=Grafana AlloyAfter=network.target
[Service]ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloyRestart=always
[Install]WantedBy=multi-user.targetEOF- 运行Alloy(用于在后台收集和发送数据):
sudo systemctl daemon-reloadsudo systemctl enable --now alloy为了验证一切正常,我们将打开 Grafana(http://172.20.0.166:3000),进入 Explore 并测试数据源。
4.1 从我们的设备(或服务器3)进行模拟
Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»模拟 1:暴力破解攻击(生成日志和延迟) 我们将向 WordPress 登录页面同时发起 50 个请求,以在 Apache 日志中产生大量记录并提升延迟。
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; done在 Grafana -> Explore -> Loki 中:搜索 {job="apache"},我们会看到所有访问都被实时记录。
模拟 2:CPU 饱和(生成高指标) 该命令将把一个 CPU 核心压测到最大值。
yes > /dev/null &在 Grafana -> Explore -> Prometheus(Mimir)中:搜索 node_cpu_seconds_total(按 CPU)或 mysql_up(用于验证数据库是否正常运行)。
(要停止 CPU 饱和,请执行 killall yes)。
链路追踪验证:在 Grafana -> Explore -> Tempo 中:搜索 service.name="wordpress",查看我们发起的 HTTP 请求的完整链路。
由于Alloy使用标准导出器(Node、Apache、MySQL),我们无需从头开始创建图表。我们可以导入Grafana社区的官方模板。
导入说明:
- 我们将进入 Grafana(
http://172.20.0.166:3000)。 - 在左侧菜单中,我们将点击符号“+” -> 导入。
- 在“通过grafana.com导入”框中,我们将输入下面提供的其中一个ID并点击加载。
- 在下方的下拉菜单中选择我们的数据源(Prometheus/Mimir)并点击导入。
- ID
1860(Node Exporter Full):这是全球最著名的用于查看物理服务器健康状况的仪表板。它将向我们展示 CPU 使用率、WordPress 服务器剩余磁盘空间、RAM 使用率、网络带宽等。 - ID
3894(Apache Overview):它将实时显示进入我们 WordPress 的 Web 请求数量、响应时间、活跃工作进程以及传输的字节数。 - ID
7362(MySQL Overview):它将让我们洞悉 WordPress 数据库引擎:每秒查询数、活跃连接、缓存内存以及 InnoDB 引擎的性能。
那日志和链路追踪呢?
Loki(日志)和 Tempo(链路追踪)通常在 Grafana 的 Explore 标签页中可视化效果更佳。如果想把它们添加到仪表板,只需编辑任意已导入面板,添加一个新查询(Query),选择 “Loki” 作为数据源,并输入 {job="apache"},即可在 CPU 图表旁边显示 Web 访问日志。

