Ir al contenido

Arquitectura d'observabilitat distribuïda amb stack Grafana

Autor: Equip Portelcore Objectiu: El nostre objectiu és desplegar un entorn d'observabilitat complet utilitzant Grafana, Mimir, Loki, Tempo i Alloy...

0lectures

Autor: Equip Portelcore Objectiu: El nostre objectiu és desplegar un entorn d'observabilitat complet utilitzant Grafana, Mimir, Loki, Tempo i Alloy sobre Ubuntu 24.04 LTS per ingerir i analitzar mètriques, logs i traces d'una aplicació web (WordPress).

Disposem de 3 servidors Ubuntu 24.04 LTS amb els següents rols:

ServidorRol / ServeisAdreça IP
Servidor 1 (Backend)Mimir (Mètriques) + Loki (Logs) + Tempo (Traces)172.20.0.151
Servidor 2 (Frontend)Grafana (Interfície de visualització UI)172.20.0.166
Servidor 3 (App/Agent)Servidor Web (WordPress) + Grafana Alloy (Agent)172.20.0.176

Abans de començar, hem d'executar aquests comandos als 3 servidors per assegurar-nos que el sistema estigui actualitzat, a la zona horària correcta i amb les eines necessàries.

Ventana de terminal
sudo apt update && sudo apt upgrade -y
sudo timedatectl set-timezone Europe/Madrid
sudo apt install curl wget unzip nano -y

FASE 1: Servidor Backend (Mimir, Loki i Tempo)

Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»

Executarem al Servidor 1 (172.20.0.151)

Aquest servidor rebrà totes les dades enviades pels agents. Per gestionar-les de manera professional, crearem serveis de systemd perquè s'executin en segon pla i s'iniciïn automàticament amb el sistema.

1.1 Ingesta de Mètriques: Grafana Mimir (Port 9009)

Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»
  1. Descargarem i instalarem el binari:
Ventana de terminal
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64
chmod +x mimir-linux-amd64
sudo mv mimir-linux-amd64 /usr/local/bin/mimir
  1. Crearem la configuració i els directoris:
Ventana de terminal
sudo mkdir -p /etc/mimir
sudo mkdir -p /var/lib/mimir/blocks
sudo mkdir -p /var/lib/mimir/compactor
sudo nano /etc/mimir/mimir.yaml

Enganxarem el següent contingut a mimir.yaml:

multitenancy_enabled: false
server:
http_listen_port: 9009
grpc_listen_port: 9096
blocks_storage:
backend: filesystem
filesystem:
dir: /var/lib/mimir/blocks
ingester:
ring:
replication_factor: 1
kvstore:
store: inmemory
compactor:
data_dir: /var/lib/mimir/compactor
  1. Crearem el servei de Systemd per a Mimir:
Ventana de terminal
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF
[Unit]
Description=Grafana Mimir
After=network.target
[Service]
ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. Descargarem i instalarem el binari:
Ventana de terminal
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zip
unzip loki-linux-amd64.zip
chmod +x loki-linux-amd64
sudo mv loki-linux-amd64 /usr/local/bin/loki
  1. Crearem la configuració i els directoris:
Ventana de terminal
sudo mkdir -p /etc/loki
sudo mkdir -p /var/lib/loki/chunks
sudo mkdir -p /var/lib/loki/rules
sudo nano /etc/loki/loki.yaml

Enganxarem el següent contingut a loki.yaml:

auth_enabled: false
server:
http_listen_port: 3100
grpc_listen_port: 9097
common:
path_prefix: /var/lib/loki
storage:
filesystem:
chunks_directory: /var/lib/loki/chunks
rules_directory: /var/lib/loki/rules
replication_factor: 1
ring:
kvstore:
store: inmemory
schema_config:
configs:
- from: 2026-01-01
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
  1. Crearem el servei de Systemd per a Loki:
Ventana de terminal
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF
[Unit]
Description=Grafana Loki
After=network.target
[Service]
ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.3 Ingesta de traces: Grafana Tempo (Port 3200)

Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»
  1. Descarregarem i instalarem el binari (fixat a la versió estable v2.10.1):
Ventana de terminal
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gz
tar -xvzf tempo_2.10.1_linux_amd64.tar.gz
sudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/tempo
sudo chmod +x /usr/local/bin/tempo
  1. Crearem la configuració i els directoris:
Ventana de terminal
sudo mkdir -p /etc/tempo
sudo mkdir -p /var/lib/tempo/traces
sudo nano /etc/tempo/tempo.yaml

Enganxarem el següent contingut a tempo.yaml:

server:
http_listen_port: 3200
grpc_listen_port: 9095
distributor:
receivers:
otlp:
protocols:
http:
grpc:
storage:
trace:
backend: local
local:
path: /var/lib/tempo/traces
  1. Crearem el servei de Systemd per a Tempo:
Ventana de terminal
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF
[Unit]
Description=Grafana Tempo
After=network.target
[Service]
ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

Ara que hem creat les regles de systemd per als tres, recarregarem la configuració del sistema i els habilitarem/iniciarem tots d'una vegada amb un sol comandament:

Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now mimir loki tempo

(Podem verificar que els tres estiguin funcionant correctament en segon pla amb sudo systemctl status mimir loki tempo).

Executarem al Servidor 2 (172.20.0.166)

  1. Instalarem Grafana des del repositori oficial:
Ventana de terminal
sudo apt install -y software-properties-common apt-transport-https
sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
echo "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt update
sudo apt install grafana -y
  1. Iniciarem i habilitarem el servei:
Ventana de terminal
sudo systemctl enable --now grafana-server
  1. Accederemos a la Interfaz y Configuraremos:
    • Obrem el nostre navegador web i anem a: http://172.20.0.166:3000
    • Login: admin / Contrasenya: admin (ens demanarà canviar-la).
    • Vamos a Conexiones > Fuentes de datos > Agregar fuente de datos y configuraremos estos 3 apuntando al Servidor 1 (172.20.0.151):
      • Prometheus (Per a Mimir): URL http://172.20.0.151:9009/prometheus
      • Loki: URL http://172.20.0.151:3100
      • Tempo: URL http://172.20.0.151:3200

FASE 3: Servidor d'Aplicació (WordPress + Alloy)

Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»

Executarem al Servidor 3 (172.20.0.176)

Ventana de terminal
# 1. Instalamos LAMP
sudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)
sudo a2enmod status
sudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)
sudo mysql -e "CREATE DATABASE wordpress;"
sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"
sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"
sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPress
cd /var/www/html
sudo rm index.html
sudo wget https://wordpress.org/latest.tar.gz
sudo tar -xvzf latest.tar.gz
sudo chown -R www-data:www-data wordpress

Podrem entrar a http://172.20.0.176/wordpress per acabar la instal·lació visual.

3.2 Instalarem i configurarem Grafana Alloy (L'Agent Global)

Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»
  1. Descargarem i instalarem el binari:
Ventana de terminal
cd ~
wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zip
unzip alloy-linux-amd64.zip
chmod +x alloy-linux-amd64
sudo mv alloy-linux-amd64 /usr/local/bin/alloy
  1. Crearem l'arxiu de configuració complet:
Ventana de terminal
sudo mkdir -p /etc/alloy
sudo nano /etc/alloy/config.alloy

Enganxarem el següent contingut. Aquesta configuració extrau Disc, CPU, Apache, MySQL, Logs i Traces:

Ventana de terminal
logging {
level = "info"
}
// --------------------------------------------------------
// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)
// --------------------------------------------------------
prometheus.exporter.unix "node" {}
prometheus.scrape "node" {
targets = prometheus.exporter.unix.node.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 2. MÉTRICAS DE APACHE (Servidor Web)
// --------------------------------------------------------
prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" {
scrape_uri = "http://localhost/server-status?auto"
}
prometheus.scrape "apache" {
targets = prometheus.exporter.apache.apache.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 3. MÉTRICAS DE MYSQL (Base de Datos)
// --------------------------------------------------------
prometheus.exporter.mysql "mysql" {
data_source_name = "wpuser:password@(localhost:3306)/"
}
prometheus.scrape "mysql" {
targets = prometheus.exporter.mysql.mysql.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)
// --------------------------------------------------------
prometheus.scrape "backend_services" {
targets = [
{"__address__" = "172.20.0.151:9009", "job" = "mimir"},
{"__address__" = "172.20.0.151:3100", "job" = "loki"},
{"__address__" = "172.20.0.151:3200", "job" = "tempo"},
]
forward_to = [prometheus.remote_write.mimir.receiver]
scrape_interval = "15s"
}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIR
prometheus.remote_write "mimir" {
endpoint {
url = "http://172.20.0.151:9009/api/v1/push"
}
}
// --------------------------------------------------------
// 6. LOGS (Sistema y Apache)
// --------------------------------------------------------
loki.source.file "system_logs" {
targets = [
{__path__ = "/var/log/syslog", "job" = "syslog"},
{__path__ = "/var/log/auth.log", "job" = "auth"},
{__path__ = "/var/log/apache2/*.log", "job" = "apache"},
]
forward_to = [loki.write.loki.receiver]
}
// 7. ENVIAR LOGS A LOKI
loki.write "loki" {
endpoint {
url = "http://172.20.0.151:3100/loki/api/v1/push"
}
}
// --------------------------------------------------------
// 8. TRACES (Recepción y Envío a Tempo)
// --------------------------------------------------------
otelcol.receiver.otlp "default" {
http {}
grpc {}
output {
traces = [otelcol.exporter.otlp.tempo.input]
}
}
otelcol.exporter.otlp "tempo" {
client {
endpoint = "172.20.0.151:4317"
tls {
insecure = true
}
}
}
  1. Crearem el servei de Systemd per a Alloy:
Ventana de terminal
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF
[Unit]
Description=Grafana Alloy
After=network.target
[Service]
ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloy
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. Executarem Alloy (Per recollir i enviar dades en segon pla):
Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now alloy

Per comprovar que tot funciona, obrirem Grafana (http://172.20.0.166:3000), anirem a Explore i provarem els Data Sources.

4.1 Simulacions des del nostre equip (o des del Servidor 3)

Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»

Simulació 1: Atac de força bruta (Genera logs i latència) Lançarem 50 peticions simultànies contra el login de WordPress per generar soroll als logs d'Apache i augmentar la latència.

Ventana de terminal
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; done

A Grafana -> Explore -> Loki: Buscarem {job="apache"} i veurem tots els accessos registrant-se en temps real.

Simulació 2: Saturació de CPU (Genera mètriques altes) Aquest comandament estressarà un nucli de la CPU al màxim.

yes > /dev/null &

A Grafana -> Explore -> Prometheus (Mimir): Buscarem node_cpu_seconds_total (Per CPU) o mysql_up (Per verificar que la base de dades funciona). (Per aturar la saturació de CPU, executarem killall yes).

Verificació de traces: A Grafana -> Explore -> Tempo: Buscarem service.name="wordpress" per veure el recorregut de les peticions HTTP que hem fet.

Com que Alloy està utilitzant els exportadors estàndard (Node, Apache, MySQL), no hem de crear els gràfics des de zero. Podem importar plantilles oficials de la comunitat de Grafana.

Instruccions d'importació:

  1. Anirem al nostre Grafana (http://172.20.0.166:3000).
  2. Al menú de l'esquerra, farem clic al símbol ”+” -> Import.
  3. A la caixa “Import via grafana.com”, introduirem un dels IDs que deixem a continuació i premsarem Load.
  4. Seleccionarem la nostra font de dades (Data Source - Prometheus/Mimir) al desplegable de sota i premsarem Import.
  • ID 1860 (Node Exporter Full): Aquest és el dashboard més famós del món per veure l'estat del servidor físic. Ens mostrarà l'ús de CPU, l'espai de disc restant del nostre servidor WordPress, l'ús de RAM, l'amplada de banda de xarxa, etc.
  • ID 3894 (Apache Overview): Ens mostrarà en temps real quantes peticions web estan entrant al nostre WordPress, el temps de resposta, els treballadors actius i els bytes transferits.
  • ID 7362 (MySQL Overview): Ens donarà visibilitat sobre el motor de base de dades de WordPress: consultes per segon, connexions actives, memòria cau i rendiment del motor InnoDB.

I els logs i traces? Loki (Logs) i Tempo (Traces) se solen visualitzar millor a través de la pestanya Explore de Grafana. Si volem afegir-los a un Dashboard, només hem de editar qualsevol panell importat, afegir una nova consulta (Query), seleccionar com a Data Source “Loki” i escriure {job="apache"} per tenir els logs d'accés a la web al costat de les gràfiques de CPU.