Ir al contenido

Gedistribueerde Observability-architectuur met Grafana Stack

Autor: Equipo Portelcore Objetivo: Nuestro objetivo es desplegar un entorno de observabilidad completo utilizando Grafana, Mimir, Loki, Tempo y Alloy...

0lecturas

Auteur: Team Portelcore Doel: Ons doel is om een complete observabiliteitsomgeving in te richten met behulp van Grafana, Mimir, Loki, Tempo en Alloy op Ubuntu 24.04 LTS om metrische gegevens, logboeken en traceringen van een webtoepassing (WordPress) te verzamelen en te analyseren.

We beschikken over 3 Ubuntu 24.04 LTS-servers met de volgende rollen:

ServerRol / DienstenIP-adres
Server 1 (Backend)Mimir (Metrieken) + Loki (Logs) + Tempo (Traces)172.20.0.151
Server 2 (Frontend)Grafana (UI-visualisatie-interface)172.20.0.166
Server 3 (App/Agent)Webserver (WordPress) + Grafana Alloy (Agent)172.20.0.176

FASE 0: Initiële Voorbereiding (Op de 3 servers)

Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»

Voordat we beginnen, moeten we deze commando's op de 3 servers uitvoeren om ervoor te zorgen dat het systeem up-to-date is, in de juiste tijdzone staat en over de benodigde tools beschikt.

Ventana de terminal
sudo apt update && sudo apt upgrade -y
sudo timedatectl set-timezone Europe/Madrid
sudo apt install curl wget unzip nano -y

We voeren het uit op Server 1 (172.20.0.151)

Deze server ontvangt alle gegevens die door de agents worden verzonden. Om deze op professionele wijze te beheren, maken we systemd services aan, zodat deze op de achtergrond draaien en automatisch met het systeem worden opgestart.

  1. We downloaden en installeren het binaire bestand:
Ventana de terminal
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64
chmod +x mimir-linux-amd64
sudo mv mimir-linux-amd64 /usr/local/bin/mimir
  1. We maken de configuratie en de mappen aan:
Ventana de terminal
sudo mkdir -p /etc/mimir
sudo mkdir -p /var/lib/mimir/blocks
sudo mkdir -p /var/lib/mimir/compactor
sudo nano /etc/mimir/mimir.yaml

Plak de volgende inhoud in mimir.yaml:

multitenancy_enabled: false
server:
http_listen_port: 9009
grpc_listen_port: 9096
blocks_storage:
backend: filesystem
filesystem:
dir: /var/lib/mimir/blocks
ingester:
ring:
replication_factor: 1
kvstore:
store: inmemory
compactor:
data_dir: /var/lib/mimir/compactor
  1. We maken de Systemd-service voor Mimir aan:
Ventana de terminal
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF
[Unit]
Description=Grafana Mimir
After=network.target
[Service]
ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. We downloaden en installeren het binaire bestand:
Ventana de terminal
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zip
unzip loki-linux-amd64.zip
chmod +x loki-linux-amd64
sudo mv loki-linux-amd64 /usr/local/bin/loki
  1. We maken de configuratie en de mappen aan:
Ventana de terminal
sudo mkdir -p /etc/loki
sudo mkdir -p /var/lib/loki/chunks
sudo mkdir -p /var/lib/loki/rules
sudo nano /etc/loki/loki.yaml

Plak de volgende inhoud in loki.yaml:

auth_enabled: false
server:
http_listen_port: 3100
grpc_listen_port: 9097
common:
path_prefix: /var/lib/loki
storage:
filesystem:
chunks_directory: /var/lib/loki/chunks
rules_directory: /var/lib/loki/rules
replication_factor: 1
ring:
kvstore:
store: inmemory
schema_config:
configs:
- from: 2026-01-01
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
  1. We maken de Systemd-service voor Loki aan:
Ventana de terminal
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF
[Unit]
Description=Grafana Loki
After=network.target
[Service]
ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. We downloaden en installeren het binaire bestand (vastgesteld op de stabiele versie v2.10.1):
Ventana de terminal
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gz
tar -xvzf tempo_2.10.1_linux_amd64.tar.gz
sudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/tempo
sudo chmod +x /usr/local/bin/tempo
  1. We maken de configuratie en de mappen aan:
Ventana de terminal
sudo mkdir -p /etc/tempo
sudo mkdir -p /var/lib/tempo/traces
sudo nano /etc/tempo/tempo.yaml

We plakken de volgende inhoud in tempo.yaml:

server:
http_listen_port: 3200
grpc_listen_port: 9095
distributor:
receivers:
otlp:
protocols:
http:
grpc:
storage:
trace:
backend: local
local:
path: /var/lib/tempo/traces
  1. We maken de Systemd-service voor Tempo aan:
Ventana de terminal
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF
[Unit]
Description=Grafana Tempo
After=network.target
[Service]
ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.4 We starten alle services tegelijkertijd en op de achtergrond

Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»

Nu we de regels van systemd voor de drie hebben gemaakt, laden we de systeemconfiguratie opnieuw op en zullen we ze allemaal tegelijk met één commando inschakelen/starten:

Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now mimir loki tempo

(We kunnen verifiëren dat de drie probleemloos op de achtergrond draaien met sudo systemctl status mimir loki tempo).

We voeren uit op Server 2 (172.20.0.166)

  1. We installeren Grafana vanuit de officiële repository:
Ventana de terminal
sudo apt install -y software-properties-common apt-transport-https
sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
echo "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt update
sudo apt install grafana -y
  1. We starten en schakelen de service in:
Ventana de terminal
sudo systemctl enable --now grafana-server
  1. Accederemos a la Interfaz y Configuraremos:
    • We openen onze webbrowser en gaan naar: http://172.20.0.166:3000
    • Inlognaam: admin / Wachtwoord: admin (er wordt gevraagd deze te wijzigen).
    • Vamos a Conexiones > Fuentes de datos > Agregar fuente de datos y configuraremos estos 3 apuntando al Servidor 1 (172.20.0.151):
      • Prometheus (voor Mimir): URL http://172.20.0.151:9009/prometheus
      • Loki: URL http://172.20.0.151:3100
      • Tempo: URL http://172.20.0.151:3200

We voeren dit uit op Server 3 (172.20.0.176)

3.1 We installeren de applicatie (WordPress Stack LAMP)

Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»
Ventana de terminal
# 1. Instalamos LAMP
sudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)
sudo a2enmod status
sudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)
sudo mysql -e "CREATE DATABASE wordpress;"
sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"
sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"
sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPress
cd /var/www/html
sudo rm index.html
sudo wget https://wordpress.org/latest.tar.gz
sudo tar -xvzf latest.tar.gz
sudo chown -R www-data:www-data wordpress

We kunnen http://172.20.0.176/wordpress openen om de visuele installatie te voltooien.

3.2 We installeren en configureren Grafana Alloy (de globale agent)

Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»
  1. We downloaden en installeren het binaire bestand:
Ventana de terminal
cd ~
wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zip
unzip alloy-linux-amd64.zip
chmod +x alloy-linux-amd64
sudo mv alloy-linux-amd64 /usr/local/bin/alloy
  1. We maken het volledige configuratiebestand aan:
Ventana de terminal
sudo mkdir -p /etc/alloy
sudo nano /etc/alloy/config.alloy

We plakken de volgende inhoud. Deze configuratie extraheert Disc, CPU, Apache, MySQL, Logs en Traces:

Ventana de terminal
logging {
level = "info"
}
// --------------------------------------------------------
// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)
// --------------------------------------------------------
prometheus.exporter.unix "node" {}
prometheus.scrape "node" {
targets = prometheus.exporter.unix.node.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 2. MÉTRICAS DE APACHE (Servidor Web)
// --------------------------------------------------------
prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" {
scrape_uri = "http://localhost/server-status?auto"
}
prometheus.scrape "apache" {
targets = prometheus.exporter.apache.apache.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 3. MÉTRICAS DE MYSQL (Base de Datos)
// --------------------------------------------------------
prometheus.exporter.mysql "mysql" {
data_source_name = "wpuser:password@(localhost:3306)/"
}
prometheus.scrape "mysql" {
targets = prometheus.exporter.mysql.mysql.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)
// --------------------------------------------------------
prometheus.scrape "backend_services" {
targets = [
{"__address__" = "172.20.0.151:9009", "job" = "mimir"},
{"__address__" = "172.20.0.151:3100", "job" = "loki"},
{"__address__" = "172.20.0.151:3200", "job" = "tempo"},
]
forward_to = [prometheus.remote_write.mimir.receiver]
scrape_interval = "15s"
}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIR
prometheus.remote_write "mimir" {
endpoint {
url = "http://172.20.0.151:9009/api/v1/push"
}
}
// --------------------------------------------------------
// 6. LOGS (Sistema y Apache)
// --------------------------------------------------------
loki.source.file "system_logs" {
targets = [
{__path__ = "/var/log/syslog", "job" = "syslog"},
{__path__ = "/var/log/auth.log", "job" = "auth"},
{__path__ = "/var/log/apache2/*.log", "job" = "apache"},
]
forward_to = [loki.write.loki.receiver]
}
// 7. ENVIAR LOGS A LOKI
loki.write "loki" {
endpoint {
url = "http://172.20.0.151:3100/loki/api/v1/push"
}
}
// --------------------------------------------------------
// 8. TRACES (Recepción y Envío a Tempo)
// --------------------------------------------------------
otelcol.receiver.otlp "default" {
http {}
grpc {}
output {
traces = [otelcol.exporter.otlp.tempo.input]
}
}
otelcol.exporter.otlp "tempo" {
client {
endpoint = "172.20.0.151:4317"
tls {
insecure = true
}
}
}
  1. We maken de Systemd-service voor Alloy aan:
Ventana de terminal
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF
[Unit]
Description=Grafana Alloy
After=network.target
[Service]
ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloy
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. We zullen Alloy uitvoeren (om op de achtergrond gegevens te verzamelen en te verzenden):
Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now alloy

Om te controleren of alles werkt, openen we Grafana (http://172.20.0.166:3000), gaan we naar Explore en testen we de Data Sources.

4.1 Simulaties vanaf ons eigen systeem (of vanaf Server 3)

Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»

Simulatie 1: Brute Force-aanval (Genereert logboeken en latentie) We zullen 50 gelijktijdige verzoeken naar de WordPress-inlogpagina sturen om ruis te genereren in de Apache-logboeken en de latentie te verhogen.

Ventana de terminal
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; done

In Grafana -> Explore -> Loki: We zoeken naar {job="apache"} en zullen alle toegangen in realtime zien worden geregistreerd.

Simulatie 2: CPU-overbelasting (Genereert hoge metrische gegevens) Deze opdracht zal één CPU-kern maximaal belasten.

yes > /dev/null &

In Grafana -> Explore -> Prometheus (Mimir): We zoeken naar node_cpu_seconds_total (per CPU) of mysql_up (om te controleren of de database werkt). (Om de CPU-overbelasting te stoppen, voeren we killall yes uit).

Trace-verificatie: In Grafana -> Explore -> Tempo: We zoeken naar service.name="wordpress" om het pad van de HTTP-verzoeken die we hebben gedaan te bekijken.

Omdat Alloy de standaard exporters (Node, Apache, MySQL) gebruikt, hoeven we de grafieken niet vanaf nul te maken. We kunnen officiële templates van de Grafana-community importeren.

Instructies voor import:

  1. We gaan naar onze Grafana (http://172.20.0.166:3000).
  2. In het menu aan de linkerkant klikken we op het symbool ”+” -> Import.
  3. In het vak “Import via grafana.com” voeren we een van de onderstaande ID's in en klikken we op Load.
  4. We selecteren onze Data Source (Prometheus/Mimir) in het dropdownmenu hieronder en klikken op Import.
  • ID 1860 (Node Exporter Full): Dit is het bekendste dashboard ter wereld om de gezondheid van de fysieke server te bekijken. Het toont het CPU-gebruik, de resterende schijfruimte van onze WordPress-server, RAM-gebruik, netwerkbandbreedte, etc.
  • ID 3894 (Apache Overview): Dit toont in realtime hoeveel webverzoeken er naar onze WordPress gaan, de responstijd, de actieve workers en de overgedragen bytes.
  • ID 7362 (MySQL Overview): Dit geeft inzicht in de WordPress-database-engine: queries per seconde, actieve verbindingen, cachegeheugen en de prestaties van de InnoDB-engine.

En de logboeken en traceringen? Loki (logboeken) en Tempo (traceringen) kunnen meestal beter worden weergegeven via het Explore tabblad van Grafana. Als we ze aan een dashboard willen toevoegen, hoeven we alleen maar een bestaand paneel te bewerken, een nieuwe query toe te voegen, 'Loki' als gegevensbron te selecteren en {job="apache"} te typen om de toegangslogboeken van de website naast de CPU-grafieken te hebben.