Gedistribueerde Observability-architectuur met Grafana Stack
Autor: Equipo Portelcore Objetivo: Nuestro objetivo es desplegar un entorno de observabilidad completo utilizando Grafana, Mimir, Loki, Tempo y Alloy...
Auteur: Team Portelcore Doel: Ons doel is om een complete observabiliteitsomgeving in te richten met behulp van Grafana, Mimir, Loki, Tempo en Alloy op Ubuntu 24.04 LTS om metrische gegevens, logboeken en traceringen van een webtoepassing (WordPress) te verzamelen en te analyseren.
Architectuur en Servers
Sección titulada «Arquitectura y Servidores»We beschikken over 3 Ubuntu 24.04 LTS-servers met de volgende rollen:
| Server | Rol / Diensten | IP-adres |
|---|---|---|
| Server 1 (Backend) | Mimir (Metrieken) + Loki (Logs) + Tempo (Traces) | 172.20.0.151 |
| Server 2 (Frontend) | Grafana (UI-visualisatie-interface) | 172.20.0.166 |
| Server 3 (App/Agent) | Webserver (WordPress) + Grafana Alloy (Agent) | 172.20.0.176 |
FASE 0: Initiële Voorbereiding (Op de 3 servers)
Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»Voordat we beginnen, moeten we deze commando's op de 3 servers uitvoeren om ervoor te zorgen dat het systeem up-to-date is, in de juiste tijdzone staat en over de benodigde tools beschikt.
sudo apt update && sudo apt upgrade -ysudo timedatectl set-timezone Europe/Madridsudo apt install curl wget unzip nano -yFASE 1: Backend Server (Mimir, Loki en Tempo)
Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»We voeren het uit op Server 1 (172.20.0.151)
Deze server ontvangt alle gegevens die door de agents worden verzonden. Om deze op professionele wijze te beheren, maken we systemd services aan, zodat deze op de achtergrond draaien en automatisch met het systeem worden opgestart.
1.1 Metric Ingestie: Grafana Mimir (Poort 9009)
Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»- We downloaden en installeren het binaire bestand:
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64chmod +x mimir-linux-amd64sudo mv mimir-linux-amd64 /usr/local/bin/mimir- We maken de configuratie en de mappen aan:
sudo mkdir -p /etc/mimirsudo mkdir -p /var/lib/mimir/blockssudo mkdir -p /var/lib/mimir/compactorsudo nano /etc/mimir/mimir.yamlPlak de volgende inhoud in mimir.yaml:
multitenancy_enabled: false
server: http_listen_port: 9009 grpc_listen_port: 9096
blocks_storage: backend: filesystem filesystem: dir: /var/lib/mimir/blocks
ingester: ring: replication_factor: 1 kvstore: store: inmemory
compactor: data_dir: /var/lib/mimir/compactor- We maken de Systemd-service voor Mimir aan:
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF[Unit]Description=Grafana MimirAfter=network.target
[Service]ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.2 Log Ingestie: Grafana Loki (Poort 3100)
Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»- We downloaden en installeren het binaire bestand:
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zipunzip loki-linux-amd64.zipchmod +x loki-linux-amd64sudo mv loki-linux-amd64 /usr/local/bin/loki- We maken de configuratie en de mappen aan:
sudo mkdir -p /etc/lokisudo mkdir -p /var/lib/loki/chunkssudo mkdir -p /var/lib/loki/rulessudo nano /etc/loki/loki.yamlPlak de volgende inhoud in loki.yaml:
auth_enabled: false
server: http_listen_port: 3100 grpc_listen_port: 9097
common: path_prefix: /var/lib/loki storage: filesystem: chunks_directory: /var/lib/loki/chunks rules_directory: /var/lib/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
schema_config: configs: - from: 2026-01-01 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h- We maken de Systemd-service voor Loki aan:
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF[Unit]Description=Grafana LokiAfter=network.target
[Service]ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.3 Trace-ingestie: Grafana Tempo (Poort 3200)
Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»- We downloaden en installeren het binaire bestand (vastgesteld op de stabiele versie v2.10.1):
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gztar -xvzf tempo_2.10.1_linux_amd64.tar.gzsudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/temposudo chmod +x /usr/local/bin/tempo- We maken de configuratie en de mappen aan:
sudo mkdir -p /etc/temposudo mkdir -p /var/lib/tempo/tracessudo nano /etc/tempo/tempo.yamlWe plakken de volgende inhoud in tempo.yaml:
server: http_listen_port: 3200 grpc_listen_port: 9095
distributor: receivers: otlp: protocols: http: grpc:
storage: trace: backend: local local: path: /var/lib/tempo/traces- We maken de Systemd-service voor Tempo aan:
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF[Unit]Description=Grafana TempoAfter=network.target
[Service]ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.4 We starten alle services tegelijkertijd en op de achtergrond
Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»Nu we de regels van systemd voor de drie hebben gemaakt, laden we de systeemconfiguratie opnieuw op en zullen we ze allemaal tegelijk met één commando inschakelen/starten:
sudo systemctl daemon-reloadsudo systemctl enable --now mimir loki tempo(We kunnen verifiëren dat de drie probleemloos op de achtergrond draaien met sudo systemctl status mimir loki tempo).
FASE 2: Frontend-server (Grafana UI)
Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»We voeren uit op Server 2 (172.20.0.166)
- We installeren Grafana vanuit de officiële repository:
sudo apt install -y software-properties-common apt-transport-httpssudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.keyecho "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.listsudo apt updatesudo apt install grafana -y- We starten en schakelen de service in:
sudo systemctl enable --now grafana-server- Accederemos a la Interfaz y Configuraremos:
- We openen onze webbrowser en gaan naar:
http://172.20.0.166:3000 - Inlognaam:
admin/ Wachtwoord:admin(er wordt gevraagd deze te wijzigen). - Vamos a Conexiones > Fuentes de datos > Agregar fuente de datos y configuraremos estos 3 apuntando al Servidor 1 (
172.20.0.151):- Prometheus (voor Mimir): URL
http://172.20.0.151:9009/prometheus - Loki: URL
http://172.20.0.151:3100 - Tempo: URL
http://172.20.0.151:3200
- Prometheus (voor Mimir): URL
- We openen onze webbrowser en gaan naar:
FASE 3: Applicatieserver (WordPress + Alloy)
Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»We voeren dit uit op Server 3 (172.20.0.176)
3.1 We installeren de applicatie (WordPress Stack LAMP)
Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»# 1. Instalamos LAMPsudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)sudo a2enmod statussudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)sudo mysql -e "CREATE DATABASE wordpress;"sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPresscd /var/www/htmlsudo rm index.htmlsudo wget https://wordpress.org/latest.tar.gzsudo tar -xvzf latest.tar.gzsudo chown -R www-data:www-data wordpressWe kunnen http://172.20.0.176/wordpress openen om de visuele installatie te voltooien.
3.2 We installeren en configureren Grafana Alloy (de globale agent)
Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»- We downloaden en installeren het binaire bestand:
cd ~wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zipunzip alloy-linux-amd64.zipchmod +x alloy-linux-amd64sudo mv alloy-linux-amd64 /usr/local/bin/alloy- We maken het volledige configuratiebestand aan:
sudo mkdir -p /etc/alloysudo nano /etc/alloy/config.alloyWe plakken de volgende inhoud. Deze configuratie extraheert Disc, CPU, Apache, MySQL, Logs en Traces:
logging { level = "info"}
// --------------------------------------------------------// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)// --------------------------------------------------------prometheus.exporter.unix "node" {}
prometheus.scrape "node" { targets = prometheus.exporter.unix.node.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 2. MÉTRICAS DE APACHE (Servidor Web)// --------------------------------------------------------prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" { scrape_uri = "http://localhost/server-status?auto"}
prometheus.scrape "apache" { targets = prometheus.exporter.apache.apache.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 3. MÉTRICAS DE MYSQL (Base de Datos)// --------------------------------------------------------prometheus.exporter.mysql "mysql" { data_source_name = "wpuser:password@(localhost:3306)/"}
prometheus.scrape "mysql" { targets = prometheus.exporter.mysql.mysql.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)// --------------------------------------------------------prometheus.scrape "backend_services" { targets = [ {"__address__" = "172.20.0.151:9009", "job" = "mimir"}, {"__address__" = "172.20.0.151:3100", "job" = "loki"}, {"__address__" = "172.20.0.151:3200", "job" = "tempo"}, ] forward_to = [prometheus.remote_write.mimir.receiver] scrape_interval = "15s"}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIRprometheus.remote_write "mimir" { endpoint { url = "http://172.20.0.151:9009/api/v1/push" }}
// --------------------------------------------------------// 6. LOGS (Sistema y Apache)// --------------------------------------------------------loki.source.file "system_logs" { targets = [ {__path__ = "/var/log/syslog", "job" = "syslog"}, {__path__ = "/var/log/auth.log", "job" = "auth"}, {__path__ = "/var/log/apache2/*.log", "job" = "apache"}, ] forward_to = [loki.write.loki.receiver]}
// 7. ENVIAR LOGS A LOKIloki.write "loki" { endpoint { url = "http://172.20.0.151:3100/loki/api/v1/push" }}
// --------------------------------------------------------// 8. TRACES (Recepción y Envío a Tempo)// --------------------------------------------------------otelcol.receiver.otlp "default" { http {} grpc {} output { traces = [otelcol.exporter.otlp.tempo.input] }}
otelcol.exporter.otlp "tempo" { client { endpoint = "172.20.0.151:4317" tls { insecure = true } }}- We maken de Systemd-service voor Alloy aan:
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF[Unit]Description=Grafana AlloyAfter=network.target
[Service]ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloyRestart=always
[Install]WantedBy=multi-user.targetEOF- We zullen Alloy uitvoeren (om op de achtergrond gegevens te verzamelen en te verzenden):
sudo systemctl daemon-reloadsudo systemctl enable --now alloyFASE 4: Visualisatie en stresssimulaties
Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»Om te controleren of alles werkt, openen we Grafana (http://172.20.0.166:3000), gaan we naar Explore en testen we de Data Sources.
4.1 Simulaties vanaf ons eigen systeem (of vanaf Server 3)
Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»Simulatie 1: Brute Force-aanval (Genereert logboeken en latentie) We zullen 50 gelijktijdige verzoeken naar de WordPress-inlogpagina sturen om ruis te genereren in de Apache-logboeken en de latentie te verhogen.
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; doneIn Grafana -> Explore -> Loki: We zoeken naar {job="apache"} en zullen alle toegangen in realtime zien worden geregistreerd.
Simulatie 2: CPU-overbelasting (Genereert hoge metrische gegevens) Deze opdracht zal één CPU-kern maximaal belasten.
yes > /dev/null &In Grafana -> Explore -> Prometheus (Mimir): We zoeken naar node_cpu_seconds_total (per CPU) of mysql_up (om te controleren of de database werkt).
(Om de CPU-overbelasting te stoppen, voeren we killall yes uit).
Trace-verificatie: In Grafana -> Explore -> Tempo: We zoeken naar service.name="wordpress" om het pad van de HTTP-verzoeken die we hebben gedaan te bekijken.
FASE 5: Aanbevolen officiële dashboards
Sección titulada «FASE 5: Dashboards Oficiales Recomendados»Omdat Alloy de standaard exporters (Node, Apache, MySQL) gebruikt, hoeven we de grafieken niet vanaf nul te maken. We kunnen officiële templates van de Grafana-community importeren.
Instructies voor import:
- We gaan naar onze Grafana (
http://172.20.0.166:3000). - In het menu aan de linkerkant klikken we op het symbool ”+” -> Import.
- In het vak “Import via grafana.com” voeren we een van de onderstaande ID's in en klikken we op Load.
- We selecteren onze Data Source (Prometheus/Mimir) in het dropdownmenu hieronder en klikken op Import.
Te importeren templates:
Sección titulada «Plantillas a Importar:»- ID
1860(Node Exporter Full): Dit is het bekendste dashboard ter wereld om de gezondheid van de fysieke server te bekijken. Het toont het CPU-gebruik, de resterende schijfruimte van onze WordPress-server, RAM-gebruik, netwerkbandbreedte, etc. - ID
3894(Apache Overview): Dit toont in realtime hoeveel webverzoeken er naar onze WordPress gaan, de responstijd, de actieve workers en de overgedragen bytes. - ID
7362(MySQL Overview): Dit geeft inzicht in de WordPress-database-engine: queries per seconde, actieve verbindingen, cachegeheugen en de prestaties van de InnoDB-engine.
En de logboeken en traceringen?
Loki (logboeken) en Tempo (traceringen) kunnen meestal beter worden weergegeven via het Explore tabblad van Grafana. Als we ze aan een dashboard willen toevoegen, hoeven we alleen maar een bestaand paneel te bewerken, een nieuwe query toe te voegen, 'Loki' als gegevensbron te selecteren en {job="apache"} te typen om de toegangslogboeken van de website naast de CPU-grafieken te hebben.

