Architettura di Osservabilità Distribuita con Stack Grafana
Autore: Equipo Portelcore Obiettivo: Il nostro obiettivo è distribuire un ambiente di osservabilità completo utilizzando Grafana, Mimir, Loki, Tempo e Alloy...
Autore: Team Portelcore Obiettivo: Il nostro obiettivo è distribuire un ambiente di osservabilità completo utilizzando Grafana, Mimir, Loki, Tempo e Alloy su Ubuntu 24.04 LTS per ingerire e analizzare metriche, log e tracce di un'applicazione web (WordPress).
Architettura e Server
Sección titulada «Arquitectura y Servidores»Disponiamo di 3 server Ubuntu 24.04 LTS con i seguenti ruoli:
| Server | Ruolo / Servizi | Indirizzo IP |
|---|---|---|
| Server 1 (Backend) | Mimir (Metriche) + Loki (Log) + Tempo (Tracce) | 172.20.0.151 |
| Server 2 (Frontend) | Grafana (Interfaccia di Visualizzazione UI) | 172.20.0.166 |
| Server 3 (App/Agente) | Server Web (WordPress) + Grafana Alloy (Agente) | 172.20.0.176 |
FASE 0: Preparazione Iniziale (Sui 3 Server)
Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»Prima di iniziare, dobbiamo eseguire questi comandi sui 3 server per assicurarci che il sistema sia aggiornato, nel fuso orario corretto e con gli strumenti necessari.
sudo apt update && sudo apt upgrade -ysudo timedatectl set-timezone Europe/Madridsudo apt install curl wget unzip nano -yFASE 1: Server Backend (Mimir, Loki e Tempo)
Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»Eseguiremo sul Server 1 (172.20.0.151)
Questo server riceverà tutti i dati inviati dagli agenti. Per gestirli in modo professionale, creeremo dei servizi systemd affinché vengano eseguiti in background e si avviino automaticamente con il sistema.
1.1 Ingestione delle metriche: Grafana Mimir (Porta 9009)
Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»- Scaricheremo e installeremo il binario:
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64chmod +x mimir-linux-amd64sudo mv mimir-linux-amd64 /usr/local/bin/mimir- Creeremo la configurazione e le directory:
sudo mkdir -p /etc/mimirsudo mkdir -p /var/lib/mimir/blockssudo mkdir -p /var/lib/mimir/compactorsudo nano /etc/mimir/mimir.yamlIncolleremo il seguente contenuto in mimir.yaml:
multitenancy_enabled: false
server: http_listen_port: 9009 grpc_listen_port: 9096
blocks_storage: backend: filesystem filesystem: dir: /var/lib/mimir/blocks
ingester: ring: replication_factor: 1 kvstore: store: inmemory
compactor: data_dir: /var/lib/mimir/compactor- Creeremo il servizio Systemd per Mimir:
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF[Unit]Description=Grafana MimirAfter=network.target
[Service]ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.2 Ingestione dei log: Grafana Loki (Porta 3100)
Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»- Scaricheremo e installeremo il binario:
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zipunzip loki-linux-amd64.zipchmod +x loki-linux-amd64sudo mv loki-linux-amd64 /usr/local/bin/loki- Creeremo la configurazione e le directory:
sudo mkdir -p /etc/lokisudo mkdir -p /var/lib/loki/chunkssudo mkdir -p /var/lib/loki/rulessudo nano /etc/loki/loki.yamlIncolleremo il seguente contenuto in loki.yaml:
auth_enabled: false
server: http_listen_port: 3100 grpc_listen_port: 9097
common: path_prefix: /var/lib/loki storage: filesystem: chunks_directory: /var/lib/loki/chunks rules_directory: /var/lib/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
schema_config: configs: - from: 2026-01-01 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h- Creeremo il servizio Systemd per Loki:
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF[Unit]Description=Grafana LokiAfter=network.target
[Service]ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.3 Ingestione dei Trace: Grafana Tempo (Porta 3200)
Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»- Scaricheremo e installeremo il binario (fissato alla versione stabile v2.10.1):
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gztar -xvzf tempo_2.10.1_linux_amd64.tar.gzsudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/temposudo chmod +x /usr/local/bin/tempo- Creeremo la configurazione e le directory:
sudo mkdir -p /etc/temposudo mkdir -p /var/lib/tempo/tracessudo nano /etc/tempo/tempo.yamlIncolleremo il seguente contenuto in tempo.yaml:
server: http_listen_port: 3200 grpc_listen_port: 9095
distributor: receivers: otlp: protocols: http: grpc:
storage: trace: backend: local local: path: /var/lib/tempo/traces- Creeremo il servizio Systemd per Tempo:
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF[Unit]Description=Grafana TempoAfter=network.target
[Service]ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.4 Avvieremo tutti i servizi contemporaneamente in background
Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»Ora che abbiamo creato le regole di systemd per tutti e tre, ricaricheremo la configurazione del sistema e li abiliteremo/avvieremo tutti insieme con un singolo comando:
sudo systemctl daemon-reloadsudo systemctl enable --now mimir loki tempo(Possiamo verificare che tutti e tre stiano girando correttamente in background con sudo systemctl status mimir loki tempo).
FASE 2: Server Frontend (Grafana UI)
Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»Eseguiremo sul Server 2 (172.20.0.166)
- Installeremo Grafana dal repository ufficiale:
sudo apt install -y software-properties-common apt-transport-httpssudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.keyecho "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.listsudo apt updatesudo apt install grafana -y- Avvieremo e abiliteremo il servizio:
sudo systemctl enable --now grafana-server- Accederemo all'Interfaccia e Configureremo:
- Apriamo il browser web e andiamo su:
http://172.20.0.166:3000 - Login:
admin/ Password:admin(ci verrà chiesto di cambiarla). - Andremo a Conexiones > Fonti di dati > Aggiungere fonte di dati e configureremo questi 3 puntando al Server 1 (
172.20.0.151):- Prometheus (Per Mimir): URL
http://172.20.0.151:9009/prometheus - Loki: URL
http://172.20.0.151:3100 - Tempo: URL
http://172.20.0.151:3200
- Prometheus (Per Mimir): URL
- Apriamo il browser web e andiamo su:
FASE 3: Server dell'applicazione (WordPress + Alloy)
Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»Eseguiremo sul Server 3 (172.20.0.176)
3.1 Installeremo l'applicazione (WordPress Stack LAMP)
Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»# 1. Instalamos LAMPsudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)sudo a2enmod statussudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)sudo mysql -e "CREATE DATABASE wordpress;"sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPresscd /var/www/htmlsudo rm index.htmlsudo wget https://wordpress.org/latest.tar.gzsudo tar -xvzf latest.tar.gzsudo chown -R www-data:www-data wordpressPotremo accedere a http://172.20.0.176/wordpress per completare l'installazione visuale.
3.2 Installeremo e configureremo Grafana Alloy (L'agente globale)
Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»- Scaricheremo e installeremo il binario:
cd ~wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zipunzip alloy-linux-amd64.zipchmod +x alloy-linux-amd64sudo mv alloy-linux-amd64 /usr/local/bin/alloy- Creeremo il file di configurazione completo:
sudo mkdir -p /etc/alloysudo nano /etc/alloy/config.alloyIncolleremo il seguente contenuto. Questa configurazione estrae Disco, CPU, Apache, MySQL, Log e Trace:
logging { level = "info"}
// --------------------------------------------------------// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)// --------------------------------------------------------prometheus.exporter.unix "node" {}
prometheus.scrape "node" { targets = prometheus.exporter.unix.node.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 2. MÉTRICAS DE APACHE (Servidor Web)// --------------------------------------------------------prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" { scrape_uri = "http://localhost/server-status?auto"}
prometheus.scrape "apache" { targets = prometheus.exporter.apache.apache.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 3. MÉTRICAS DE MYSQL (Base de Datos)// --------------------------------------------------------prometheus.exporter.mysql "mysql" { data_source_name = "wpuser:password@(localhost:3306)/"}
prometheus.scrape "mysql" { targets = prometheus.exporter.mysql.mysql.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)// --------------------------------------------------------prometheus.scrape "backend_services" { targets = [ {"__address__" = "172.20.0.151:9009", "job" = "mimir"}, {"__address__" = "172.20.0.151:3100", "job" = "loki"}, {"__address__" = "172.20.0.151:3200", "job" = "tempo"}, ] forward_to = [prometheus.remote_write.mimir.receiver] scrape_interval = "15s"}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIRprometheus.remote_write "mimir" { endpoint { url = "http://172.20.0.151:9009/api/v1/push" }}
// --------------------------------------------------------// 6. LOGS (Sistema y Apache)// --------------------------------------------------------loki.source.file "system_logs" { targets = [ {__path__ = "/var/log/syslog", "job" = "syslog"}, {__path__ = "/var/log/auth.log", "job" = "auth"}, {__path__ = "/var/log/apache2/*.log", "job" = "apache"}, ] forward_to = [loki.write.loki.receiver]}
// 7. ENVIAR LOGS A LOKIloki.write "loki" { endpoint { url = "http://172.20.0.151:3100/loki/api/v1/push" }}
// --------------------------------------------------------// 8. TRACES (Recepción y Envío a Tempo)// --------------------------------------------------------otelcol.receiver.otlp "default" { http {} grpc {} output { traces = [otelcol.exporter.otlp.tempo.input] }}
otelcol.exporter.otlp "tempo" { client { endpoint = "172.20.0.151:4317" tls { insecure = true } }}- Creeremo il servizio Systemd per Alloy:
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF[Unit]Description=Grafana AlloyAfter=network.target
[Service]ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloyRestart=always
[Install]WantedBy=multi-user.targetEOF- Eseguiremo Alloy (Per raccogliere e inviare dati in background):
sudo systemctl daemon-reloadsudo systemctl enable --now alloyFASE 4: Visualizzazione e simulazioni di stress
Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»Per verificare che tutto funzioni, apriremo Grafana (http://172.20.0.166:3000), andremo su Explore e proveremo le Data Source.
4.1 Simulazioni dal nostro team (o dal Server 3)
Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»Simulazione 1: Attacco di Forza Bruta (Genera Log e Latenza) Lanceremo 50 richieste simultanee contro il login di WordPress per generare rumore nei log di Apache e aumentare la latenza.
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; doneIn Grafana -> Explore -> Loki: Cercheremo {job="apache"} e vedremo tutti gli accessi registrati in tempo reale.
Simulazione 2: Saturazione di CPU (Genera Metriche alte) Questo comando stresserà un nucleo della CPU al massimo.
yes > /dev/null &In Grafana -> Explore -> Prometheus (Mimir): Cercheremo node_cpu_seconds_total (Per CPU) o mysql_up (Per verificare che la base di dati funzioni).
(Per fermare la saturazione di CPU, eseguiremo killall yes).
Verifica dei Trace: In Grafana -> Explore -> Tempo: Cercheremo service.name="wordpress" per vedere il percorso delle richieste HTTP effettuate.
FASE 5: Dashboard ufficiali raccomandati
Sección titulada «FASE 5: Dashboards Oficiales Recomendados»Poiché Alloy utilizza gli exporter standard (Node, Apache, MySQL), non dobbiamo creare i grafici da zero. Possiamo importare i template ufficiali della community di Grafana.
Istruzioni per l'importazione:
- Andremo sul nostro Grafana (
http://172.20.0.166:3000). - Nel menu a sinistra, faremo clic sul simbolo ”+” -> Import.
- Nella casella “Import via grafana.com”, inseriremo uno degli ID che riportiamo di seguito e faremo clic su Load.
- Selezioneremo il nostro Data Source (Prometheus/Mimir) nel menu a discesa sottostante e faremo clic su Import.
Template da importare:
Sección titulada «Plantillas a Importar:»- ID
1860(Node Exporter Full): Questo è il dashboard più famoso al mondo per monitorare lo stato di salute del server fisico. Ci mostrerà l'uso della CPU, lo spazio disco residuo del nostro server WordPress, l'uso della RAM, la larghezza di banda di rete, ecc. - ID
3894(Panoramica Apache): Ci mostrerà in tempo reale quante richieste web stanno entrando nel nostro WordPress, il tempo di risposta, i worker attivi e i byte trasferiti. - ID
7362(Panoramica MySQL): Ci darà visibilità sul motore del database di WordPress: query al secondo, connessioni attive, memoria cache e prestazioni del motore InnoDB.
E i Log e le Tracce?
Loki (Log) e Tempo (Tracce) si visualizzano meglio attraverso la scheda Explore di Grafana. Se vogliamo aggiungerli a un Dashboard, basta editare qualsiasi pannello importato, aggiungere una nuova query, selezionare come Data Source 'Loki' e scrivere {job="apache"} per avere i log di accesso al web accanto ai grafici di CPU.

