Ir al contenido

Architettura di Osservabilità Distribuita con Stack Grafana

Autore: Equipo Portelcore Obiettivo: Il nostro obiettivo è distribuire un ambiente di osservabilità completo utilizzando Grafana, Mimir, Loki, Tempo e Alloy...

0letture

Autore: Team Portelcore Obiettivo: Il nostro obiettivo è distribuire un ambiente di osservabilità completo utilizzando Grafana, Mimir, Loki, Tempo e Alloy su Ubuntu 24.04 LTS per ingerire e analizzare metriche, log e tracce di un'applicazione web (WordPress).

Disponiamo di 3 server Ubuntu 24.04 LTS con i seguenti ruoli:

ServerRuolo / ServiziIndirizzo IP
Server 1 (Backend)Mimir (Metriche) + Loki (Log) + Tempo (Tracce)172.20.0.151
Server 2 (Frontend)Grafana (Interfaccia di Visualizzazione UI)172.20.0.166
Server 3 (App/Agente)Server Web (WordPress) + Grafana Alloy (Agente)172.20.0.176

Prima di iniziare, dobbiamo eseguire questi comandi sui 3 server per assicurarci che il sistema sia aggiornato, nel fuso orario corretto e con gli strumenti necessari.

Ventana de terminal
sudo apt update && sudo apt upgrade -y
sudo timedatectl set-timezone Europe/Madrid
sudo apt install curl wget unzip nano -y

Eseguiremo sul Server 1 (172.20.0.151)

Questo server riceverà tutti i dati inviati dagli agenti. Per gestirli in modo professionale, creeremo dei servizi systemd affinché vengano eseguiti in background e si avviino automaticamente con il sistema.

1.1 Ingestione delle metriche: Grafana Mimir (Porta 9009)

Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»
  1. Scaricheremo e installeremo il binario:
Ventana de terminal
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64
chmod +x mimir-linux-amd64
sudo mv mimir-linux-amd64 /usr/local/bin/mimir
  1. Creeremo la configurazione e le directory:
Ventana de terminal
sudo mkdir -p /etc/mimir
sudo mkdir -p /var/lib/mimir/blocks
sudo mkdir -p /var/lib/mimir/compactor
sudo nano /etc/mimir/mimir.yaml

Incolleremo il seguente contenuto in mimir.yaml:

multitenancy_enabled: false
server:
http_listen_port: 9009
grpc_listen_port: 9096
blocks_storage:
backend: filesystem
filesystem:
dir: /var/lib/mimir/blocks
ingester:
ring:
replication_factor: 1
kvstore:
store: inmemory
compactor:
data_dir: /var/lib/mimir/compactor
  1. Creeremo il servizio Systemd per Mimir:
Ventana de terminal
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF
[Unit]
Description=Grafana Mimir
After=network.target
[Service]
ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.2 Ingestione dei log: Grafana Loki (Porta 3100)

Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»
  1. Scaricheremo e installeremo il binario:
Ventana de terminal
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zip
unzip loki-linux-amd64.zip
chmod +x loki-linux-amd64
sudo mv loki-linux-amd64 /usr/local/bin/loki
  1. Creeremo la configurazione e le directory:
Ventana de terminal
sudo mkdir -p /etc/loki
sudo mkdir -p /var/lib/loki/chunks
sudo mkdir -p /var/lib/loki/rules
sudo nano /etc/loki/loki.yaml

Incolleremo il seguente contenuto in loki.yaml:

auth_enabled: false
server:
http_listen_port: 3100
grpc_listen_port: 9097
common:
path_prefix: /var/lib/loki
storage:
filesystem:
chunks_directory: /var/lib/loki/chunks
rules_directory: /var/lib/loki/rules
replication_factor: 1
ring:
kvstore:
store: inmemory
schema_config:
configs:
- from: 2026-01-01
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
  1. Creeremo il servizio Systemd per Loki:
Ventana de terminal
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF
[Unit]
Description=Grafana Loki
After=network.target
[Service]
ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.3 Ingestione dei Trace: Grafana Tempo (Porta 3200)

Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»
  1. Scaricheremo e installeremo il binario (fissato alla versione stabile v2.10.1):
Ventana de terminal
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gz
tar -xvzf tempo_2.10.1_linux_amd64.tar.gz
sudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/tempo
sudo chmod +x /usr/local/bin/tempo
  1. Creeremo la configurazione e le directory:
Ventana de terminal
sudo mkdir -p /etc/tempo
sudo mkdir -p /var/lib/tempo/traces
sudo nano /etc/tempo/tempo.yaml

Incolleremo il seguente contenuto in tempo.yaml:

server:
http_listen_port: 3200
grpc_listen_port: 9095
distributor:
receivers:
otlp:
protocols:
http:
grpc:
storage:
trace:
backend: local
local:
path: /var/lib/tempo/traces
  1. Creeremo il servizio Systemd per Tempo:
Ventana de terminal
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF
[Unit]
Description=Grafana Tempo
After=network.target
[Service]
ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.4 Avvieremo tutti i servizi contemporaneamente in background

Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»

Ora che abbiamo creato le regole di systemd per tutti e tre, ricaricheremo la configurazione del sistema e li abiliteremo/avvieremo tutti insieme con un singolo comando:

Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now mimir loki tempo

(Possiamo verificare che tutti e tre stiano girando correttamente in background con sudo systemctl status mimir loki tempo).

Eseguiremo sul Server 2 (172.20.0.166)

  1. Installeremo Grafana dal repository ufficiale:
Ventana de terminal
sudo apt install -y software-properties-common apt-transport-https
sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
echo "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt update
sudo apt install grafana -y
  1. Avvieremo e abiliteremo il servizio:
Ventana de terminal
sudo systemctl enable --now grafana-server
  1. Accederemo all'Interfaccia e Configureremo:
    • Apriamo il browser web e andiamo su: http://172.20.0.166:3000
    • Login: admin / Password: admin (ci verrà chiesto di cambiarla).
    • Andremo a Conexiones > Fonti di dati > Aggiungere fonte di dati e configureremo questi 3 puntando al Server 1 (172.20.0.151):
      • Prometheus (Per Mimir): URL http://172.20.0.151:9009/prometheus
      • Loki: URL http://172.20.0.151:3100
      • Tempo: URL http://172.20.0.151:3200

FASE 3: Server dell'applicazione (WordPress + Alloy)

Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»

Eseguiremo sul Server 3 (172.20.0.176)

3.1 Installeremo l'applicazione (WordPress Stack LAMP)

Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»
Ventana de terminal
# 1. Instalamos LAMP
sudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)
sudo a2enmod status
sudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)
sudo mysql -e "CREATE DATABASE wordpress;"
sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"
sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"
sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPress
cd /var/www/html
sudo rm index.html
sudo wget https://wordpress.org/latest.tar.gz
sudo tar -xvzf latest.tar.gz
sudo chown -R www-data:www-data wordpress

Potremo accedere a http://172.20.0.176/wordpress per completare l'installazione visuale.

3.2 Installeremo e configureremo Grafana Alloy (L'agente globale)

Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»
  1. Scaricheremo e installeremo il binario:
Ventana de terminal
cd ~
wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zip
unzip alloy-linux-amd64.zip
chmod +x alloy-linux-amd64
sudo mv alloy-linux-amd64 /usr/local/bin/alloy
  1. Creeremo il file di configurazione completo:
Ventana de terminal
sudo mkdir -p /etc/alloy
sudo nano /etc/alloy/config.alloy

Incolleremo il seguente contenuto. Questa configurazione estrae Disco, CPU, Apache, MySQL, Log e Trace:

Ventana de terminal
logging {
level = "info"
}
// --------------------------------------------------------
// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)
// --------------------------------------------------------
prometheus.exporter.unix "node" {}
prometheus.scrape "node" {
targets = prometheus.exporter.unix.node.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 2. MÉTRICAS DE APACHE (Servidor Web)
// --------------------------------------------------------
prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" {
scrape_uri = "http://localhost/server-status?auto"
}
prometheus.scrape "apache" {
targets = prometheus.exporter.apache.apache.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 3. MÉTRICAS DE MYSQL (Base de Datos)
// --------------------------------------------------------
prometheus.exporter.mysql "mysql" {
data_source_name = "wpuser:password@(localhost:3306)/"
}
prometheus.scrape "mysql" {
targets = prometheus.exporter.mysql.mysql.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)
// --------------------------------------------------------
prometheus.scrape "backend_services" {
targets = [
{"__address__" = "172.20.0.151:9009", "job" = "mimir"},
{"__address__" = "172.20.0.151:3100", "job" = "loki"},
{"__address__" = "172.20.0.151:3200", "job" = "tempo"},
]
forward_to = [prometheus.remote_write.mimir.receiver]
scrape_interval = "15s"
}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIR
prometheus.remote_write "mimir" {
endpoint {
url = "http://172.20.0.151:9009/api/v1/push"
}
}
// --------------------------------------------------------
// 6. LOGS (Sistema y Apache)
// --------------------------------------------------------
loki.source.file "system_logs" {
targets = [
{__path__ = "/var/log/syslog", "job" = "syslog"},
{__path__ = "/var/log/auth.log", "job" = "auth"},
{__path__ = "/var/log/apache2/*.log", "job" = "apache"},
]
forward_to = [loki.write.loki.receiver]
}
// 7. ENVIAR LOGS A LOKI
loki.write "loki" {
endpoint {
url = "http://172.20.0.151:3100/loki/api/v1/push"
}
}
// --------------------------------------------------------
// 8. TRACES (Recepción y Envío a Tempo)
// --------------------------------------------------------
otelcol.receiver.otlp "default" {
http {}
grpc {}
output {
traces = [otelcol.exporter.otlp.tempo.input]
}
}
otelcol.exporter.otlp "tempo" {
client {
endpoint = "172.20.0.151:4317"
tls {
insecure = true
}
}
}
  1. Creeremo il servizio Systemd per Alloy:
Ventana de terminal
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF
[Unit]
Description=Grafana Alloy
After=network.target
[Service]
ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloy
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. Eseguiremo Alloy (Per raccogliere e inviare dati in background):
Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now alloy

FASE 4: Visualizzazione e simulazioni di stress

Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»

Per verificare che tutto funzioni, apriremo Grafana (http://172.20.0.166:3000), andremo su Explore e proveremo le Data Source.

Simulazione 1: Attacco di Forza Bruta (Genera Log e Latenza) Lanceremo 50 richieste simultanee contro il login di WordPress per generare rumore nei log di Apache e aumentare la latenza.

Ventana de terminal
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; done

In Grafana -> Explore -> Loki: Cercheremo {job="apache"} e vedremo tutti gli accessi registrati in tempo reale.

Simulazione 2: Saturazione di CPU (Genera Metriche alte) Questo comando stresserà un nucleo della CPU al massimo.

yes > /dev/null &

In Grafana -> Explore -> Prometheus (Mimir): Cercheremo node_cpu_seconds_total (Per CPU) o mysql_up (Per verificare che la base di dati funzioni). (Per fermare la saturazione di CPU, eseguiremo killall yes).

Verifica dei Trace: In Grafana -> Explore -> Tempo: Cercheremo service.name="wordpress" per vedere il percorso delle richieste HTTP effettuate.

Poiché Alloy utilizza gli exporter standard (Node, Apache, MySQL), non dobbiamo creare i grafici da zero. Possiamo importare i template ufficiali della community di Grafana.

Istruzioni per l'importazione:

  1. Andremo sul nostro Grafana (http://172.20.0.166:3000).
  2. Nel menu a sinistra, faremo clic sul simbolo ”+” -> Import.
  3. Nella casella “Import via grafana.com”, inseriremo uno degli ID che riportiamo di seguito e faremo clic su Load.
  4. Selezioneremo il nostro Data Source (Prometheus/Mimir) nel menu a discesa sottostante e faremo clic su Import.
  • ID 1860 (Node Exporter Full): Questo è il dashboard più famoso al mondo per monitorare lo stato di salute del server fisico. Ci mostrerà l'uso della CPU, lo spazio disco residuo del nostro server WordPress, l'uso della RAM, la larghezza di banda di rete, ecc.
  • ID 3894 (Panoramica Apache): Ci mostrerà in tempo reale quante richieste web stanno entrando nel nostro WordPress, il tempo di risposta, i worker attivi e i byte trasferiti.
  • ID 7362 (Panoramica MySQL): Ci darà visibilità sul motore del database di WordPress: query al secondo, connessioni attive, memoria cache e prestazioni del motore InnoDB.

E i Log e le Tracce? Loki (Log) e Tempo (Tracce) si visualizzano meglio attraverso la scheda Explore di Grafana. Se vogliamo aggiungerli a un Dashboard, basta editare qualsiasi pannello importato, aggiungere una nuova query, selezionare come Data Source 'Loki' e scrivere {job="apache"} per avere i log di accesso al web accanto ai grafici di CPU.