Arquitectura d'observabilitat distribuïda amb stack Grafana
Autor: Equip Portelcore Objectiu: El nostre objectiu és desplegar un entorn d'observabilitat complet utilitzant Grafana, Mimir, Loki, Tempo i Alloy...
Autor: Equip Portelcore Objectiu: El nostre objectiu és desplegar un entorn d'observabilitat complet utilitzant Grafana, Mimir, Loki, Tempo i Alloy sobre Ubuntu 24.04 LTS per ingerir i analitzar mètriques, logs i traces d'una aplicació web (WordPress).
Arquitectura i servidors
Sección titulada «Arquitectura y Servidores»Disposem de 3 servidors Ubuntu 24.04 LTS amb els següents rols:
| Servidor | Rol / Serveis | Adreça IP |
|---|---|---|
| Servidor 1 (Backend) | Mimir (Mètriques) + Loki (Logs) + Tempo (Traces) | 172.20.0.151 |
| Servidor 2 (Frontend) | Grafana (Interfície de visualització UI) | 172.20.0.166 |
| Servidor 3 (App/Agent) | Servidor Web (WordPress) + Grafana Alloy (Agent) | 172.20.0.176 |
FASE 0: Preparació Inicial (als 3 Servidors)
Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»Abans de començar, hem d'executar aquests comandos als 3 servidors per assegurar-nos que el sistema estigui actualitzat, a la zona horària correcta i amb les eines necessàries.
sudo apt update && sudo apt upgrade -ysudo timedatectl set-timezone Europe/Madridsudo apt install curl wget unzip nano -yFASE 1: Servidor Backend (Mimir, Loki i Tempo)
Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»Executarem al Servidor 1 (172.20.0.151)
Aquest servidor rebrà totes les dades enviades pels agents. Per gestionar-les de manera professional, crearem serveis de systemd perquè s'executin en segon pla i s'iniciïn automàticament amb el sistema.
1.1 Ingesta de Mètriques: Grafana Mimir (Port 9009)
Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»- Descargarem i instalarem el binari:
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64chmod +x mimir-linux-amd64sudo mv mimir-linux-amd64 /usr/local/bin/mimir- Crearem la configuració i els directoris:
sudo mkdir -p /etc/mimirsudo mkdir -p /var/lib/mimir/blockssudo mkdir -p /var/lib/mimir/compactorsudo nano /etc/mimir/mimir.yamlEnganxarem el següent contingut a mimir.yaml:
multitenancy_enabled: false
server: http_listen_port: 9009 grpc_listen_port: 9096
blocks_storage: backend: filesystem filesystem: dir: /var/lib/mimir/blocks
ingester: ring: replication_factor: 1 kvstore: store: inmemory
compactor: data_dir: /var/lib/mimir/compactor- Crearem el servei de Systemd per a Mimir:
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF[Unit]Description=Grafana MimirAfter=network.target
[Service]ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.2 Ingesta de Logs: Grafana Loki (Port 3100)
Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»- Descargarem i instalarem el binari:
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zipunzip loki-linux-amd64.zipchmod +x loki-linux-amd64sudo mv loki-linux-amd64 /usr/local/bin/loki- Crearem la configuració i els directoris:
sudo mkdir -p /etc/lokisudo mkdir -p /var/lib/loki/chunkssudo mkdir -p /var/lib/loki/rulessudo nano /etc/loki/loki.yamlEnganxarem el següent contingut a loki.yaml:
auth_enabled: false
server: http_listen_port: 3100 grpc_listen_port: 9097
common: path_prefix: /var/lib/loki storage: filesystem: chunks_directory: /var/lib/loki/chunks rules_directory: /var/lib/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
schema_config: configs: - from: 2026-01-01 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h- Crearem el servei de Systemd per a Loki:
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF[Unit]Description=Grafana LokiAfter=network.target
[Service]ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.3 Ingesta de traces: Grafana Tempo (Port 3200)
Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»- Descarregarem i instalarem el binari (fixat a la versió estable v2.10.1):
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gztar -xvzf tempo_2.10.1_linux_amd64.tar.gzsudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/temposudo chmod +x /usr/local/bin/tempo- Crearem la configuració i els directoris:
sudo mkdir -p /etc/temposudo mkdir -p /var/lib/tempo/tracessudo nano /etc/tempo/tempo.yamlEnganxarem el següent contingut a tempo.yaml:
server: http_listen_port: 3200 grpc_listen_port: 9095
distributor: receivers: otlp: protocols: http: grpc:
storage: trace: backend: local local: path: /var/lib/tempo/traces- Crearem el servei de Systemd per a Tempo:
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF[Unit]Description=Grafana TempoAfter=network.target
[Service]ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.4 Iniciarem tots els serveis al mateix temps i en segon pla
Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»Ara que hem creat les regles de systemd per als tres, recarregarem la configuració del sistema i els habilitarem/iniciarem tots d'una vegada amb un sol comandament:
sudo systemctl daemon-reloadsudo systemctl enable --now mimir loki tempo(Podem verificar que els tres estiguin funcionant correctament en segon pla amb sudo systemctl status mimir loki tempo).
FASA 2: Servidor Frontend (Grafana UI)
Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»Executarem al Servidor 2 (172.20.0.166)
- Instalarem Grafana des del repositori oficial:
sudo apt install -y software-properties-common apt-transport-httpssudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.keyecho "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.listsudo apt updatesudo apt install grafana -y- Iniciarem i habilitarem el servei:
sudo systemctl enable --now grafana-server- Accederemos a la Interfaz y Configuraremos:
- Obrem el nostre navegador web i anem a:
http://172.20.0.166:3000 - Login:
admin/ Contrasenya:admin(ens demanarà canviar-la). - Vamos a Conexiones > Fuentes de datos > Agregar fuente de datos y configuraremos estos 3 apuntando al Servidor 1 (
172.20.0.151):- Prometheus (Per a Mimir): URL
http://172.20.0.151:9009/prometheus - Loki: URL
http://172.20.0.151:3100 - Tempo: URL
http://172.20.0.151:3200
- Prometheus (Per a Mimir): URL
- Obrem el nostre navegador web i anem a:
FASE 3: Servidor d'Aplicació (WordPress + Alloy)
Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»Executarem al Servidor 3 (172.20.0.176)
3.1 Instalarem l'Aplicació (WordPress Stack LAMP)
Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»# 1. Instalamos LAMPsudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)sudo a2enmod statussudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)sudo mysql -e "CREATE DATABASE wordpress;"sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPresscd /var/www/htmlsudo rm index.htmlsudo wget https://wordpress.org/latest.tar.gzsudo tar -xvzf latest.tar.gzsudo chown -R www-data:www-data wordpressPodrem entrar a http://172.20.0.176/wordpress per acabar la instal·lació visual.
3.2 Instalarem i configurarem Grafana Alloy (L'Agent Global)
Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»- Descargarem i instalarem el binari:
cd ~wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zipunzip alloy-linux-amd64.zipchmod +x alloy-linux-amd64sudo mv alloy-linux-amd64 /usr/local/bin/alloy- Crearem l'arxiu de configuració complet:
sudo mkdir -p /etc/alloysudo nano /etc/alloy/config.alloyEnganxarem el següent contingut. Aquesta configuració extrau Disc, CPU, Apache, MySQL, Logs i Traces:
logging { level = "info"}
// --------------------------------------------------------// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)// --------------------------------------------------------prometheus.exporter.unix "node" {}
prometheus.scrape "node" { targets = prometheus.exporter.unix.node.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 2. MÉTRICAS DE APACHE (Servidor Web)// --------------------------------------------------------prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" { scrape_uri = "http://localhost/server-status?auto"}
prometheus.scrape "apache" { targets = prometheus.exporter.apache.apache.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 3. MÉTRICAS DE MYSQL (Base de Datos)// --------------------------------------------------------prometheus.exporter.mysql "mysql" { data_source_name = "wpuser:password@(localhost:3306)/"}
prometheus.scrape "mysql" { targets = prometheus.exporter.mysql.mysql.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)// --------------------------------------------------------prometheus.scrape "backend_services" { targets = [ {"__address__" = "172.20.0.151:9009", "job" = "mimir"}, {"__address__" = "172.20.0.151:3100", "job" = "loki"}, {"__address__" = "172.20.0.151:3200", "job" = "tempo"}, ] forward_to = [prometheus.remote_write.mimir.receiver] scrape_interval = "15s"}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIRprometheus.remote_write "mimir" { endpoint { url = "http://172.20.0.151:9009/api/v1/push" }}
// --------------------------------------------------------// 6. LOGS (Sistema y Apache)// --------------------------------------------------------loki.source.file "system_logs" { targets = [ {__path__ = "/var/log/syslog", "job" = "syslog"}, {__path__ = "/var/log/auth.log", "job" = "auth"}, {__path__ = "/var/log/apache2/*.log", "job" = "apache"}, ] forward_to = [loki.write.loki.receiver]}
// 7. ENVIAR LOGS A LOKIloki.write "loki" { endpoint { url = "http://172.20.0.151:3100/loki/api/v1/push" }}
// --------------------------------------------------------// 8. TRACES (Recepción y Envío a Tempo)// --------------------------------------------------------otelcol.receiver.otlp "default" { http {} grpc {} output { traces = [otelcol.exporter.otlp.tempo.input] }}
otelcol.exporter.otlp "tempo" { client { endpoint = "172.20.0.151:4317" tls { insecure = true } }}- Crearem el servei de Systemd per a Alloy:
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF[Unit]Description=Grafana AlloyAfter=network.target
[Service]ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloyRestart=always
[Install]WantedBy=multi-user.targetEOF- Executarem Alloy (Per recollir i enviar dades en segon pla):
sudo systemctl daemon-reloadsudo systemctl enable --now alloyFASE 4: Visualització i Simulacions d'Estrès
Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»Per comprovar que tot funciona, obrirem Grafana (http://172.20.0.166:3000), anirem a Explore i provarem els Data Sources.
4.1 Simulacions des del nostre equip (o des del Servidor 3)
Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»Simulació 1: Atac de força bruta (Genera logs i latència) Lançarem 50 peticions simultànies contra el login de WordPress per generar soroll als logs d'Apache i augmentar la latència.
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; doneA Grafana -> Explore -> Loki: Buscarem {job="apache"} i veurem tots els accessos registrant-se en temps real.
Simulació 2: Saturació de CPU (Genera mètriques altes) Aquest comandament estressarà un nucli de la CPU al màxim.
yes > /dev/null &A Grafana -> Explore -> Prometheus (Mimir): Buscarem node_cpu_seconds_total (Per CPU) o mysql_up (Per verificar que la base de dades funciona).
(Per aturar la saturació de CPU, executarem killall yes).
Verificació de traces: A Grafana -> Explore -> Tempo: Buscarem service.name="wordpress" per veure el recorregut de les peticions HTTP que hem fet.
FASE 5: Dashboards oficials recomanats
Sección titulada «FASE 5: Dashboards Oficiales Recomendados»Com que Alloy està utilitzant els exportadors estàndard (Node, Apache, MySQL), no hem de crear els gràfics des de zero. Podem importar plantilles oficials de la comunitat de Grafana.
Instruccions d'importació:
- Anirem al nostre Grafana (
http://172.20.0.166:3000). - Al menú de l'esquerra, farem clic al símbol ”+” -> Import.
- A la caixa “Import via grafana.com”, introduirem un dels IDs que deixem a continuació i premsarem Load.
- Seleccionarem la nostra font de dades (Data Source - Prometheus/Mimir) al desplegable de sota i premsarem Import.
Plantilles a importar:
Sección titulada «Plantillas a Importar:»- ID
1860(Node Exporter Full): Aquest és el dashboard més famós del món per veure l'estat del servidor físic. Ens mostrarà l'ús de CPU, l'espai de disc restant del nostre servidor WordPress, l'ús de RAM, l'amplada de banda de xarxa, etc. - ID
3894(Apache Overview): Ens mostrarà en temps real quantes peticions web estan entrant al nostre WordPress, el temps de resposta, els treballadors actius i els bytes transferits. - ID
7362(MySQL Overview): Ens donarà visibilitat sobre el motor de base de dades de WordPress: consultes per segon, connexions actives, memòria cau i rendiment del motor InnoDB.
I els logs i traces?
Loki (Logs) i Tempo (Traces) se solen visualitzar millor a través de la pestanya Explore de Grafana. Si volem afegir-los a un Dashboard, només hem de editar qualsevol panell importat, afegir una nova consulta (Query), seleccionar com a Data Source “Loki” i escriure {job="apache"} per tenir els logs d'accés a la web al costat de les gràfiques de CPU.

