Ir al contenido

Arquitectura de Observabilidad Distribuida con Stack Grafana

Autor: Equipo Portelcore Objetivo: Nuestro objetivo es desplegar un entorno de observabilidad completo utilizando Grafana, Mimir, Loki, Tempo y Alloy...

0lecturas

Autor: Equipo Portelcore Objetivo: Nuestro objetivo es desplegar un entorno de observabilidad completo utilizando Grafana, Mimir, Loki, Tempo y Alloy sobre Ubuntu 24.04 LTS para ingerir y analizar métricas, logs y trazas de una aplicación web (WordPress).

Disponemos de 3 servidores Ubuntu 24.04 LTS con los siguientes roles:

ServidorRol / ServiciosDirección IP
Servidor 1 (Backend)Mimir (Métricas) + Loki (Logs) + Tempo (Traces)172.20.0.151
Servidor 2 (Frontend)Grafana (Interfaz de Visualización UI)172.20.0.166
Servidor 3 (App/Agente)Servidor Web (WordPress) + Grafana Alloy (Agente)172.20.0.176

FASE 0: Preparación Inicial (En los 3 Servidores)

Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»

Antes de comenzar, debemos ejecutar estas comandos en los 3 servidores para asegurarnos de que el sistema esté actualizado, en la zona horaria correcta y con las herramientas necesarias.

Ventana de terminal
sudo apt update && sudo apt upgrade -y
sudo timedatectl set-timezone Europe/Madrid
sudo apt install curl wget unzip nano -y

FASE 1: Servidor Backend (Mimir, Loki y Tempo)

Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»

Ejecutaremos en el Servidor 1 (172.20.0.151)

Este servidor recibirá todos los datos enviados por los agentes. Para gestionarlos de manera profesional, crearemos servicios de systemd para que se ejecuten en segundo plano y se inicien automáticamente con el sistema.

1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)

Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»
  1. Descargaremos e instalaremos el binario:
Ventana de terminal
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64
chmod +x mimir-linux-amd64
sudo mv mimir-linux-amd64 /usr/local/bin/mimir
  1. Crearemos la configuración y los directorios:
Ventana de terminal
sudo mkdir -p /etc/mimir
sudo mkdir -p /var/lib/mimir/blocks
sudo mkdir -p /var/lib/mimir/compactor
sudo nano /etc/mimir/mimir.yaml

Pegaremos el siguiente contenido en mimir.yaml:

multitenancy_enabled: false
server:
http_listen_port: 9009
grpc_listen_port: 9096
blocks_storage:
backend: filesystem
filesystem:
dir: /var/lib/mimir/blocks
ingester:
ring:
replication_factor: 1
kvstore:
store: inmemory
compactor:
data_dir: /var/lib/mimir/compactor
  1. Crearemos el servicio de Systemd para Mimir:
Ventana de terminal
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF
[Unit]
Description=Grafana Mimir
After=network.target
[Service]
ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)

Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»
  1. Descargaremos e instalaremos el binario:
Ventana de terminal
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zip
unzip loki-linux-amd64.zip
chmod +x loki-linux-amd64
sudo mv loki-linux-amd64 /usr/local/bin/loki
  1. Crearemos la configuración y los directorios:
Ventana de terminal
sudo mkdir -p /etc/loki
sudo mkdir -p /var/lib/loki/chunks
sudo mkdir -p /var/lib/loki/rules
sudo nano /etc/loki/loki.yaml

Pegaremos el siguiente contenido en loki.yaml:

auth_enabled: false
server:
http_listen_port: 3100
grpc_listen_port: 9097
common:
path_prefix: /var/lib/loki
storage:
filesystem:
chunks_directory: /var/lib/loki/chunks
rules_directory: /var/lib/loki/rules
replication_factor: 1
ring:
kvstore:
store: inmemory
schema_config:
configs:
- from: 2026-01-01
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
  1. Crearemos el servicio de Systemd para Loki:
Ventana de terminal
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF
[Unit]
Description=Grafana Loki
After=network.target
[Service]
ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)

Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»
  1. Descargaremos e instalaremos el binario (Fijado a la versión estable v2.10.1):
Ventana de terminal
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gz
tar -xvzf tempo_2.10.1_linux_amd64.tar.gz
sudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/tempo
sudo chmod +x /usr/local/bin/tempo
  1. Crearemos la configuración y los directorios:
Ventana de terminal
sudo mkdir -p /etc/tempo
sudo mkdir -p /var/lib/tempo/traces
sudo nano /etc/tempo/tempo.yaml

Pegaremos el siguiente contenido en tempo.yaml:

server:
http_listen_port: 3200
grpc_listen_port: 9095
distributor:
receivers:
otlp:
protocols:
http:
grpc:
storage:
trace:
backend: local
local:
path: /var/lib/tempo/traces
  1. Crearemos el servicio de Systemd para Tempo:
Ventana de terminal
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF
[Unit]
Description=Grafana Tempo
After=network.target
[Service]
ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano

Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»

Ahora que hemos creado las reglas de systemd para los tres, recargaremos la configuración del sistema y los habilitaremos/arrancaremos todos de una vez con una sola comando:

Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now mimir loki tempo

(Podemos verificar que los tres estén corriendo felices en segundo plano con sudo systemctl status mimir loki tempo).

Ejecutaremos en el Servidor 2 (172.20.0.166)

  1. Instalaremos Grafana desde el repositorio oficial:
Ventana de terminal
sudo apt install -y software-properties-common apt-transport-https
sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
echo "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt update
sudo apt install grafana -y
  1. Iniciaremos y habilitaremos el servicio:
Ventana de terminal
sudo systemctl enable --now grafana-server
  1. Accederemos a la Interfaz y Configuraremos:
    • Abrimos nuestro navegador web y vamos a: http://172.20.0.166:3000
    • Login: admin / Password: admin (nos pedirá cambiarla).
    • Vamos a Conexiones > Fuentes de datos > Agregar fuente de datos y configuraremos estos 3 apuntando al Servidor 1 (172.20.0.151):
      • Prometheus (Para Mimir): URL http://172.20.0.151:9009/prometheus
      • Loki: URL http://172.20.0.151:3100
      • Tempo: URL http://172.20.0.151:3200

FASE 3: Servidor de Aplicación (WordPress + Alloy)

Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»

Ejecutaremos en el Servidor 3 (172.20.0.176)

3.1 Instalaremos la Aplicación (WordPress Stack LAMP)

Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»
Ventana de terminal
# 1. Instalamos LAMP
sudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)
sudo a2enmod status
sudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)
sudo mysql -e "CREATE DATABASE wordpress;"
sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"
sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"
sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPress
cd /var/www/html
sudo rm index.html
sudo wget https://wordpress.org/latest.tar.gz
sudo tar -xvzf latest.tar.gz
sudo chown -R www-data:www-data wordpress

Podremos entrar a http://172.20.0.176/wordpress para acabar la instalación visual.

3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)

Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»
  1. Descargaremos e instalaremos el binario:
Ventana de terminal
cd ~
wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zip
unzip alloy-linux-amd64.zip
chmod +x alloy-linux-amd64
sudo mv alloy-linux-amd64 /usr/local/bin/alloy
  1. Crearemos el archivo de configuración Completo:
Ventana de terminal
sudo mkdir -p /etc/alloy
sudo nano /etc/alloy/config.alloy

Pegaremos el siguiente contenido. Esta configuración extrae Disc, CPU, Apache, MySQL, Logs y Traces:

Ventana de terminal
logging {
level = "info"
}
// --------------------------------------------------------
// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)
// --------------------------------------------------------
prometheus.exporter.unix "node" {}
prometheus.scrape "node" {
targets = prometheus.exporter.unix.node.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 2. MÉTRICAS DE APACHE (Servidor Web)
// --------------------------------------------------------
prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" {
scrape_uri = "http://localhost/server-status?auto"
}
prometheus.scrape "apache" {
targets = prometheus.exporter.apache.apache.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 3. MÉTRICAS DE MYSQL (Base de Datos)
// --------------------------------------------------------
prometheus.exporter.mysql "mysql" {
data_source_name = "wpuser:password@(localhost:3306)/"
}
prometheus.scrape "mysql" {
targets = prometheus.exporter.mysql.mysql.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)
// --------------------------------------------------------
prometheus.scrape "backend_services" {
targets = [
{"__address__" = "172.20.0.151:9009", "job" = "mimir"},
{"__address__" = "172.20.0.151:3100", "job" = "loki"},
{"__address__" = "172.20.0.151:3200", "job" = "tempo"},
]
forward_to = [prometheus.remote_write.mimir.receiver]
scrape_interval = "15s"
}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIR
prometheus.remote_write "mimir" {
endpoint {
url = "http://172.20.0.151:9009/api/v1/push"
}
}
// --------------------------------------------------------
// 6. LOGS (Sistema y Apache)
// --------------------------------------------------------
loki.source.file "system_logs" {
targets = [
{__path__ = "/var/log/syslog", "job" = "syslog"},
{__path__ = "/var/log/auth.log", "job" = "auth"},
{__path__ = "/var/log/apache2/*.log", "job" = "apache"},
]
forward_to = [loki.write.loki.receiver]
}
// 7. ENVIAR LOGS A LOKI
loki.write "loki" {
endpoint {
url = "http://172.20.0.151:3100/loki/api/v1/push"
}
}
// --------------------------------------------------------
// 8. TRACES (Recepción y Envío a Tempo)
// --------------------------------------------------------
otelcol.receiver.otlp "default" {
http {}
grpc {}
output {
traces = [otelcol.exporter.otlp.tempo.input]
}
}
otelcol.exporter.otlp "tempo" {
client {
endpoint = "172.20.0.151:4317"
tls {
insecure = true
}
}
}
  1. Crearemos el servicio de Systemd para Alloy:
Ventana de terminal
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF
[Unit]
Description=Grafana Alloy
After=network.target
[Service]
ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloy
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. Ejecutaremos Alloy (Para recopilar y enviar datos en segundo plano):
Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now alloy

FASE 4: Visualización y Simulaciones de Estrés

Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»

Para comprobar que todo funciona, abriremos Grafana (http://172.20.0.166:3000), iremos a Explore y probaremos los Data Sources.

4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)

Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»

Simulación 1: Ataque de Fuerza Bruta (Genera Logs y Latencia) Lanzaremos 50 peticiones simultáneas contra el login de WordPress para generar ruido en los logs de Apache y subir la latencia.

Ventana de terminal
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; done

En Grafana -> Explore -> Loki: Buscaremos {job="apache"} y veremos todos los accesos registrándose en tiempo real.

Simulación 2: Saturación de CPU (Genera Métricas altas) Esta comando estresará un núcleo de la CPU al máximo.

yes > /dev/null &

En Grafana -> Explore -> Prometheus (Mimir): Buscaremos node_cpu_seconds_total (Por CPU) o mysql_up (Para verificar que la base de datos funciona). (Para detener la saturación de CPU, ejecutaremos killall yes).

Verificación de Traces: En Grafana -> Explore -> Tempo: Buscaremos service.name="wordpress" para ver el recorrido de las peticiones HTTP que hemos hecho.

Como Alloy está utilizando los exportadores estándar (Node, Apache, MySQL), no tenemos que crear los gráficos desde cero. Podemos importar plantillas oficiales de la comunidad de Grafana.

Instrucciones de Importación:

  1. Iremos a nuestro Grafana (http://172.20.0.166:3000).
  2. En el menú de la izquierda, haremos clic en el símbolo ”+” -> Import.
  3. En el cuadro “Import via grafana.com”, introduciremos uno de los IDs que dejamos a continuación y pulsaremos Load.
  4. Seleccionaremos nuestro Data Source (Prometheus/Mimir) en el desplegable de abajo y pulsaremos Import.
  • ID 1860 (Node Exporter Full): Este es el dashboard más famoso del mundo para ver la salud del servidor físico. Nos mostrará el uso de CPU, espacio en Disco restante de nuestro servidor WordPress, uso de RAM, ancho de banda de red, etc.
  • ID 3894 (Apache Overview): Nos mostrará en tiempo real cuántas peticiones web están entrando en nuestro WordPress, el tiempo de respuesta, los trabajadores activos y los bytes transferidos.
  • ID 7362 (MySQL Overview): Nos dará visibilidad sobre el motor de base de datos de WordPress: consultas por segundo, conexiones activas, memoria cache y rendimiento del motor InnoDB.

¿Y los Logs y Traces? Loki (Logs) y Tempo (Traces) se suelen visualizar mejor a través de la pestaña Explore de Grafana. Si queremos agregarlos a un Dashboard, solo tenemos que editar cualquier panel importado, agregar una nueva consulta (Query), seleccionar como Data Source “Loki” y escribir {job="apache"} para tener los logs de acceso a la web al lado de las gráficas de CPU.