Arquitectura de Observabilidad Distribuida con Stack Grafana
Autor: Equipo Portelcore Objetivo: Nuestro objetivo es desplegar un entorno de observabilidad completo utilizando Grafana, Mimir, Loki, Tempo y Alloy...
Autor: Equipo Portelcore Objetivo: Nuestro objetivo es desplegar un entorno de observabilidad completo utilizando Grafana, Mimir, Loki, Tempo y Alloy sobre Ubuntu 24.04 LTS para ingerir y analizar métricas, logs y trazas de una aplicación web (WordPress).
Arquitectura y Servidores
Sección titulada «Arquitectura y Servidores»Disponemos de 3 servidores Ubuntu 24.04 LTS con los siguientes roles:
| Servidor | Rol / Servicios | Dirección IP |
|---|---|---|
| Servidor 1 (Backend) | Mimir (Métricas) + Loki (Logs) + Tempo (Traces) | 172.20.0.151 |
| Servidor 2 (Frontend) | Grafana (Interfaz de Visualización UI) | 172.20.0.166 |
| Servidor 3 (App/Agente) | Servidor Web (WordPress) + Grafana Alloy (Agente) | 172.20.0.176 |
FASE 0: Preparación Inicial (En los 3 Servidores)
Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»Antes de comenzar, debemos ejecutar estas comandos en los 3 servidores para asegurarnos de que el sistema esté actualizado, en la zona horaria correcta y con las herramientas necesarias.
sudo apt update && sudo apt upgrade -ysudo timedatectl set-timezone Europe/Madridsudo apt install curl wget unzip nano -yFASE 1: Servidor Backend (Mimir, Loki y Tempo)
Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»Ejecutaremos en el Servidor 1 (172.20.0.151)
Este servidor recibirá todos los datos enviados por los agentes. Para gestionarlos de manera profesional, crearemos servicios de systemd para que se ejecuten en segundo plano y se inicien automáticamente con el sistema.
1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)
Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»- Descargaremos e instalaremos el binario:
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64chmod +x mimir-linux-amd64sudo mv mimir-linux-amd64 /usr/local/bin/mimir- Crearemos la configuración y los directorios:
sudo mkdir -p /etc/mimirsudo mkdir -p /var/lib/mimir/blockssudo mkdir -p /var/lib/mimir/compactorsudo nano /etc/mimir/mimir.yamlPegaremos el siguiente contenido en mimir.yaml:
multitenancy_enabled: false
server: http_listen_port: 9009 grpc_listen_port: 9096
blocks_storage: backend: filesystem filesystem: dir: /var/lib/mimir/blocks
ingester: ring: replication_factor: 1 kvstore: store: inmemory
compactor: data_dir: /var/lib/mimir/compactor- Crearemos el servicio de Systemd para Mimir:
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF[Unit]Description=Grafana MimirAfter=network.target
[Service]ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)
Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»- Descargaremos e instalaremos el binario:
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zipunzip loki-linux-amd64.zipchmod +x loki-linux-amd64sudo mv loki-linux-amd64 /usr/local/bin/loki- Crearemos la configuración y los directorios:
sudo mkdir -p /etc/lokisudo mkdir -p /var/lib/loki/chunkssudo mkdir -p /var/lib/loki/rulessudo nano /etc/loki/loki.yamlPegaremos el siguiente contenido en loki.yaml:
auth_enabled: false
server: http_listen_port: 3100 grpc_listen_port: 9097
common: path_prefix: /var/lib/loki storage: filesystem: chunks_directory: /var/lib/loki/chunks rules_directory: /var/lib/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
schema_config: configs: - from: 2026-01-01 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h- Crearemos el servicio de Systemd para Loki:
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF[Unit]Description=Grafana LokiAfter=network.target
[Service]ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)
Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»- Descargaremos e instalaremos el binario (Fijado a la versión estable v2.10.1):
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gztar -xvzf tempo_2.10.1_linux_amd64.tar.gzsudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/temposudo chmod +x /usr/local/bin/tempo- Crearemos la configuración y los directorios:
sudo mkdir -p /etc/temposudo mkdir -p /var/lib/tempo/tracessudo nano /etc/tempo/tempo.yamlPegaremos el siguiente contenido en tempo.yaml:
server: http_listen_port: 3200 grpc_listen_port: 9095
distributor: receivers: otlp: protocols: http: grpc:
storage: trace: backend: local local: path: /var/lib/tempo/traces- Crearemos el servicio de Systemd para Tempo:
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF[Unit]Description=Grafana TempoAfter=network.target
[Service]ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano
Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»Ahora que hemos creado las reglas de systemd para los tres, recargaremos la configuración del sistema y los habilitaremos/arrancaremos todos de una vez con una sola comando:
sudo systemctl daemon-reloadsudo systemctl enable --now mimir loki tempo(Podemos verificar que los tres estén corriendo felices en segundo plano con sudo systemctl status mimir loki tempo).
FASE 2: Servidor Frontend (Grafana UI)
Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»Ejecutaremos en el Servidor 2 (172.20.0.166)
- Instalaremos Grafana desde el repositorio oficial:
sudo apt install -y software-properties-common apt-transport-httpssudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.keyecho "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.listsudo apt updatesudo apt install grafana -y- Iniciaremos y habilitaremos el servicio:
sudo systemctl enable --now grafana-server- Accederemos a la Interfaz y Configuraremos:
- Abrimos nuestro navegador web y vamos a:
http://172.20.0.166:3000 - Login:
admin/ Password:admin(nos pedirá cambiarla). - Vamos a Conexiones > Fuentes de datos > Agregar fuente de datos y configuraremos estos 3 apuntando al Servidor 1 (
172.20.0.151):- Prometheus (Para Mimir): URL
http://172.20.0.151:9009/prometheus - Loki: URL
http://172.20.0.151:3100 - Tempo: URL
http://172.20.0.151:3200
- Prometheus (Para Mimir): URL
- Abrimos nuestro navegador web y vamos a:
FASE 3: Servidor de Aplicación (WordPress + Alloy)
Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»Ejecutaremos en el Servidor 3 (172.20.0.176)
3.1 Instalaremos la Aplicación (WordPress Stack LAMP)
Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»# 1. Instalamos LAMPsudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)sudo a2enmod statussudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)sudo mysql -e "CREATE DATABASE wordpress;"sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPresscd /var/www/htmlsudo rm index.htmlsudo wget https://wordpress.org/latest.tar.gzsudo tar -xvzf latest.tar.gzsudo chown -R www-data:www-data wordpressPodremos entrar a http://172.20.0.176/wordpress para acabar la instalación visual.
3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)
Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»- Descargaremos e instalaremos el binario:
cd ~wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zipunzip alloy-linux-amd64.zipchmod +x alloy-linux-amd64sudo mv alloy-linux-amd64 /usr/local/bin/alloy- Crearemos el archivo de configuración Completo:
sudo mkdir -p /etc/alloysudo nano /etc/alloy/config.alloyPegaremos el siguiente contenido. Esta configuración extrae Disc, CPU, Apache, MySQL, Logs y Traces:
logging { level = "info"}
// --------------------------------------------------------// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)// --------------------------------------------------------prometheus.exporter.unix "node" {}
prometheus.scrape "node" { targets = prometheus.exporter.unix.node.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 2. MÉTRICAS DE APACHE (Servidor Web)// --------------------------------------------------------prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" { scrape_uri = "http://localhost/server-status?auto"}
prometheus.scrape "apache" { targets = prometheus.exporter.apache.apache.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 3. MÉTRICAS DE MYSQL (Base de Datos)// --------------------------------------------------------prometheus.exporter.mysql "mysql" { data_source_name = "wpuser:password@(localhost:3306)/"}
prometheus.scrape "mysql" { targets = prometheus.exporter.mysql.mysql.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)// --------------------------------------------------------prometheus.scrape "backend_services" { targets = [ {"__address__" = "172.20.0.151:9009", "job" = "mimir"}, {"__address__" = "172.20.0.151:3100", "job" = "loki"}, {"__address__" = "172.20.0.151:3200", "job" = "tempo"}, ] forward_to = [prometheus.remote_write.mimir.receiver] scrape_interval = "15s"}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIRprometheus.remote_write "mimir" { endpoint { url = "http://172.20.0.151:9009/api/v1/push" }}
// --------------------------------------------------------// 6. LOGS (Sistema y Apache)// --------------------------------------------------------loki.source.file "system_logs" { targets = [ {__path__ = "/var/log/syslog", "job" = "syslog"}, {__path__ = "/var/log/auth.log", "job" = "auth"}, {__path__ = "/var/log/apache2/*.log", "job" = "apache"}, ] forward_to = [loki.write.loki.receiver]}
// 7. ENVIAR LOGS A LOKIloki.write "loki" { endpoint { url = "http://172.20.0.151:3100/loki/api/v1/push" }}
// --------------------------------------------------------// 8. TRACES (Recepción y Envío a Tempo)// --------------------------------------------------------otelcol.receiver.otlp "default" { http {} grpc {} output { traces = [otelcol.exporter.otlp.tempo.input] }}
otelcol.exporter.otlp "tempo" { client { endpoint = "172.20.0.151:4317" tls { insecure = true } }}- Crearemos el servicio de Systemd para Alloy:
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF[Unit]Description=Grafana AlloyAfter=network.target
[Service]ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloyRestart=always
[Install]WantedBy=multi-user.targetEOF- Ejecutaremos Alloy (Para recopilar y enviar datos en segundo plano):
sudo systemctl daemon-reloadsudo systemctl enable --now alloyFASE 4: Visualización y Simulaciones de Estrés
Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»Para comprobar que todo funciona, abriremos Grafana (http://172.20.0.166:3000), iremos a Explore y probaremos los Data Sources.
4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)
Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»Simulación 1: Ataque de Fuerza Bruta (Genera Logs y Latencia) Lanzaremos 50 peticiones simultáneas contra el login de WordPress para generar ruido en los logs de Apache y subir la latencia.
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; doneEn Grafana -> Explore -> Loki: Buscaremos {job="apache"} y veremos todos los accesos registrándose en tiempo real.
Simulación 2: Saturación de CPU (Genera Métricas altas) Esta comando estresará un núcleo de la CPU al máximo.
yes > /dev/null &En Grafana -> Explore -> Prometheus (Mimir): Buscaremos node_cpu_seconds_total (Por CPU) o mysql_up (Para verificar que la base de datos funciona).
(Para detener la saturación de CPU, ejecutaremos killall yes).
Verificación de Traces: En Grafana -> Explore -> Tempo: Buscaremos service.name="wordpress" para ver el recorrido de las peticiones HTTP que hemos hecho.
FASE 5: Dashboards Oficiales Recomendados
Sección titulada «FASE 5: Dashboards Oficiales Recomendados»Como Alloy está utilizando los exportadores estándar (Node, Apache, MySQL), no tenemos que crear los gráficos desde cero. Podemos importar plantillas oficiales de la comunidad de Grafana.
Instrucciones de Importación:
- Iremos a nuestro Grafana (
http://172.20.0.166:3000). - En el menú de la izquierda, haremos clic en el símbolo ”+” -> Import.
- En el cuadro “Import via grafana.com”, introduciremos uno de los IDs que dejamos a continuación y pulsaremos Load.
- Seleccionaremos nuestro Data Source (Prometheus/Mimir) en el desplegable de abajo y pulsaremos Import.
Plantillas a Importar:
Sección titulada «Plantillas a Importar:»- ID
1860(Node Exporter Full): Este es el dashboard más famoso del mundo para ver la salud del servidor físico. Nos mostrará el uso de CPU, espacio en Disco restante de nuestro servidor WordPress, uso de RAM, ancho de banda de red, etc. - ID
3894(Apache Overview): Nos mostrará en tiempo real cuántas peticiones web están entrando en nuestro WordPress, el tiempo de respuesta, los trabajadores activos y los bytes transferidos. - ID
7362(MySQL Overview): Nos dará visibilidad sobre el motor de base de datos de WordPress: consultas por segundo, conexiones activas, memoria cache y rendimiento del motor InnoDB.
¿Y los Logs y Traces?
Loki (Logs) y Tempo (Traces) se suelen visualizar mejor a través de la pestaña Explore de Grafana. Si queremos agregarlos a un Dashboard, solo tenemos que editar cualquier panel importado, agregar una nueva consulta (Query), seleccionar como Data Source “Loki” y escribir {job="apache"} para tener los logs de acceso a la web al lado de las gráficas de CPU.

