Ir al contenido

Architecture d'observabilité distribuée avec la stack Grafana

Auteur : Équipe Portelcore Objectif : Notre objectif est de déployer un environnement d'observabilité complet en utilisant Grafana, Mimir, Loki, Tempo et Alloy...

0vues

Auteur : Équipe Portelcore Objectif : Notre objectif est de déployer un environnement d'observabilité complet en utilisant Grafana, Mimir, Loki, Tempo et Alloy sur Ubuntu 24.04 LTS pour ingérer et analyser les métriques, les journaux et les traces d'une application Web (WordPress).

Nous disposons de 3 serveurs Ubuntu 24.04 LTS avec les rôles suivants :

ServeurRôle / ServicesAdresse IP
Serveur 1 (Backend)Mimir (Métriques) + Loki (Logs) + Tempo (Traces)172.20.0.151
Serveur 2 (Frontend)Grafana (Interface de visualisation UI)172.20.0.166
Serveur 3 (App/Agent)Serveur Web (WordPress) + Grafana Alloy (Agent)172.20.0.176

PHASE 0 : Préparation initiale (Sur les 3 serveurs)

Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»

Avant de commencer, nous devons exécuter ces commandes sur les 3 serveurs pour nous assurer que le système est à jour, dans le bon fuseau horaire et avec les outils nécessaires.

Ventana de terminal
sudo apt update && sudo apt upgrade -y
sudo timedatectl set-timezone Europe/Madrid
sudo apt install curl wget unzip nano -y

PHASE 1 : Serveur Backend (Mimir, Loki et Tempo)

Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»

Nous exécuterons sur le Serveur 1 (172.20.0.151)

Ce serveur recevra toutes les données envoyées par les agents. Pour les gérer de manière professionnelle, nous créerons des services systemd afin qu'ils s'exécutent en arrière-plan et démarrent automatiquement avec le système.

1.1 Ingestion de métriques : Grafana Mimir (Port 9009)

Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»
  1. Nous téléchargerons et installerons le binaire :
Ventana de terminal
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64
chmod +x mimir-linux-amd64
sudo mv mimir-linux-amd64 /usr/local/bin/mimir
  1. Nous créerons la configuration et les répertoires :
Ventana de terminal
sudo mkdir -p /etc/mimir
sudo mkdir -p /var/lib/mimir/blocks
sudo mkdir -p /var/lib/mimir/compactor
sudo nano /etc/mimir/mimir.yaml

Nous collerons le contenu suivant dans mimir.yaml :

multitenancy_enabled: false
server:
http_listen_port: 9009
grpc_listen_port: 9096
blocks_storage:
backend: filesystem
filesystem:
dir: /var/lib/mimir/blocks
ingester:
ring:
replication_factor: 1
kvstore:
store: inmemory
compactor:
data_dir: /var/lib/mimir/compactor
  1. Nous créerons le service Systemd pour Mimir :
Ventana de terminal
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF
[Unit]
Description=Grafana Mimir
After=network.target
[Service]
ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.2 Ingestion de logs : Grafana Loki (Port 3100)

Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»
  1. Nous téléchargerons et installerons le binaire :
Ventana de terminal
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zip
unzip loki-linux-amd64.zip
chmod +x loki-linux-amd64
sudo mv loki-linux-amd64 /usr/local/bin/loki
  1. Nous créerons la configuration et les répertoires :
Ventana de terminal
sudo mkdir -p /etc/loki
sudo mkdir -p /var/lib/loki/chunks
sudo mkdir -p /var/lib/loki/rules
sudo nano /etc/loki/loki.yaml

Nous collerons le contenu suivant dans loki.yaml :

auth_enabled: false
server:
http_listen_port: 3100
grpc_listen_port: 9097
common:
path_prefix: /var/lib/loki
storage:
filesystem:
chunks_directory: /var/lib/loki/chunks
rules_directory: /var/lib/loki/rules
replication_factor: 1
ring:
kvstore:
store: inmemory
schema_config:
configs:
- from: 2026-01-01
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
  1. Nous allons créer le service Systemd pour Loki :
Ventana de terminal
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF
[Unit]
Description=Grafana Loki
After=network.target
[Service]
ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.3 Ingestion de traces : Grafana Tempo (Port 3200)

Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»
  1. Nous allons télécharger et installer le binaire (fixé à la version stable v2.10.1) :
Ventana de terminal
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gz
tar -xvzf tempo_2.10.1_linux_amd64.tar.gz
sudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/tempo
sudo chmod +x /usr/local/bin/tempo
  1. Nous créerons la configuration et les répertoires :
Ventana de terminal
sudo mkdir -p /etc/tempo
sudo mkdir -p /var/lib/tempo/traces
sudo nano /etc/tempo/tempo.yaml

Nous allons coller le contenu suivant dans tempo.yaml :

server:
http_listen_port: 3200
grpc_listen_port: 9095
distributor:
receivers:
otlp:
protocols:
http:
grpc:
storage:
trace:
backend: local
local:
path: /var/lib/tempo/traces
  1. Nous allons créer le service Systemd pour Tempo :
Ventana de terminal
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF
[Unit]
Description=Grafana Tempo
After=network.target
[Service]
ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

1.4 Nous allons démarrer tous les services en même temps et en arrière-plan

Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»

Maintenant que nous avons créé les règles de systemd pour les trois, nous allons recharger la configuration du système et les activer/démarrer tous d'un coup avec une seule commande :

Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now mimir loki tempo

(Nous pouvons vérifier que les trois s'exécutent sans problème en arrière-plan avec sudo systemctl status mimir loki tempo).

Nous exécuterons sur le Serveur 2 (172.20.0.166)

  1. Nous installerons Grafana depuis le dépôt officiel :
Ventana de terminal
sudo apt install -y software-properties-common apt-transport-https
sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
echo "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt update
sudo apt install grafana -y
  1. Nous démarrerons et activerons le service :
Ventana de terminal
sudo systemctl enable --now grafana-server
  1. Nous accéderons à l'interface et configurerons :
    • Ouvrez votre navigateur web et rendez-vous sur : http://172.20.0.166:3000
    • Identifiant : admin / Mot de passe : admin (il vous sera demandé de le changer).
    • Nous allons à Connexions > Sources de données > Ajouter une source de données et nous configurerons ces 3 en pointant vers le serveur 1 (172.20.0.151):
      • Prometheus (Pour Mimir) : URL http://172.20.0.151:9009/prometheus
      • Loki : URL http://172.20.0.151:3100
      • Tempo : URL http://172.20.0.151:3200

PHASE 3 : Serveur d'Application (WordPress + Alloy)

Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»

Nous exécuterons sur le Serveur 3 (172.20.0.176)

3.1 Nous installerons l'application (Stack LAMP WordPress)

Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»
Ventana de terminal
# 1. Instalamos LAMP
sudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)
sudo a2enmod status
sudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)
sudo mysql -e "CREATE DATABASE wordpress;"
sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"
sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"
sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPress
cd /var/www/html
sudo rm index.html
sudo wget https://wordpress.org/latest.tar.gz
sudo tar -xvzf latest.tar.gz
sudo chown -R www-data:www-data wordpress

Nous pourrons accéder à http://172.20.0.176/wordpress pour terminer l'installation visuelle.

3.2 Nous installerons et configurerons Grafana Alloy (l'agent global)

Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»
  1. Nous téléchargerons et installerons le binaire :
Ventana de terminal
cd ~
wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zip
unzip alloy-linux-amd64.zip
chmod +x alloy-linux-amd64
sudo mv alloy-linux-amd64 /usr/local/bin/alloy
  1. Nous créerons le fichier de configuration complet :
Ventana de terminal
sudo mkdir -p /etc/alloy
sudo nano /etc/alloy/config.alloy

Nous collerons le contenu suivant. Cette configuration extrait le disque, le CPU, Apache, MySQL, les logs et les traces :

Ventana de terminal
logging {
level = "info"
}
// --------------------------------------------------------
// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)
// --------------------------------------------------------
prometheus.exporter.unix "node" {}
prometheus.scrape "node" {
targets = prometheus.exporter.unix.node.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 2. MÉTRICAS DE APACHE (Servidor Web)
// --------------------------------------------------------
prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" {
scrape_uri = "http://localhost/server-status?auto"
}
prometheus.scrape "apache" {
targets = prometheus.exporter.apache.apache.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 3. MÉTRICAS DE MYSQL (Base de Datos)
// --------------------------------------------------------
prometheus.exporter.mysql "mysql" {
data_source_name = "wpuser:password@(localhost:3306)/"
}
prometheus.scrape "mysql" {
targets = prometheus.exporter.mysql.mysql.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)
// --------------------------------------------------------
prometheus.scrape "backend_services" {
targets = [
{"__address__" = "172.20.0.151:9009", "job" = "mimir"},
{"__address__" = "172.20.0.151:3100", "job" = "loki"},
{"__address__" = "172.20.0.151:3200", "job" = "tempo"},
]
forward_to = [prometheus.remote_write.mimir.receiver]
scrape_interval = "15s"
}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIR
prometheus.remote_write "mimir" {
endpoint {
url = "http://172.20.0.151:9009/api/v1/push"
}
}
// --------------------------------------------------------
// 6. LOGS (Sistema y Apache)
// --------------------------------------------------------
loki.source.file "system_logs" {
targets = [
{__path__ = "/var/log/syslog", "job" = "syslog"},
{__path__ = "/var/log/auth.log", "job" = "auth"},
{__path__ = "/var/log/apache2/*.log", "job" = "apache"},
]
forward_to = [loki.write.loki.receiver]
}
// 7. ENVIAR LOGS A LOKI
loki.write "loki" {
endpoint {
url = "http://172.20.0.151:3100/loki/api/v1/push"
}
}
// --------------------------------------------------------
// 8. TRACES (Recepción y Envío a Tempo)
// --------------------------------------------------------
otelcol.receiver.otlp "default" {
http {}
grpc {}
output {
traces = [otelcol.exporter.otlp.tempo.input]
}
}
otelcol.exporter.otlp "tempo" {
client {
endpoint = "172.20.0.151:4317"
tls {
insecure = true
}
}
}
  1. Nous créerons le service Systemd pour Alloy :
Ventana de terminal
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF
[Unit]
Description=Grafana Alloy
After=network.target
[Service]
ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloy
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. Nous exécuterons Alloy (pour collecter et envoyer des données en arrière-plan) :
Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now alloy

PHASE 4 : Visualisation et simulations de stress

Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»

Pour vérifier que tout fonctionne, nous ouvrirons Grafana (http://172.20.0.166:3000), irons dans Explore et testerons les sources de données.

4.1 Simulations depuis notre équipement (ou depuis le Serveur 3)

Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»

Simulation 1 : Attaque par Force Brute (Génère des Journaux et de la Latence) Nous lancerons 50 requêtes simultanées contre la connexion WordPress pour générer du bruit dans les journaux Apache et augmenter la latence.

Ventana de terminal
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; done

Dans Grafana -> Explore -> Loki : Nous chercherons {job="apache"} et verrons tous les accès s'enregistrer en temps réel.

Simulation 2 : Saturation du processeur (Génère des Métriques élevées) Cette commande stressera un cœur du processeur à son maximum.

yes > /dev/null &

Dans Grafana -> Explore -> Prometheus (Mimir) : Nous chercherons node_cpu_seconds_total (par processeur) ou mysql_up (pour vérifier que la base de données fonctionne). (Pour arrêter la saturation du processeur, nous exécuterons killall yes).

Vérification des traces : Dans Grafana -> Explore -> Tempo : Nous chercherons service.name="wordpress" pour voir le parcours des requêtes HTTP que nous avons effectuées.

PHASE 5 : Tableaux de bord officiels recommandés

Sección titulada «FASE 5: Dashboards Oficiales Recomendados»

Comme Alloy utilise les exportateurs standard (Node, Apache, MySQL), nous n'avons pas besoin de créer les graphiques de zéro. Nous pouvons importer des modèles officiels de la communauté Grafana.

Instructions d'importation :

  1. Nous irons sur notre Grafana (http://172.20.0.166:3000).
  2. Dans le menu de gauche, nous cliquerons sur le symbole ”+” -> Import.
  3. Dans le champ « Import via grafana.com », nous saisirons l'un des ID indiqués ci-dessous et cliquerons sur Load.
  4. Nous sélectionnerons notre source de données (Prometheus/Mimir) dans le menu déroulant ci-dessous et cliquerons sur Import.
  • ID 1860 (Node Exporter Full) : C'est le tableau de bord le plus célèbre au monde pour surveiller la santé d'un serveur physique. Il nous montrera l'utilisation du CPU, l'espace disque restant sur notre serveur WordPress, l'utilisation de la RAM, la bande passante réseau, etc.
  • ID 3894 (Apache Overview) : Il nous montrera en temps réel le nombre de requêtes web entrant sur notre WordPress, le temps de réponse, les workers actifs et les octets transférés.
  • ID 7362 (MySQL Overview) : Il nous donnera de la visibilité sur le moteur de base de données de WordPress : requêtes par seconde, connexions actives, mémoire cache et performance du moteur InnoDB.

Et les Journaux et Traces ? Loki (Journaux) et Tempo (Traces) sont généralement mieux visualisés via l'onglet Explore de Grafana. Si nous voulons les ajouter à un tableau de bord, il suffit d'éditer n'importe quel panneau importé, d'ajouter une nouvelle requête, de sélectionner comme source de données « Loki » et d'écrire {job="apache"} pour avoir les journaux d'accès au Web à côté des graphiques de processeur.