Architecture d'observabilité distribuée avec la stack Grafana
Auteur : Équipe Portelcore Objectif : Notre objectif est de déployer un environnement d'observabilité complet en utilisant Grafana, Mimir, Loki, Tempo et Alloy...
Auteur : Équipe Portelcore Objectif : Notre objectif est de déployer un environnement d'observabilité complet en utilisant Grafana, Mimir, Loki, Tempo et Alloy sur Ubuntu 24.04 LTS pour ingérer et analyser les métriques, les journaux et les traces d'une application Web (WordPress).
Architecture et serveurs
Sección titulada «Arquitectura y Servidores»Nous disposons de 3 serveurs Ubuntu 24.04 LTS avec les rôles suivants :
| Serveur | Rôle / Services | Adresse IP |
|---|---|---|
| Serveur 1 (Backend) | Mimir (Métriques) + Loki (Logs) + Tempo (Traces) | 172.20.0.151 |
| Serveur 2 (Frontend) | Grafana (Interface de visualisation UI) | 172.20.0.166 |
| Serveur 3 (App/Agent) | Serveur Web (WordPress) + Grafana Alloy (Agent) | 172.20.0.176 |
PHASE 0 : Préparation initiale (Sur les 3 serveurs)
Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»Avant de commencer, nous devons exécuter ces commandes sur les 3 serveurs pour nous assurer que le système est à jour, dans le bon fuseau horaire et avec les outils nécessaires.
sudo apt update && sudo apt upgrade -ysudo timedatectl set-timezone Europe/Madridsudo apt install curl wget unzip nano -yPHASE 1 : Serveur Backend (Mimir, Loki et Tempo)
Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»Nous exécuterons sur le Serveur 1 (172.20.0.151)
Ce serveur recevra toutes les données envoyées par les agents. Pour les gérer de manière professionnelle, nous créerons des services systemd afin qu'ils s'exécutent en arrière-plan et démarrent automatiquement avec le système.
1.1 Ingestion de métriques : Grafana Mimir (Port 9009)
Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»- Nous téléchargerons et installerons le binaire :
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64chmod +x mimir-linux-amd64sudo mv mimir-linux-amd64 /usr/local/bin/mimir- Nous créerons la configuration et les répertoires :
sudo mkdir -p /etc/mimirsudo mkdir -p /var/lib/mimir/blockssudo mkdir -p /var/lib/mimir/compactorsudo nano /etc/mimir/mimir.yamlNous collerons le contenu suivant dans mimir.yaml :
multitenancy_enabled: false
server: http_listen_port: 9009 grpc_listen_port: 9096
blocks_storage: backend: filesystem filesystem: dir: /var/lib/mimir/blocks
ingester: ring: replication_factor: 1 kvstore: store: inmemory
compactor: data_dir: /var/lib/mimir/compactor- Nous créerons le service Systemd pour Mimir :
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF[Unit]Description=Grafana MimirAfter=network.target
[Service]ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.2 Ingestion de logs : Grafana Loki (Port 3100)
Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»- Nous téléchargerons et installerons le binaire :
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zipunzip loki-linux-amd64.zipchmod +x loki-linux-amd64sudo mv loki-linux-amd64 /usr/local/bin/loki- Nous créerons la configuration et les répertoires :
sudo mkdir -p /etc/lokisudo mkdir -p /var/lib/loki/chunkssudo mkdir -p /var/lib/loki/rulessudo nano /etc/loki/loki.yamlNous collerons le contenu suivant dans loki.yaml :
auth_enabled: false
server: http_listen_port: 3100 grpc_listen_port: 9097
common: path_prefix: /var/lib/loki storage: filesystem: chunks_directory: /var/lib/loki/chunks rules_directory: /var/lib/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
schema_config: configs: - from: 2026-01-01 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h- Nous allons créer le service Systemd pour Loki :
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF[Unit]Description=Grafana LokiAfter=network.target
[Service]ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.3 Ingestion de traces : Grafana Tempo (Port 3200)
Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»- Nous allons télécharger et installer le binaire (fixé à la version stable v2.10.1) :
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gztar -xvzf tempo_2.10.1_linux_amd64.tar.gzsudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/temposudo chmod +x /usr/local/bin/tempo- Nous créerons la configuration et les répertoires :
sudo mkdir -p /etc/temposudo mkdir -p /var/lib/tempo/tracessudo nano /etc/tempo/tempo.yamlNous allons coller le contenu suivant dans tempo.yaml :
server: http_listen_port: 3200 grpc_listen_port: 9095
distributor: receivers: otlp: protocols: http: grpc:
storage: trace: backend: local local: path: /var/lib/tempo/traces- Nous allons créer le service Systemd pour Tempo :
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF[Unit]Description=Grafana TempoAfter=network.target
[Service]ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.4 Nous allons démarrer tous les services en même temps et en arrière-plan
Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»Maintenant que nous avons créé les règles de systemd pour les trois, nous allons recharger la configuration du système et les activer/démarrer tous d'un coup avec une seule commande :
sudo systemctl daemon-reloadsudo systemctl enable --now mimir loki tempo(Nous pouvons vérifier que les trois s'exécutent sans problème en arrière-plan avec sudo systemctl status mimir loki tempo).
PHASE 2 : Serveur Frontend (UI Grafana)
Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»Nous exécuterons sur le Serveur 2 (172.20.0.166)
- Nous installerons Grafana depuis le dépôt officiel :
sudo apt install -y software-properties-common apt-transport-httpssudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.keyecho "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.listsudo apt updatesudo apt install grafana -y- Nous démarrerons et activerons le service :
sudo systemctl enable --now grafana-server- Nous accéderons à l'interface et configurerons :
- Ouvrez votre navigateur web et rendez-vous sur :
http://172.20.0.166:3000 - Identifiant :
admin/ Mot de passe :admin(il vous sera demandé de le changer). - Nous allons à Connexions > Sources de données > Ajouter une source de données et nous configurerons ces 3 en pointant vers le serveur 1 (
172.20.0.151):- Prometheus (Pour Mimir) : URL
http://172.20.0.151:9009/prometheus - Loki : URL
http://172.20.0.151:3100 - Tempo : URL
http://172.20.0.151:3200
- Prometheus (Pour Mimir) : URL
- Ouvrez votre navigateur web et rendez-vous sur :
PHASE 3 : Serveur d'Application (WordPress + Alloy)
Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»Nous exécuterons sur le Serveur 3 (172.20.0.176)
3.1 Nous installerons l'application (Stack LAMP WordPress)
Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»# 1. Instalamos LAMPsudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)sudo a2enmod statussudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)sudo mysql -e "CREATE DATABASE wordpress;"sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPresscd /var/www/htmlsudo rm index.htmlsudo wget https://wordpress.org/latest.tar.gzsudo tar -xvzf latest.tar.gzsudo chown -R www-data:www-data wordpressNous pourrons accéder à http://172.20.0.176/wordpress pour terminer l'installation visuelle.
3.2 Nous installerons et configurerons Grafana Alloy (l'agent global)
Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»- Nous téléchargerons et installerons le binaire :
cd ~wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zipunzip alloy-linux-amd64.zipchmod +x alloy-linux-amd64sudo mv alloy-linux-amd64 /usr/local/bin/alloy- Nous créerons le fichier de configuration complet :
sudo mkdir -p /etc/alloysudo nano /etc/alloy/config.alloyNous collerons le contenu suivant. Cette configuration extrait le disque, le CPU, Apache, MySQL, les logs et les traces :
logging { level = "info"}
// --------------------------------------------------------// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)// --------------------------------------------------------prometheus.exporter.unix "node" {}
prometheus.scrape "node" { targets = prometheus.exporter.unix.node.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 2. MÉTRICAS DE APACHE (Servidor Web)// --------------------------------------------------------prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" { scrape_uri = "http://localhost/server-status?auto"}
prometheus.scrape "apache" { targets = prometheus.exporter.apache.apache.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 3. MÉTRICAS DE MYSQL (Base de Datos)// --------------------------------------------------------prometheus.exporter.mysql "mysql" { data_source_name = "wpuser:password@(localhost:3306)/"}
prometheus.scrape "mysql" { targets = prometheus.exporter.mysql.mysql.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)// --------------------------------------------------------prometheus.scrape "backend_services" { targets = [ {"__address__" = "172.20.0.151:9009", "job" = "mimir"}, {"__address__" = "172.20.0.151:3100", "job" = "loki"}, {"__address__" = "172.20.0.151:3200", "job" = "tempo"}, ] forward_to = [prometheus.remote_write.mimir.receiver] scrape_interval = "15s"}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIRprometheus.remote_write "mimir" { endpoint { url = "http://172.20.0.151:9009/api/v1/push" }}
// --------------------------------------------------------// 6. LOGS (Sistema y Apache)// --------------------------------------------------------loki.source.file "system_logs" { targets = [ {__path__ = "/var/log/syslog", "job" = "syslog"}, {__path__ = "/var/log/auth.log", "job" = "auth"}, {__path__ = "/var/log/apache2/*.log", "job" = "apache"}, ] forward_to = [loki.write.loki.receiver]}
// 7. ENVIAR LOGS A LOKIloki.write "loki" { endpoint { url = "http://172.20.0.151:3100/loki/api/v1/push" }}
// --------------------------------------------------------// 8. TRACES (Recepción y Envío a Tempo)// --------------------------------------------------------otelcol.receiver.otlp "default" { http {} grpc {} output { traces = [otelcol.exporter.otlp.tempo.input] }}
otelcol.exporter.otlp "tempo" { client { endpoint = "172.20.0.151:4317" tls { insecure = true } }}- Nous créerons le service Systemd pour Alloy :
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF[Unit]Description=Grafana AlloyAfter=network.target
[Service]ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloyRestart=always
[Install]WantedBy=multi-user.targetEOF- Nous exécuterons Alloy (pour collecter et envoyer des données en arrière-plan) :
sudo systemctl daemon-reloadsudo systemctl enable --now alloyPHASE 4 : Visualisation et simulations de stress
Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»Pour vérifier que tout fonctionne, nous ouvrirons Grafana (http://172.20.0.166:3000), irons dans Explore et testerons les sources de données.
4.1 Simulations depuis notre équipement (ou depuis le Serveur 3)
Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»Simulation 1 : Attaque par Force Brute (Génère des Journaux et de la Latence) Nous lancerons 50 requêtes simultanées contre la connexion WordPress pour générer du bruit dans les journaux Apache et augmenter la latence.
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; doneDans Grafana -> Explore -> Loki : Nous chercherons {job="apache"} et verrons tous les accès s'enregistrer en temps réel.
Simulation 2 : Saturation du processeur (Génère des Métriques élevées) Cette commande stressera un cœur du processeur à son maximum.
yes > /dev/null &Dans Grafana -> Explore -> Prometheus (Mimir) : Nous chercherons node_cpu_seconds_total (par processeur) ou mysql_up (pour vérifier que la base de données fonctionne).
(Pour arrêter la saturation du processeur, nous exécuterons killall yes).
Vérification des traces : Dans Grafana -> Explore -> Tempo : Nous chercherons service.name="wordpress" pour voir le parcours des requêtes HTTP que nous avons effectuées.
PHASE 5 : Tableaux de bord officiels recommandés
Sección titulada «FASE 5: Dashboards Oficiales Recomendados»Comme Alloy utilise les exportateurs standard (Node, Apache, MySQL), nous n'avons pas besoin de créer les graphiques de zéro. Nous pouvons importer des modèles officiels de la communauté Grafana.
Instructions d'importation :
- Nous irons sur notre Grafana (
http://172.20.0.166:3000). - Dans le menu de gauche, nous cliquerons sur le symbole ”+” -> Import.
- Dans le champ « Import via grafana.com », nous saisirons l'un des ID indiqués ci-dessous et cliquerons sur Load.
- Nous sélectionnerons notre source de données (Prometheus/Mimir) dans le menu déroulant ci-dessous et cliquerons sur Import.
Modèles à importer :
Sección titulada «Plantillas a Importar:»- ID
1860(Node Exporter Full) : C'est le tableau de bord le plus célèbre au monde pour surveiller la santé d'un serveur physique. Il nous montrera l'utilisation du CPU, l'espace disque restant sur notre serveur WordPress, l'utilisation de la RAM, la bande passante réseau, etc. - ID
3894(Apache Overview) : Il nous montrera en temps réel le nombre de requêtes web entrant sur notre WordPress, le temps de réponse, les workers actifs et les octets transférés. - ID
7362(MySQL Overview) : Il nous donnera de la visibilité sur le moteur de base de données de WordPress : requêtes par seconde, connexions actives, mémoire cache et performance du moteur InnoDB.
Et les Journaux et Traces ?
Loki (Journaux) et Tempo (Traces) sont généralement mieux visualisés via l'onglet Explore de Grafana. Si nous voulons les ajouter à un tableau de bord, il suffit d'éditer n'importe quel panneau importé, d'ajouter une nouvelle requête, de sélectionner comme source de données « Loki » et d'écrire {job="apache"} pour avoir les journaux d'accès au Web à côté des graphiques de processeur.

