Ir al contenido

Architektúra distribuovanej observability s Grafana Stackom

Autor: Tím Portelcore Cieľ: Naším cieľom je nasadiť kompletné prostredie pozorovateľnosti pomocou Grafana, Mimir, Loki, Tempo a Alloy...

0lecturas

Autor: Tím Portelcore Objetivo: Naším cieľom je nasadiť kompletné prostredie pozorovateľnosti pomocou Grafana, Mimir, Loki, Tempo a Alloy na Ubuntu 24.04 LTS na zhromažďovanie a analýzu metrík, logov a stopových údajov webovej aplikácie (WordPress).

Disponujeme 3 servermi Ubuntu 24.04 LTS s nasledujúcimi úlohami:

ServerÚloha / SlužbyIP adresa
Server 1 (Backend)Mimir (Metriky) + Loki (Logy) + Tempo (Traces)172.20.0.151
Server 2 (Frontend)Grafana (UI vizualizačné rozhranie)172.20.0.166
Server 3 (Aplikácia/Agent)Webový server (WordPress) + Grafana Alloy (Agent)172.20.0.176

FÁZA 0: Počiatočná príprava (na 3 serveroch)

Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»

Pred začatím musíme spustiť tieto príkazy na všetkých 3 serveroch, aby sme sa uistili, že systém je aktualizovaný, má správnu časovú zónu a obsahuje potrebné nástroje.

Ventana de terminal
sudo apt update && sudo apt upgrade -y
sudo timedatectl set-timezone Europe/Madrid
sudo apt install curl wget unzip nano -y

Spustíme na Serveri 1 (172.20.0.151)

Tento server prijme všetky dáta odoslané agentmi. Aby sme ich mohli profesionálne spravovať, vytvoríme služby systemd, ktoré budú bežať na pozadí a automaticky sa spustia spolu so systémom.

  1. Stiahneme a nainštalujeme binárny súbor:
Ventana de terminal
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64
chmod +x mimir-linux-amd64
sudo mv mimir-linux-amd64 /usr/local/bin/mimir
  1. Vytvoríme konfiguráciu a adresáre:
Ventana de terminal
sudo mkdir -p /etc/mimir
sudo mkdir -p /var/lib/mimir/blocks
sudo mkdir -p /var/lib/mimir/compactor
sudo nano /etc/mimir/mimir.yaml

Do mimir.yaml vložíme nasledujúci obsah:

multitenancy_enabled: false
server:
http_listen_port: 9009
grpc_listen_port: 9096
blocks_storage:
backend: filesystem
filesystem:
dir: /var/lib/mimir/blocks
ingester:
ring:
replication_factor: 1
kvstore:
store: inmemory
compactor:
data_dir: /var/lib/mimir/compactor
  1. Vytvoríme Systemd službu pre Mimir:
Ventana de terminal
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF
[Unit]
Description=Grafana Mimir
After=network.target
[Service]
ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. Stiahneme a nainštalujeme binárny súbor:
Ventana de terminal
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zip
unzip loki-linux-amd64.zip
chmod +x loki-linux-amd64
sudo mv loki-linux-amd64 /usr/local/bin/loki
  1. Vytvoríme konfiguráciu a adresáre:
Ventana de terminal
sudo mkdir -p /etc/loki
sudo mkdir -p /var/lib/loki/chunks
sudo mkdir -p /var/lib/loki/rules
sudo nano /etc/loki/loki.yaml

Do loki.yaml vložíme nasledujúci obsah:

auth_enabled: false
server:
http_listen_port: 3100
grpc_listen_port: 9097
common:
path_prefix: /var/lib/loki
storage:
filesystem:
chunks_directory: /var/lib/loki/chunks
rules_directory: /var/lib/loki/rules
replication_factor: 1
ring:
kvstore:
store: inmemory
schema_config:
configs:
- from: 2026-01-01
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
  1. Vytvoríme Systemd službu pre Loki:
Ventana de terminal
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF
[Unit]
Description=Grafana Loki
After=network.target
[Service]
ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. Stiahne a nainštalujeme binárny súbor (Fixované na stabilnú verziu v2.10.1):
Ventana de terminal
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gz
tar -xvzf tempo_2.10.1_linux_amd64.tar.gz
sudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/tempo
sudo chmod +x /usr/local/bin/tempo
  1. Vytvoríme konfiguráciu a adresáre:
Ventana de terminal
sudo mkdir -p /etc/tempo
sudo mkdir -p /var/lib/tempo/traces
sudo nano /etc/tempo/tempo.yaml

Do tempo.yaml vložíme nasledujúci obsah:

server:
http_listen_port: 3200
grpc_listen_port: 9095
distributor:
receivers:
otlp:
protocols:
http:
grpc:
storage:
trace:
backend: local
local:
path: /var/lib/tempo/traces
  1. Vytvoríme Systemd službu pre Tempo:
Ventana de terminal
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF
[Unit]
Description=Grafana Tempo
After=network.target
[Service]
ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yaml
Restart=always
[Install]
WantedBy=multi-user.target
EOF

Teraz, keď sme vytvorili pravidlá systemd pre všetky tri, obnovíme konfiguráciu systému a všetky ich zapneme/spustíme naraz jedným príkazom:

Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now mimir loki tempo

(Môžeme overiť, či všetky tri bežia hladko na pozadí pomocou sudo systemctl status mimir loki tempo).

FÁZA 2: Frontendový server (Grafana UI)

Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»

Spustíme na Serveri 2 (172.20.0.166)

  1. Nainštalujeme Grafanu z oficiálneho repozitára:
Ventana de terminal
sudo apt install -y software-properties-common apt-transport-https
sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
echo "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt update
sudo apt install grafana -y
  1. Spustíme a povolíme službu:
Ventana de terminal
sudo systemctl enable --now grafana-server
  1. Prístup k rozhraniu a konfigurácia:
    • Otvoríme náš webový prehliadač a prejdeme na: http://172.20.0.166:3000
    • Prihlásenie: admin / Heslo: admin (budete požiadaní o jeho zmenu).
    • Poďme na Conexiones > Fuentes de datos > Agregar fuente de datos a nakonfigurujeme tieto 3 ukazujúce na Server 1 (172.20.0.151):
      • Prometheus (pre Mimir): URL http://172.20.0.151:9009/prometheus
      • Loki: URL http://172.20.0.151:3100
      • Tempo: URL http://172.20.0.151:3200

Spustíme na Serveri 3 (172.20.0.176)

3.1 Nainštalujeme aplikáciu (WordPress Stack LAMP)

Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»
Ventana de terminal
# 1. Instalamos LAMP
sudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)
sudo a2enmod status
sudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)
sudo mysql -e "CREATE DATABASE wordpress;"
sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"
sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"
sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPress
cd /var/www/html
sudo rm index.html
sudo wget https://wordpress.org/latest.tar.gz
sudo tar -xvzf latest.tar.gz
sudo chown -R www-data:www-data wordpress

Budeme môcť vstúpiť do http://172.20.0.176/wordpress, aby sme dokončili vizuálnu inštaláciu.

3.2 Nainštalujeme a nakonfigurujeme Grafana Alloy (Globálny agent)

Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»
  1. Stiahneme a nainštalujeme binárny súbor:
Ventana de terminal
cd ~
wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zip
unzip alloy-linux-amd64.zip
chmod +x alloy-linux-amd64
sudo mv alloy-linux-amd64 /usr/local/bin/alloy
  1. Vytvoríme úplný konfiguračný súbor:
Ventana de terminal
sudo mkdir -p /etc/alloy
sudo nano /etc/alloy/config.alloy

Vložíme nasledujúci obsah. Táto konfigurácia extrahuje Disk, CPU, Apache, MySQL, Logy a Trace:

Ventana de terminal
logging {
level = "info"
}
// --------------------------------------------------------
// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)
// --------------------------------------------------------
prometheus.exporter.unix "node" {}
prometheus.scrape "node" {
targets = prometheus.exporter.unix.node.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 2. MÉTRICAS DE APACHE (Servidor Web)
// --------------------------------------------------------
prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" {
scrape_uri = "http://localhost/server-status?auto"
}
prometheus.scrape "apache" {
targets = prometheus.exporter.apache.apache.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 3. MÉTRICAS DE MYSQL (Base de Datos)
// --------------------------------------------------------
prometheus.exporter.mysql "mysql" {
data_source_name = "wpuser:password@(localhost:3306)/"
}
prometheus.scrape "mysql" {
targets = prometheus.exporter.mysql.mysql.targets
forward_to = [prometheus.remote_write.mimir.receiver]
}
// --------------------------------------------------------
// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)
// --------------------------------------------------------
prometheus.scrape "backend_services" {
targets = [
{"__address__" = "172.20.0.151:9009", "job" = "mimir"},
{"__address__" = "172.20.0.151:3100", "job" = "loki"},
{"__address__" = "172.20.0.151:3200", "job" = "tempo"},
]
forward_to = [prometheus.remote_write.mimir.receiver]
scrape_interval = "15s"
}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIR
prometheus.remote_write "mimir" {
endpoint {
url = "http://172.20.0.151:9009/api/v1/push"
}
}
// --------------------------------------------------------
// 6. LOGS (Sistema y Apache)
// --------------------------------------------------------
loki.source.file "system_logs" {
targets = [
{__path__ = "/var/log/syslog", "job" = "syslog"},
{__path__ = "/var/log/auth.log", "job" = "auth"},
{__path__ = "/var/log/apache2/*.log", "job" = "apache"},
]
forward_to = [loki.write.loki.receiver]
}
// 7. ENVIAR LOGS A LOKI
loki.write "loki" {
endpoint {
url = "http://172.20.0.151:3100/loki/api/v1/push"
}
}
// --------------------------------------------------------
// 8. TRACES (Recepción y Envío a Tempo)
// --------------------------------------------------------
otelcol.receiver.otlp "default" {
http {}
grpc {}
output {
traces = [otelcol.exporter.otlp.tempo.input]
}
}
otelcol.exporter.otlp "tempo" {
client {
endpoint = "172.20.0.151:4317"
tls {
insecure = true
}
}
}
  1. Vytvoríme Systemd službu pre Alloy:
Ventana de terminal
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF
[Unit]
Description=Grafana Alloy
After=network.target
[Service]
ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloy
Restart=always
[Install]
WantedBy=multi-user.target
EOF
  1. Spustíme Alloy (na zhromažďovanie a odosielanie údajov na pozadí):
Ventana de terminal
sudo systemctl daemon-reload
sudo systemctl enable --now alloy

Aby sme skontrolovali, či všetko funguje, otvoríme Grafanu (http://172.20.0.166:3000), pôjdeme do Explore a vyskúšame zdroje dát (Data Sources).

4.1 Simulácie z nášho zariadenia (alebo zo servera 3)

Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»

Simulación 1: Útok hrubou silou (vytvára protokoly a latenciu) Spustíme 50 súčasných požiadaviek proti prihláseniu WordPressu na vytvorenie hluku v protokoloch Apache a zvýšenie latencie.

Ventana de terminal
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; done

V Grafane -> Explore -> Loki: Budeme hľadať {job="apache"} a budeme vidieť všetky prístupy zaznamenávané v reálnom čase.

Simulación 2: Saturácia CPU (vytvára vysoké metriky) Tento príkaz bude maximálne zaťažovať jedno jadro CPU.

yes > /dev/null &

En Grafana -> Explore -> Prometheus (Mimir): Budeme hľadať node_cpu_seconds_total (podľa CPU) alebo mysql_up (na overenie funkčnosti databáze). (Na zastavenie saturácie CPU spustíme killall yes).

Overenie stôp (Traces): V Grafane -> Explore -> Tempo: Budeme hľadať service.name="wordpress", aby sme videli priebeh HTTP požiadaviek, ktoré sme vykonali.

FÁZA 5: Odporúčané oficiálne dashboardy

Sección titulada «FASE 5: Dashboards Oficiales Recomendados»

Keďže Alloy používa štandardné exportéry (Node, Apache, MySQL), nemusíme vytvárať grafy od nuly. Môžeme importovať oficiálne šablóny z komunity Grafana.

Inštrukcie na importovanie:

  1. Pôjdeme do našej Grafany (http://172.20.0.166:3000).
  2. V ľavom menu klikneme na symbol ”+” -> Import.
  3. V poli „Import via grafana.com“ zadáme jeden z nižšie uvedených ID a stlačíme Load.
  4. V rozbaľovacom zozname nižšie vyberieme náš zdroj dát (Prometheus/Mimir) a stlačíme Import.
  • ID 1860 (Node Exporter Full): Toto je najznámejší dashboard na svete na monitorovanie zdravia fyzického servera. Ukáže nám využitie CPU, zvyšný voľný priestor na disku nášho WordPress servera, využitie RAM, sieťovú šírku pásma atď.
  • ID 3894 (Apache Overview): Ukáže nám v reálnom čase, koľko webových požiadaviek prichádza do nášho WordPressu, čas odozvy, aktívnych workerov a prenesené bajty.
  • ID 7362 (MySQL Overview): Poskytne nám prehľad o databázovom motore WordPress: dotazy za sekundu, aktívne pripojenia, cache pamäť a výkon motora InnoDB.

Čo s protokolmi a stopami? Loki (protokoly) a Tempo (stopy) sa zvyčajne lepšie vizualizujú prostredníctvom karty Explore v Grafane. Ak ich chceme pridať do informačného panela, stačí upraviť ľubovoľný importovaný panel, pridať novú otázku (Query), vybrať ako zdroj údajov „Loki“ a zadať {job="apache"} na zobrazenie protokolov prístupu k webovej stránke vedľa grafov CPU.