Architektúra distribuovanej observability s Grafana Stackom
Autor: Tím Portelcore Cieľ: Naším cieľom je nasadiť kompletné prostredie pozorovateľnosti pomocou Grafana, Mimir, Loki, Tempo a Alloy...
Autor: Tím Portelcore Objetivo: Naším cieľom je nasadiť kompletné prostredie pozorovateľnosti pomocou Grafana, Mimir, Loki, Tempo a Alloy na Ubuntu 24.04 LTS na zhromažďovanie a analýzu metrík, logov a stopových údajov webovej aplikácie (WordPress).
Architektúra a servery
Sección titulada «Arquitectura y Servidores»Disponujeme 3 servermi Ubuntu 24.04 LTS s nasledujúcimi úlohami:
| Server | Úloha / Služby | IP adresa |
|---|---|---|
| Server 1 (Backend) | Mimir (Metriky) + Loki (Logy) + Tempo (Traces) | 172.20.0.151 |
| Server 2 (Frontend) | Grafana (UI vizualizačné rozhranie) | 172.20.0.166 |
| Server 3 (Aplikácia/Agent) | Webový server (WordPress) + Grafana Alloy (Agent) | 172.20.0.176 |
FÁZA 0: Počiatočná príprava (na 3 serveroch)
Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»Pred začatím musíme spustiť tieto príkazy na všetkých 3 serveroch, aby sme sa uistili, že systém je aktualizovaný, má správnu časovú zónu a obsahuje potrebné nástroje.
sudo apt update && sudo apt upgrade -ysudo timedatectl set-timezone Europe/Madridsudo apt install curl wget unzip nano -yFÁZA 1: Backend server (Mimir, Loki a Tempo)
Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»Spustíme na Serveri 1 (172.20.0.151)
Tento server prijme všetky dáta odoslané agentmi. Aby sme ich mohli profesionálne spravovať, vytvoríme služby systemd, ktoré budú bežať na pozadí a automaticky sa spustia spolu so systémom.
1.1 Ingestia metrík: Grafana Mimir (Port 9009)
Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»- Stiahneme a nainštalujeme binárny súbor:
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64chmod +x mimir-linux-amd64sudo mv mimir-linux-amd64 /usr/local/bin/mimir- Vytvoríme konfiguráciu a adresáre:
sudo mkdir -p /etc/mimirsudo mkdir -p /var/lib/mimir/blockssudo mkdir -p /var/lib/mimir/compactorsudo nano /etc/mimir/mimir.yamlDo mimir.yaml vložíme nasledujúci obsah:
multitenancy_enabled: false
server: http_listen_port: 9009 grpc_listen_port: 9096
blocks_storage: backend: filesystem filesystem: dir: /var/lib/mimir/blocks
ingester: ring: replication_factor: 1 kvstore: store: inmemory
compactor: data_dir: /var/lib/mimir/compactor- Vytvoríme Systemd službu pre Mimir:
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF[Unit]Description=Grafana MimirAfter=network.target
[Service]ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.2 Ingestia logov: Grafana Loki (Port 3100)
Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»- Stiahneme a nainštalujeme binárny súbor:
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zipunzip loki-linux-amd64.zipchmod +x loki-linux-amd64sudo mv loki-linux-amd64 /usr/local/bin/loki- Vytvoríme konfiguráciu a adresáre:
sudo mkdir -p /etc/lokisudo mkdir -p /var/lib/loki/chunkssudo mkdir -p /var/lib/loki/rulessudo nano /etc/loki/loki.yamlDo loki.yaml vložíme nasledujúci obsah:
auth_enabled: false
server: http_listen_port: 3100 grpc_listen_port: 9097
common: path_prefix: /var/lib/loki storage: filesystem: chunks_directory: /var/lib/loki/chunks rules_directory: /var/lib/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
schema_config: configs: - from: 2026-01-01 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h- Vytvoríme Systemd službu pre Loki:
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF[Unit]Description=Grafana LokiAfter=network.target
[Service]ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.3 Ingestia traces: Grafana Tempo (Port 3200)
Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»- Stiahne a nainštalujeme binárny súbor (Fixované na stabilnú verziu v2.10.1):
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gztar -xvzf tempo_2.10.1_linux_amd64.tar.gzsudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/temposudo chmod +x /usr/local/bin/tempo- Vytvoríme konfiguráciu a adresáre:
sudo mkdir -p /etc/temposudo mkdir -p /var/lib/tempo/tracessudo nano /etc/tempo/tempo.yamlDo tempo.yaml vložíme nasledujúci obsah:
server: http_listen_port: 3200 grpc_listen_port: 9095
distributor: receivers: otlp: protocols: http: grpc:
storage: trace: backend: local local: path: /var/lib/tempo/traces- Vytvoríme Systemd službu pre Tempo:
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF[Unit]Description=Grafana TempoAfter=network.target
[Service]ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.4 Spustíme všetky služby súčasne a na pozadí
Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»Teraz, keď sme vytvorili pravidlá systemd pre všetky tri, obnovíme konfiguráciu systému a všetky ich zapneme/spustíme naraz jedným príkazom:
sudo systemctl daemon-reloadsudo systemctl enable --now mimir loki tempo(Môžeme overiť, či všetky tri bežia hladko na pozadí pomocou sudo systemctl status mimir loki tempo).
FÁZA 2: Frontendový server (Grafana UI)
Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»Spustíme na Serveri 2 (172.20.0.166)
- Nainštalujeme Grafanu z oficiálneho repozitára:
sudo apt install -y software-properties-common apt-transport-httpssudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.keyecho "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.listsudo apt updatesudo apt install grafana -y- Spustíme a povolíme službu:
sudo systemctl enable --now grafana-server- Prístup k rozhraniu a konfigurácia:
- Otvoríme náš webový prehliadač a prejdeme na:
http://172.20.0.166:3000 - Prihlásenie:
admin/ Heslo:admin(budete požiadaní o jeho zmenu). - Poďme na Conexiones > Fuentes de datos > Agregar fuente de datos a nakonfigurujeme tieto 3 ukazujúce na Server 1 (
172.20.0.151):- Prometheus (pre Mimir): URL
http://172.20.0.151:9009/prometheus - Loki: URL
http://172.20.0.151:3100 - Tempo: URL
http://172.20.0.151:3200
- Prometheus (pre Mimir): URL
- Otvoríme náš webový prehliadač a prejdeme na:
FÁZA 3: Aplikačný server (WordPress + Alloy)
Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»Spustíme na Serveri 3 (172.20.0.176)
3.1 Nainštalujeme aplikáciu (WordPress Stack LAMP)
Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»# 1. Instalamos LAMPsudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)sudo a2enmod statussudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)sudo mysql -e "CREATE DATABASE wordpress;"sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPresscd /var/www/htmlsudo rm index.htmlsudo wget https://wordpress.org/latest.tar.gzsudo tar -xvzf latest.tar.gzsudo chown -R www-data:www-data wordpressBudeme môcť vstúpiť do http://172.20.0.176/wordpress, aby sme dokončili vizuálnu inštaláciu.
3.2 Nainštalujeme a nakonfigurujeme Grafana Alloy (Globálny agent)
Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»- Stiahneme a nainštalujeme binárny súbor:
cd ~wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zipunzip alloy-linux-amd64.zipchmod +x alloy-linux-amd64sudo mv alloy-linux-amd64 /usr/local/bin/alloy- Vytvoríme úplný konfiguračný súbor:
sudo mkdir -p /etc/alloysudo nano /etc/alloy/config.alloyVložíme nasledujúci obsah. Táto konfigurácia extrahuje Disk, CPU, Apache, MySQL, Logy a Trace:
logging { level = "info"}
// --------------------------------------------------------// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)// --------------------------------------------------------prometheus.exporter.unix "node" {}
prometheus.scrape "node" { targets = prometheus.exporter.unix.node.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 2. MÉTRICAS DE APACHE (Servidor Web)// --------------------------------------------------------prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" { scrape_uri = "http://localhost/server-status?auto"}
prometheus.scrape "apache" { targets = prometheus.exporter.apache.apache.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 3. MÉTRICAS DE MYSQL (Base de Datos)// --------------------------------------------------------prometheus.exporter.mysql "mysql" { data_source_name = "wpuser:password@(localhost:3306)/"}
prometheus.scrape "mysql" { targets = prometheus.exporter.mysql.mysql.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)// --------------------------------------------------------prometheus.scrape "backend_services" { targets = [ {"__address__" = "172.20.0.151:9009", "job" = "mimir"}, {"__address__" = "172.20.0.151:3100", "job" = "loki"}, {"__address__" = "172.20.0.151:3200", "job" = "tempo"}, ] forward_to = [prometheus.remote_write.mimir.receiver] scrape_interval = "15s"}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIRprometheus.remote_write "mimir" { endpoint { url = "http://172.20.0.151:9009/api/v1/push" }}
// --------------------------------------------------------// 6. LOGS (Sistema y Apache)// --------------------------------------------------------loki.source.file "system_logs" { targets = [ {__path__ = "/var/log/syslog", "job" = "syslog"}, {__path__ = "/var/log/auth.log", "job" = "auth"}, {__path__ = "/var/log/apache2/*.log", "job" = "apache"}, ] forward_to = [loki.write.loki.receiver]}
// 7. ENVIAR LOGS A LOKIloki.write "loki" { endpoint { url = "http://172.20.0.151:3100/loki/api/v1/push" }}
// --------------------------------------------------------// 8. TRACES (Recepción y Envío a Tempo)// --------------------------------------------------------otelcol.receiver.otlp "default" { http {} grpc {} output { traces = [otelcol.exporter.otlp.tempo.input] }}
otelcol.exporter.otlp "tempo" { client { endpoint = "172.20.0.151:4317" tls { insecure = true } }}- Vytvoríme Systemd službu pre Alloy:
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF[Unit]Description=Grafana AlloyAfter=network.target
[Service]ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloyRestart=always
[Install]WantedBy=multi-user.targetEOF- Spustíme Alloy (na zhromažďovanie a odosielanie údajov na pozadí):
sudo systemctl daemon-reloadsudo systemctl enable --now alloyFÁZA 4: Vizualizácia a stresové simulácie
Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»Aby sme skontrolovali, či všetko funguje, otvoríme Grafanu (http://172.20.0.166:3000), pôjdeme do Explore a vyskúšame zdroje dát (Data Sources).
4.1 Simulácie z nášho zariadenia (alebo zo servera 3)
Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»Simulación 1: Útok hrubou silou (vytvára protokoly a latenciu) Spustíme 50 súčasných požiadaviek proti prihláseniu WordPressu na vytvorenie hluku v protokoloch Apache a zvýšenie latencie.
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; doneV Grafane -> Explore -> Loki: Budeme hľadať {job="apache"} a budeme vidieť všetky prístupy zaznamenávané v reálnom čase.
Simulación 2: Saturácia CPU (vytvára vysoké metriky) Tento príkaz bude maximálne zaťažovať jedno jadro CPU.
yes > /dev/null &En Grafana -> Explore -> Prometheus (Mimir): Budeme hľadať node_cpu_seconds_total (podľa CPU) alebo mysql_up (na overenie funkčnosti databáze).
(Na zastavenie saturácie CPU spustíme killall yes).
Overenie stôp (Traces): V Grafane -> Explore -> Tempo: Budeme hľadať service.name="wordpress", aby sme videli priebeh HTTP požiadaviek, ktoré sme vykonali.
FÁZA 5: Odporúčané oficiálne dashboardy
Sección titulada «FASE 5: Dashboards Oficiales Recomendados»Keďže Alloy používa štandardné exportéry (Node, Apache, MySQL), nemusíme vytvárať grafy od nuly. Môžeme importovať oficiálne šablóny z komunity Grafana.
Inštrukcie na importovanie:
- Pôjdeme do našej Grafany (
http://172.20.0.166:3000). - V ľavom menu klikneme na symbol ”+” -> Import.
- V poli „Import via grafana.com“ zadáme jeden z nižšie uvedených ID a stlačíme Load.
- V rozbaľovacom zozname nižšie vyberieme náš zdroj dát (Prometheus/Mimir) a stlačíme Import.
Šablóny na import:
Sección titulada «Plantillas a Importar:»- ID
1860(Node Exporter Full): Toto je najznámejší dashboard na svete na monitorovanie zdravia fyzického servera. Ukáže nám využitie CPU, zvyšný voľný priestor na disku nášho WordPress servera, využitie RAM, sieťovú šírku pásma atď. - ID
3894(Apache Overview): Ukáže nám v reálnom čase, koľko webových požiadaviek prichádza do nášho WordPressu, čas odozvy, aktívnych workerov a prenesené bajty. - ID
7362(MySQL Overview): Poskytne nám prehľad o databázovom motore WordPress: dotazy za sekundu, aktívne pripojenia, cache pamäť a výkon motora InnoDB.
Čo s protokolmi a stopami?
Loki (protokoly) a Tempo (stopy) sa zvyčajne lepšie vizualizujú prostredníctvom karty Explore v Grafane. Ak ich chceme pridať do informačného panela, stačí upraviť ľubovoľný importovaný panel, pridať novú otázku (Query), vybrať ako zdroj údajov „Loki“ a zadať {job="apache"} na zobrazenie protokolov prístupu k webovej stránke vedľa grafov CPU.

