Grafanaスタックを用いた分散観測アーキテクチャ
著者:Portelcore チーム 目的:Grafana、Mimir、Loki、Tempo、Alloy を使用して、完全なオブザーバビリティ環境を構築することを目指します...
著者:Portelcore チーム 目的:Grafana、Mimir、Loki、Tempo、Alloy を使用し、Ubuntu 24.04 LTS 上に完全なオブザーバビリティ環境を構築して、Web アプリケーション(WordPress)のメトリクス、ログ、トレースを取り込み・分析することを目指します。
アーキテクチャとサーバー
Sección titulada «Arquitectura y Servidores»以下の役割を持つ3台のUbuntu 24.04 LTSサーバーを用意しています:
| サーバー | 役割 / サービス | IPアドレス |
|---|---|---|
| サーバー 1 (バックエンド) | Mimir (メトリクス) + Loki (ログ) + Tempo (トレース) | 172.20.0.151 |
| サーバー2 (フロントエンド) | Grafana (UIビジュアルインターフェース) | 172.20.0.166 |
| サーバー3 (アプリ/エージェント) | ウェブサーバー (WordPress) + Grafana Alloy (エージェント) | 172.20.0.176 |
フェーズ 0: 初期準備 (3台のサーバーで)
Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»開始する前に、これらのコマンドを3台のサーバーで実行する必要があります。これにより、システムが最新で、正しいタイムゾーンに設定され、必要なツールがインストールされていることを確認できます。
sudo apt update && sudo apt upgrade -ysudo timedatectl set-timezone Europe/Madridsudo apt install curl wget unzip nano -yフェーズ 1: バックエンドサーバー (Mimir, Loki, Tempo)
Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»サーバー1で実行します (172.20.0.151)
このサーバーはエージェントから送信されたすべてのデータを受け取ります。プロフェッショナルに管理するため、systemdのサービスを作成し、バックグラウンドで実行し、システム起動時に自動的に開始するようにします。
1.1 メトリクスのインジェスト: Grafana Mimir (ポート 9009)
Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»- バイナリをダウンロードおよびインストールします:
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64chmod +x mimir-linux-amd64sudo mv mimir-linux-amd64 /usr/local/bin/mimir- 設定およびディレクトリを作成します:
sudo mkdir -p /etc/mimirsudo mkdir -p /var/lib/mimir/blockssudo mkdir -p /var/lib/mimir/compactorsudo nano /etc/mimir/mimir.yamlmimir.yamlに次のコンテンツを貼り付けます:
multitenancy_enabled: false
server: http_listen_port: 9009 grpc_listen_port: 9096
blocks_storage: backend: filesystem filesystem: dir: /var/lib/mimir/blocks
ingester: ring: replication_factor: 1 kvstore: store: inmemory
compactor: data_dir: /var/lib/mimir/compactor- Grafana Mimir用のSystemdサービスを作成します:
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF[Unit]Description=Grafana MimirAfter=network.target
[Service]ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.2 ログのインジェスト: Grafana Loki (ポート 3100)
Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»- バイナリをダウンロードおよびインストールします:
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zipunzip loki-linux-amd64.zipchmod +x loki-linux-amd64sudo mv loki-linux-amd64 /usr/local/bin/loki- 設定およびディレクトリを作成します:
sudo mkdir -p /etc/lokisudo mkdir -p /var/lib/loki/chunkssudo mkdir -p /var/lib/loki/rulessudo nano /etc/loki/loki.yamlloki.yamlに次のコンテンツを貼り付けます:
auth_enabled: false
server: http_listen_port: 3100 grpc_listen_port: 9097
common: path_prefix: /var/lib/loki storage: filesystem: chunks_directory: /var/lib/loki/chunks rules_directory: /var/lib/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
schema_config: configs: - from: 2026-01-01 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h- Grafana Loki用のSystemdサービスを作成します:
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF[Unit]Description=Grafana LokiAfter=network.target
[Service]ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.3 トレースのインジェスト: Grafana Tempo (ポート 3200)
Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»- バージョン安定版 v2.10.1に固定されたバイナリをダウンロードおよびインストールします:
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gztar -xvzf tempo_2.10.1_linux_amd64.tar.gzsudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/temposudo chmod +x /usr/local/bin/tempo- 設定およびディレクトリを作成します:
sudo mkdir -p /etc/temposudo mkdir -p /var/lib/tempo/tracessudo nano /etc/tempo/tempo.yamltempo.yamlに次のコンテンツを貼り付けます:
server: http_listen_port: 3200 grpc_listen_port: 9095
distributor: receivers: otlp: protocols: http: grpc:
storage: trace: backend: local local: path: /var/lib/tempo/traces- Grafana Tempo用のSystemdサービスを作成します:
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF[Unit]Description=Grafana TempoAfter=network.target
[Service]ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.4 すべてのサービスを同時にバックグラウンドで起動します
Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»今、systemdのルールを3つ作成しました。システムの設定を再読み込みし、一度にすべてを有効化/起動します。
sudo systemctl daemon-reloadsudo systemctl enable --now mimir loki temposudo systemctl status mimir loki tempoを使用して、3つがバックグラウンドで順調に動作していることを確認できます。
フェーズ2: フロントエンドサーバー (Grafana UI)
Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»サーバー2 (172.20.0.166)で実行します
- 公式リポジトリからGrafanaをインストールします:
sudo apt install -y software-properties-common apt-transport-httpssudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.keyecho "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.listsudo apt updatesudo apt install grafana -y- サービスを開始し、有効にします:
sudo systemctl enable --now grafana-server- インターフェースにアクセスし、以下を設定します:
- ブラウザを開き、
http://172.20.0.166:3000に移動します - ログイン:
admin/ パスワード:admin(変更を求めるでしょう)。 - 接続 > データソース > データソースを追加に移動し、サーバー 1(
172.20.0.151)を指すようにこれら 3 つを設定します:- Prometheus (Mimir用): URL
http://172.20.0.151:9009/prometheus - Loki: URL
http://172.20.0.151:3100 - Tempo: URL
http://172.20.0.151:3200
- Prometheus (Mimir用): URL
- ブラウザを開き、
フェーズ3: アプリケーションサーバー (WordPress + Alloy)
Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»サーバー3 (172.20.0.176)で実行します
3.1 WordPressスタック LAMPのアプリケーションをインストールします
Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»# 1. Instalamos LAMPsudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)sudo a2enmod statussudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)sudo mysql -e "CREATE DATABASE wordpress;"sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPresscd /var/www/htmlsudo rm index.htmlsudo wget https://wordpress.org/latest.tar.gzsudo tar -xvzf latest.tar.gzsudo chown -R www-data:www-data wordpresshttp://172.20.0.176/wordpressにアクセスして、視覚的なインストールを完了できます。
3.2 Grafana Alloy(グローバルエージェント)をインストールおよび設定します
Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»- バイナリをダウンロードおよびインストールします:
cd ~wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zipunzip alloy-linux-amd64.zipchmod +x alloy-linux-amd64sudo mv alloy-linux-amd64 /usr/local/bin/alloy- 完全な構成ファイルを作成します:
sudo mkdir -p /etc/alloysudo nano /etc/alloy/config.alloy次のコンテンツを貼り付けます。この設定はディスク、CPU、Apache、MySQL、ログ、トレースを収集します:
logging { level = "info"}
// --------------------------------------------------------// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)// --------------------------------------------------------prometheus.exporter.unix "node" {}
prometheus.scrape "node" { targets = prometheus.exporter.unix.node.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 2. MÉTRICAS DE APACHE (Servidor Web)// --------------------------------------------------------prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" { scrape_uri = "http://localhost/server-status?auto"}
prometheus.scrape "apache" { targets = prometheus.exporter.apache.apache.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 3. MÉTRICAS DE MYSQL (Base de Datos)// --------------------------------------------------------prometheus.exporter.mysql "mysql" { data_source_name = "wpuser:password@(localhost:3306)/"}
prometheus.scrape "mysql" { targets = prometheus.exporter.mysql.mysql.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)// --------------------------------------------------------prometheus.scrape "backend_services" { targets = [ {"__address__" = "172.20.0.151:9009", "job" = "mimir"}, {"__address__" = "172.20.0.151:3100", "job" = "loki"}, {"__address__" = "172.20.0.151:3200", "job" = "tempo"}, ] forward_to = [prometheus.remote_write.mimir.receiver] scrape_interval = "15s"}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIRprometheus.remote_write "mimir" { endpoint { url = "http://172.20.0.151:9009/api/v1/push" }}
// --------------------------------------------------------// 6. LOGS (Sistema y Apache)// --------------------------------------------------------loki.source.file "system_logs" { targets = [ {__path__ = "/var/log/syslog", "job" = "syslog"}, {__path__ = "/var/log/auth.log", "job" = "auth"}, {__path__ = "/var/log/apache2/*.log", "job" = "apache"}, ] forward_to = [loki.write.loki.receiver]}
// 7. ENVIAR LOGS A LOKIloki.write "loki" { endpoint { url = "http://172.20.0.151:3100/loki/api/v1/push" }}
// --------------------------------------------------------// 8. TRACES (Recepción y Envío a Tempo)// --------------------------------------------------------otelcol.receiver.otlp "default" { http {} grpc {} output { traces = [otelcol.exporter.otlp.tempo.input] }}
otelcol.exporter.otlp "tempo" { client { endpoint = "172.20.0.151:4317" tls { insecure = true } }}- Alloy用のSystemdサービスを作成します:
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF[Unit]Description=Grafana AlloyAfter=network.target
[Service]ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloyRestart=always
[Install]WantedBy=multi-user.targetEOF- Alloyを実行します(バックグラウンドでデータを収集・送信するため):
sudo systemctl daemon-reloadsudo systemctl enable --now alloyフェーズ4: 可視化とストレスシミュレーション
Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»すべてが動作することを確認するために、Grafana (http://172.20.0.166:3000)を開き、Exploreに移動してデータソースをテストします。
4.1 自分の端末(またはサーバー3)からシミュレーション
Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»シミュレーション 1:ブルートフォース攻撃(ログとレイテンシを生成) Apache のログにノイズを発生させレイテンシを上昇させるため、WordPress のログインに対して同時に 50 件のリクエストを送信します。
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; doneグラファナ -> エクスプロア -> Loki: {job="apache"}を検索し、すべてのアクセスがリアルタイムで記録されているのを確認します。
シミュレーション 2:CPU 飽和(高いメトリクスを生成) このコマンドは CPU の 1 コアを最大限に負荷します。
yes > /dev/null &Grafana -> Explore -> Prometheus(Mimir)で:node_cpu_seconds_total(CPU 用)または mysql_up(データベースの動作確認用)を検索します。
(CPU 飽和を停止するには、killall yes を実行します)。
トレースの確認: グラファナ -> エクスプロア -> タンペ: service.name="wordpress"を検索し、実行したHTTPリクエストのフローを確認します。
フェーズ5: 推奨されるオフィシャルダッシュボード
Sección titulada «FASE 5: Dashboards Oficiales Recomendados»Alloyは標準エクスポートを使用しているため(Node、Apache、MySQL)、グラフをゼロから作成する必要はありません。Grafanaコミュニティのオフィシャルテンプレートをインポートできます。
インポート手順:
- グラファナにアクセスします(
http://172.20.0.166:3000)。 - 左メニューで、「+」シンボルをクリックしてインポートを選択します。
- 「グラファナ.com経由でインポート」のボックスに、以下に記載されたIDのいずれかを入力し、ロードをクリックします。
- 下のドロップダウンからデータソース(プロメテウス/ミミル)を選択し、インポートをクリックします。
インポートするテンプレート:
Sección titulada «Plantillas a Importar:»- ID
1860(Node Exporter Full): これは世界で最も人気のあるダッシュボードで、サーバーの健康状態を確認できます。CPU使用率、WordPressサーバーの残りディスクスペース、RAM使用量、ネットワーク帯域幅などが表示されます。 - ID
3894(Apache Overview): 実時間で、WordPressにアクセスしているWebリクエスト数、応答時間、アクティブなワーカー、転送バイト数を表示します。 - ID
7362(MySQL Overview): WordPressのデータベースエンジンの可視性を提供します。1秒あたりのクエリ数、アクティブな接続、キャッシュメモリ、InnoDBエンジンのパフォーマンスを確認できます。
ログとトレースはどうですか?
Loki(Logs)と Tempo(Traces)は、Grafana の Explore タブから確認するのが一般的です。ダッシュボードに追加したい場合は、インポートしたパネルのいずれかを編集し、新しいクエリ(Query)を追加してデータソースに“Loki”を選択し、{job="apache"} を入力すれば、CPU グラフの横に Web アクセスログを表示できます。

