Stack Grafana를 활용한 분산 관찰 아키텍처
작성자: Portelcore 팀 목표: Grafana, Mimir, Loki, Tempo 및 Alloy를 활용하여 완전한 관측 가능 환경을 배포하는 것입니다...
작성자: Portelcore 팀 목표: Grafana, Mimir, Loki, Tempo, Alloy를 Ubuntu 24.04 LTS 위에 구축하여 웹 애플리케이션(WordPress)의 메트릭, 로그, 트레이스를 수집·분석하는 완전한 가시성 환경을 배포하는 것이 목표입니다.
우리는 다음 역할을 가진 3대의 Ubuntu 24.04 LTS 서버를 보유하고 있습니다:
| 서버 | 역할 / 서비스 | IP 주소 |
|---|---|---|
| 서버 1 (백엔드) | Mimir (메트릭스) + Loki (로그) + Tempo (트레이스) | 172.20.0.151 |
| 서버 2 (프론트엔드) | Grafana (UI 시각화 인터페이스) | 172.20.0.166 |
| 서버 3 (앱/에이전트) | 웹 서버 (WordPress) + Grafana Alloy (에이전트) | 172.20.0.176 |
단계 0: 초기 준비 (3대의 서버에서)
Sección titulada «FASE 0: Preparación Inicial (En los 3 Servidores)»시작하기 전에, 이 명령어를 3대의 서버에서 실행하여 시스템이 최신 상태인지, 올바른 시간대에 있는지, 필요한 도구가 있는지 확인해야 합니다.
sudo apt update && sudo apt upgrade -ysudo timedatectl set-timezone Europe/Madridsudo apt install curl wget unzip nano -y단계 1: 백엔드 서버 (Mimir, Loki 및 Tempo)
Sección titulada «FASE 1: Servidor Backend (Mimir, Loki y Tempo)»서버 1 (172.20.0.151)에서 실행할 것입니다
이 서버는 에이전트에서 전송된 모든 데이터를 받을 것입니다. 전문적으로 관리하기 위해 systemd의 서비스를 만들고, 시스템과 함께 자동으로 시작되도록 할 것입니다.
1.1 메트릭 수신: Grafana Mimir (포트 9009)
Sección titulada «1.1 Ingesta de Métricas: Grafana Mimir (Puerto 9009)»- 바이너리를 다운로드하고 설치할 것입니다:
wget https://github.com/grafana/mimir/releases/latest/download/mimir-linux-amd64chmod +x mimir-linux-amd64sudo mv mimir-linux-amd64 /usr/local/bin/mimir- 설정과 디렉토리를 만들 것입니다:
sudo mkdir -p /etc/mimirsudo mkdir -p /var/lib/mimir/blockssudo mkdir -p /var/lib/mimir/compactorsudo nano /etc/mimir/mimir.yamlmimir.yaml에 다음 내용을 붙여넣으세요:
multitenancy_enabled: false
server: http_listen_port: 9009 grpc_listen_port: 9096
blocks_storage: backend: filesystem filesystem: dir: /var/lib/mimir/blocks
ingester: ring: replication_factor: 1 kvstore: store: inmemory
compactor: data_dir: /var/lib/mimir/compactor- Mimir용 Systemd 서비스를 만들겠습니다:
sudo tee /etc/systemd/system/mimir.service > /dev/null <<EOF[Unit]Description=Grafana MimirAfter=network.target
[Service]ExecStart=/usr/local/bin/mimir -config.file=/etc/mimir/mimir.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.2 로그 수신: Grafana Loki (포트 3100)
Sección titulada «1.2 Ingesta de Logs: Grafana Loki (Puerto 3100)»- 바이너리를 다운로드하고 설치할 것입니다:
wget https://github.com/grafana/loki/releases/latest/download/loki-linux-amd64.zipunzip loki-linux-amd64.zipchmod +x loki-linux-amd64sudo mv loki-linux-amd64 /usr/local/bin/loki- 설정과 디렉토리를 만들 것입니다:
sudo mkdir -p /etc/lokisudo mkdir -p /var/lib/loki/chunkssudo mkdir -p /var/lib/loki/rulessudo nano /etc/loki/loki.yamlloki.yaml에 다음 내용을 붙여넣으세요:
auth_enabled: false
server: http_listen_port: 3100 grpc_listen_port: 9097
common: path_prefix: /var/lib/loki storage: filesystem: chunks_directory: /var/lib/loki/chunks rules_directory: /var/lib/loki/rules replication_factor: 1 ring: kvstore: store: inmemory
schema_config: configs: - from: 2026-01-01 store: tsdb object_store: filesystem schema: v13 index: prefix: index_ period: 24h- Loki용 Systemd 서비스를 만들겠습니다:
sudo tee /etc/systemd/system/loki.service > /dev/null <<EOF[Unit]Description=Grafana LokiAfter=network.target
[Service]ExecStart=/usr/local/bin/loki -config.file=/etc/loki/loki.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.3 트레이스 수집: Grafana Tempo (포트 3200)
Sección titulada «1.3 Ingesta de Traces: Grafana Tempo (Puerto 3200)»- 바이너리를 다운로드하고 설치합니다 (안정된 버전 v2.10.1로 고정):
wget https://github.com/grafana/tempo/releases/download/v2.10.1/tempo_2.10.1_linux_amd64.tar.gztar -xvzf tempo_2.10.1_linux_amd64.tar.gzsudo mv tempo-linux-amd64 /usr/local/bin/tempo 2>/dev/null || sudo mv tempo /usr/local/bin/temposudo chmod +x /usr/local/bin/tempo- 설정과 디렉토리를 만들 것입니다:
sudo mkdir -p /etc/temposudo mkdir -p /var/lib/tempo/tracessudo nano /etc/tempo/tempo.yaml다음 내용을 tempo.yaml에 붙여넣습니다:
server: http_listen_port: 3200 grpc_listen_port: 9095
distributor: receivers: otlp: protocols: http: grpc:
storage: trace: backend: local local: path: /var/lib/tempo/traces- Grafana Tempo용 Systemd 서비스를 생성합니다:
sudo tee /etc/systemd/system/tempo.service > /dev/null <<EOF[Unit]Description=Grafana TempoAfter=network.target
[Service]ExecStart=/usr/local/bin/tempo -config.file=/etc/tempo/tempo.yamlRestart=always
[Install]WantedBy=multi-user.targetEOF1.4 모든 서비스를 동시에 백그라운드에서 시작합니다
Sección titulada «1.4 Iniciaremos todos los servicios al mismo tiempo y en segundo plano»이제 systemd의 규칙을 세 개 모두에 생성했으므로 시스템 설정을 다시 불러오고, 한 번에 모든 것을 활성화/시작합니다:
sudo systemctl daemon-reloadsudo systemctl enable --now mimir loki tempo세 가지 서비스가 백그라운드에서 정상적으로 실행 중인지 sudo systemctl status mimir loki tempo로 확인할 수 있습니다.
단계 2: 프론트엔드 서버 (Grafana UI)
Sección titulada «FASE 2: Servidor Frontend (Grafana UI)»서버 2 (172.20.0.166)에서 실행합니다
- 공식 리포지토리에서 Grafana를 설치합니다:
sudo apt install -y software-properties-common apt-transport-httpssudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.keyecho "deb https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.listsudo apt updatesudo apt install grafana -y- 서비스를 시작하고 활성화합니다:
sudo systemctl enable --now grafana-server- 인터페이스에 접속하고 구성합니다:
- 웹 브라우저를 열고
http://172.20.0.166:3000로 이동합니다 - 로그인:
admin/ 비밀번호:admin(그것을 변경하도록 요청할 것입니다). - 연결 > 데이터 소스 > 데이터 소스 추가로 이동하여 서버 1(
172.20.0.151)을 가리키는 3개를 구성합니다:- Prometheus (Para Mimir): URL
http://172.20.0.151:9009/prometheus - Loki: URL
http://172.20.0.151:3100 - Tempo: URL
http://172.20.0.151:3200
- Prometheus (Para Mimir): URL
- 웹 브라우저를 열고
단계 3: 애플리케이션 서버 (WordPress + Alloy)
Sección titulada «FASE 3: Servidor de Aplicación (WordPress + Alloy)»서버 3 (172.20.0.176)에서 실행할 것입니다
3.1 애플리케이션 설치 (WordPress 스택 LAMP)
Sección titulada «3.1 Instalaremos la Aplicación (WordPress Stack LAMP)»# 1. Instalamos LAMPsudo apt install apache2 mysql-server php php-mysql libapache2-mod-php -y
# 2. Habilitamos el módulo de estado de Apache (Necesario para obtener métricas)sudo a2enmod statussudo systemctl restart apache2
# 3. Configuramos la base de datos (Entramos con 'sudo mysql' y pegamos estas líneas)sudo mysql -e "CREATE DATABASE wordpress;"sudo mysql -e "CREATE USER 'wpuser'@'localhost' IDENTIFIED BY 'password';"sudo mysql -e "GRANT ALL PRIVILEGES ON wordpress.* TO 'wpuser'@'localhost';"sudo mysql -e "FLUSH PRIVILEGES;"
# 4. Descargamos e instalamos WordPresscd /var/www/htmlsudo rm index.htmlsudo wget https://wordpress.org/latest.tar.gzsudo tar -xvzf latest.tar.gzsudo chown -R www-data:www-data wordpress시각적 설치를 완료하려면 http://172.20.0.176/wordpress에 접근할 수 있습니다.
3.2 Grafana Alloy 설치 및 구성 (전체 에이전트)
Sección titulada «3.2 Instalaremos y Configuraremos Grafana Alloy (El Agente Global)»- 바이너리를 다운로드하고 설치할 것입니다:
cd ~wget https://github.com/grafana/alloy/releases/latest/download/alloy-linux-amd64.zipunzip alloy-linux-amd64.zipchmod +x alloy-linux-amd64sudo mv alloy-linux-amd64 /usr/local/bin/alloy- 완전한 구성 파일을 만들겠습니다:
sudo mkdir -p /etc/alloysudo nano /etc/alloy/config.alloy다음 콘텐츠를 붙여넣습니다. 이 설정은 디스크, CPU, Apache, MySQL, 로그 및 트레이스를 추출합니다:
logging { level = "info"}
// --------------------------------------------------------// 1. MÉTRICAS DEL SISTEMA (Disco, CPU, RAM, Red)// --------------------------------------------------------prometheus.exporter.unix "node" {}
prometheus.scrape "node" { targets = prometheus.exporter.unix.node.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 2. MÉTRICAS DE APACHE (Servidor Web)// --------------------------------------------------------prometheus.exporter.regular_apache = prometheus.exporter.apache "apache" { scrape_uri = "http://localhost/server-status?auto"}
prometheus.scrape "apache" { targets = prometheus.exporter.apache.apache.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 3. MÉTRICAS DE MYSQL (Base de Datos)// --------------------------------------------------------prometheus.exporter.mysql "mysql" { data_source_name = "wpuser:password@(localhost:3306)/"}
prometheus.scrape "mysql" { targets = prometheus.exporter.mysql.mysql.targets forward_to = [prometheus.remote_write.mimir.receiver]}
// --------------------------------------------------------// 4. OBSERVABILIDAD INTERNA (Mimir, Loki, Tempo)// --------------------------------------------------------prometheus.scrape "backend_services" { targets = [ {"__address__" = "172.20.0.151:9009", "job" = "mimir"}, {"__address__" = "172.20.0.151:3100", "job" = "loki"}, {"__address__" = "172.20.0.151:3200", "job" = "tempo"}, ] forward_to = [prometheus.remote_write.mimir.receiver] scrape_interval = "15s"}
// 5. ENVIAR TODAS LAS MÉTRICAS A MIMIRprometheus.remote_write "mimir" { endpoint { url = "http://172.20.0.151:9009/api/v1/push" }}
// --------------------------------------------------------// 6. LOGS (Sistema y Apache)// --------------------------------------------------------loki.source.file "system_logs" { targets = [ {__path__ = "/var/log/syslog", "job" = "syslog"}, {__path__ = "/var/log/auth.log", "job" = "auth"}, {__path__ = "/var/log/apache2/*.log", "job" = "apache"}, ] forward_to = [loki.write.loki.receiver]}
// 7. ENVIAR LOGS A LOKIloki.write "loki" { endpoint { url = "http://172.20.0.151:3100/loki/api/v1/push" }}
// --------------------------------------------------------// 8. TRACES (Recepción y Envío a Tempo)// --------------------------------------------------------otelcol.receiver.otlp "default" { http {} grpc {} output { traces = [otelcol.exporter.otlp.tempo.input] }}
otelcol.exporter.otlp "tempo" { client { endpoint = "172.20.0.151:4317" tls { insecure = true } }}- Alloy용 Systemd 서비스를 만들겠습니다:
sudo tee /etc/systemd/system/alloy.service > /dev/null <<EOF[Unit]Description=Grafana AlloyAfter=network.target
[Service]ExecStart=/usr/local/bin/alloy run /etc/alloy/config.alloyRestart=always
[Install]WantedBy=multi-user.targetEOF- 알로이(백그라운드에서 데이터를 수집하고 전송하는 도구)를 실행할 것입니다:
sudo systemctl daemon-reloadsudo systemctl enable --now alloy단계 4: 시각화 및 스트레스 시뮬레이션
Sección titulada «FASE 4: Visualización y Simulaciones de Estrés»모든 것이 작동하는지 확인하기 위해 Grafana (http://172.20.0.166:3000)를 열고 Explore로 이동하여 데이터 소스를 테스트합니다.
4.1 컴퓨터에서의 시뮬레이션 (또는 서버 3에서의 시뮬레이션)
Sección titulada «4.1 Simulaciones desde nuestro equipo (o desde el Servidor 3)»시뮬레이션 1: 무차별 대입 공격(로그 및 지연 생성) Apache 로그에 노이즈를 생성하고 지연 시간을 높이기 위해 WordPress 로그인에 대해 50개의 동시 요청을 전송합니다.
for i in {1..50}; do curl -s -X POST http://172.20.0.176/wordpress/wp-login.php > /dev/null; doneGrafana -> Explore -> Loki: {job="apache"}를 검색하여 실시간으로 모든 접근을 확인합니다.
시뮬레이션 2: CPU 포화(높은 메트릭 생성) 이 명령은 CPU 코어 하나를 최대로 부하합니다.
yes > /dev/null &Grafana -> Explore -> Prometheus (Mimir): node_cpu_seconds_total(CPU별) 또는 mysql_up(데이터베이스 작동 확인용)를 검색합니다.
(CPU 포화를 중지하려면 killall yes를 실행합니다).
트레이스 검증: Grafana -> Explore -> Tempo: service.name="wordpress"를 검색하여 실행한 HTTP 요청의 경로를 확인합니다.
단계 5: 추천된 공식 대시보드
Sección titulada «FASE 5: Dashboards Oficiales Recomendados»Alloy가 표준 내보내기 도구(노드, Apache, MySQL)를 사용하고 있으므로 처음부터 그래프를 만들 필요가 없습니다. Grafana 커뮤니티의 공식 템플릿을 가져올 수 있습니다.
가져오기 지침:
- 우리의 Grafana (
http://172.20.0.166:3000)로 이동합니다. - 왼쪽 메뉴에서 ”+” 기호를 클릭한 후 Import를 선택합니다.
- "grafana.com을 통한 가져오기" 상자에 아래에 나열된 ID 중 하나를 입력하고 Load를 클릭합니다.
- 아래 드롭다운 메뉴에서 데이터 소스 (Prometheus/Mimir)를 선택한 후 Import를 클릭합니다.
- ID
1860(Node Exporter Full): 이는 서버 물리 건강을 확인하기 위한 세계에서 가장 유명한 대시보드입니다. 서버 WordPress의 CPU 사용량, 남은 디스크 공간, RAM 사용량, 네트워크 대역폭 등을 보여줍니다. - ID
3894(Apache Overview): 실시간으로 WordPress에 들어오는 웹 요청 수, 응답 시간, 활성 워커 및 전송된 바이트 수를 보여줍니다. - ID
7362(MySQL Overview): WordPress 데이터베이스 엔진의 가시성을 제공합니다. 초당 쿼리 수, 활성 연결, 메모리 캐시 및 InnoDB 엔진 성능을 보여줍니다.
로그와 트레이스는요?
Loki(로그)와 Tempo(트레이스)는 일반적으로 Grafana의 Explore 탭에서 가장 잘 시각화됩니다. 대시보드에 추가하려면 가져온 패널을 편집하고 새 쿼리를 추가한 다음 데이터 소스로 "Loki"를 선택하고 {job="apache"}를 작성하면 CPU 그래프 옆에 웹 접근 로그가 표시됩니다.

