Pushdown 패러다임(ELT)
Business Central에서 Pushdown Computation을 활용하여 기존 ETL 통합에서 ELT 패러다임으로의 아키텍처 진화.
데이터 엔지니어링 및 DevSecOps 운영에서 Dynamics 365 Business Central과 Power BI를 통합할 때 마주한 가장 큰 과제 중 하나는 방대한 양의 과거 데이터(5년 이상의 레코드)였습니다.
처음에는 이러한 데이터 추출이 지속적인 블록, 극심한 지연 및 두려운 네트워크 오류: "El host remoto forzó la interrupción de la conexión"를 유발했습니다. 이를 해결하기 위해 전통적인 ETL 아키텍처를 포기하고 ELT(추출, 로드, 변환) 패러다임을 채택해야 했습니다. 이는 Pushdown Computation 개념에 의해 주도되었습니다.
1. 문제: “페이지”(Web Services)의 병목 현상
Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»전통적으로 Business Central에서 데이터를 추출하는 가장 쉬운 방법은 Page를 OData 웹 서비스로 게시하는 것입니다 (예: '제품 이동'의 페이지 38).
하지만 페이지는 사용자 인터페이스(UI)를 위한 것이지 대량 데이터 처리를 위한 것이 아닙니다. 페이지에서 350,000 행을 요청하면 서버(NST - Navision Server Tier)에서 치명적인 체인 반응을 유발합니다:
- 메모리 렌더링: 서버는 각 행에 대해 페이지의 시각적 디자인을 메모리 RAM에 구성하려고 시도합니다.
- 트리거 실행: 그래픽 인터페이스 이벤트가 트리거됩니다 (
OnOpenPage,OnAfterGetRecord) - FlowFields 계산 (침묵의 살인자): 페이지는 실시간으로 복잡한 공식(예: 현재 재고)을 행 단위로 계산하려고 합니다.
결과: 서버가 과부하 상태가 되고 자원을 소진(타임아웃)하여 HTTP 연결을 끊습니다. 한 번의 로드가 15분 이상 걸리거나, 바로 실패할 수 있습니다.
2. 해결책: 푸시다운 계산 및 객체 Query
Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»로딩 시간을 불과 몇 초로 줄이기 위해 아키텍처를 전면적으로 변경했습니다. Power BI(대상 도구)에 데이터 필터링과 모델링을 맡기는 대신, 해당 작업 부하를 Business Central(Microsoft SQL Server)의 기본 엔진으로 '밀어넣기'(Pushdown)하기로 결정했습니다.
이를 달성하기 위해, 페이지를 소비하는 대신 AL의 객체 Query 기반의 내장 API를 개발했습니다.
왜 객체 Query는 극도로 빠릅니까?
Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»- 영 UI: 객체
Query는 완전히 표면 계층을 건너뜁니다. 창을 렌더링하지 않으며, 화면 트리거를 실행하지 않고 그래픽 라이브러리를 로드하지 않습니다. - 순수 SQL: Business Central 엔진은 우리의 객체
Query를 컴파일하고, SQL Server 최적화된SELECT문장으로 정확하게 변환합니다. - 페이로드 감소: HTTP를 통해 전송되는 것은 우리가 명시한 엄격히 필요한 열들만입니다.
3. 아키텍처 변경의 영향 (결과)
Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»표준 웹 서비스에서 자체 Query APIs로 데이터 입력을 이전하여 서버에 내장된 필터를 사용한 경우, 다음과 같은 지표를 달성했습니다:
- 추출 시간: +15분(지속적인 실패)에서 30초(100% 성공률)로 줄었습니다.
- 경제적 타당성: 초기 전체 로드가 매우 효율적이기 때문에, 복잡한 하이브리드 아키텍처(Power Automate + SharePoint) 구현이나 Power BI Service의 프리미엄 라이선스를 구매하여 내장 증분 업데이트를 사용할 필요가 사라졌습니다.
- ERP의 안정성: 직접 SQL 로드를 실행함으로써, ERP 생산 노드는 대량 추출을 거의 인지하지 못해, 물류 및 재무 사용자들이 일상 운영 중 속도 저하를 겪지 않도록 보장합니다.
4. 아키텍처 및 모범 사례 체크리스트
Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»- ✓ ELT 접근 방식: ERP의 SQL Server 오케스트레이터에 무거운 필터(
WHERE) 위임하는 완전한 초기 로드 - ✓ UI 점프: OData로 노출된
Page객체를 완전히 생략하여 렌더링 지연 및 그래픽 스레드를 제거 - ✓ 안정성: 생산용 NST 트랜잭션 작업 부하를 급격히 줄임

