Ir al contenido

プッシュダウンパラダイム(ELT)

従来のETL統合からBusiness Centralを介したプッシュダウン計算によるELTパラダイムへのアーキテクチャの進化

0閲覧数

データエンジニアリングとDevSecOpsの運用において、Dynamics 365 Business CentralをPower BIと統合する際の最大の課題の1つは、5年以上の履歴データ(5年以上分の記録)の膨大な量でした。

初期には、これらのデータの抽出が頻繁なロック、極端な遅延、および恐ろしいネットワークエラー("リモートホストが接続を強制的に切断しました")を引き起こしました。これを解決するために、従来のETLアーキテクチャを放棄し、ELTパラダイム(抽出、ロード、変換)を、プッシュダウンコンピュテーションの概念に基づいて採用する必要がありました。

1. 問題: 「ページ」(Webサービス) のボトルネック

Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»

従来、Business Centralからデータを抽出する最も簡単な方法は、ページ (Page) をOData Webサービスとして公開することでした (例: 「製品移動」のページ38)。

しかし、ページはユーザーインターフェース (UI) 用に設計されており、大量のデータ処理用ではありません。ページに対して35万行のデータを要求すると、サーバー (NST - Navision Server Tier) で致命的な連鎖反応が引き起こされます。

  1. メモリ内レンダリング: サーバーは、各行に対してページの視覚的なレイアウトをRAM上に構築しようとします。
  2. トリガーの実行: グラフィカルインターフェースのイベント (OnOpenPage, OnAfterGetRecord) が発生します。
  3. FlowFieldsの計算 (静かな殺し屋): ページは、複雑な数式 (現在の在庫など) を行ごとにリアルタイムで計算しようとします。

結果: サーバーは過負荷になり、リソースを使い果たし (タイムアウト)、JSONを送信する前にHTTP接続を切断します。ロードには15分以上かかるか、あるいは直接失敗する場合がありました。

2. 解決策: プッシュダウン計算と Query オブジェクト

Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»

ロード時間をわずか数秒に短縮するために、アーキテクチャを根本的に変更しました。Power BI (ターゲットツール) にデータのフィルタリングとモデリングを依頼するのをやめ、そのワークロードを基盤となる Business Central エンジン (Microsoft SQL Server) に「プッシュダウン」することにしました。

これを実現するために、ページを消費する代わりに、ALの Query オブジェクトに基づいたネイティブ API を開発しました。

Query オブジェクトはなぜ極めて高速なのですか?

Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»
  • UIゼロ: Query オブジェクトはプレゼンテーション層を完全にスキップします。ウィンドウをレンダリングせず、画面トリガーを実行せず、グラフィックライブラリをロードしません。
  • ピュアSQL: Business Central エンジンは、Query オブジェクトをコンパイルし、最適化された SQL Server の SELECT 文に直接変換します。
  • ペイロードの削減: ネットワークを通過するのはHTTP経由で厳密に必要な列のみで、我々が宣言したものです。

3. アーキテクチャ変更の影響(結果)

Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»

データ取得を標準的なWebサービスから自社のクエリAPIに移行し、サーバーに組み込まれたフィルターを使用することで、以下のメトリクスを達成しました:

  • 抽出時間: 15分以上(頻繁なエラー)から30秒に短縮(100%の成功率)
  • 経済的実現可能性: 初回ロードが非常に効率的であるため、複雑なハイブリッドアーキテクチャ(Power Automate + SharePoint)や、Power BI Serviceのプレミアムライセンスを購入してネイティブな増分更新を使用する必要がなくなりました。
  • ERPの安定性: 直接SQLロードを実行することで、ERPの本番ノードはマス抽出をほとんど認識せず、物流や財務の他のユーザーが日常業務で遅延を経験しないことを保証します。

4. アーキテクチャとベストプラクティスのチェックリスト

Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»
  • ✓ ELTアプローチ: 初回ロードを委譲し、重いフィルター(WHERE)をERPのSQL Serverオーケストレーターに任せる。
  • ✓ UIのスキップ: ODataとして公開されたPageオブジェクトを完全に省略し、レンダリング遅延やグラフィックスレッドを削除する。
  • ✓ 安定性: 本番トランザクションNSTの作業負荷を大幅に削減する。