Ir al contenido

Парадигма Pushdown (ELT)

Архитектурная эволюция от традиционных интеграций ETL к парадигме ELT посредством Pushdown Computation в Business Central.

0просмотры

В нашей оперативной работе по инженерии данных и DevSecOps одной из основных проблем, с которыми мы столкнулись при интеграции Dynamics 365 Business Central с Power BI, был огромный объем исторических данных (более 5 лет записей).

Сначала извлечение этих данных вызывало постоянные блокировки, чрезмерную задержку и страшную ошибку сети: "El host remoto forzó la interrupción de la conexión". Чтобы решить эту проблему, нам пришлось отказаться от традиционной архитектуры ETL и принять парадигму ELT (Extract, Load, Transform), стимулируемую концепцией Pushdown Computation

1. Проблема: узкое место «Страниц» (веб-служб)

Sección titulada «1. El Problema: El cuello de botella de las “Páginas” (Web Services)»

Традиционно самым простым способом извлечения данных из Business Central является публикация Страницы (Page) как веб-сервиса OData (например, страница 38 «Перемещения товара»)

Однако страницы предназначены для пользовательского интерфейса (UI), а не для массовой обработки данных. Когда мы запрашиваем 350 000 строк у страницы, мы запускаем смертельную цепную реакцию на сервере (NST - Navision Server Tier):

  1. Рендеринг в памяти: Сервер пытается построить визуальный дизайн страницы в оперативной памяти RAM для каждой строки.
  2. Выполнение триггеров: Срабатывают события графического интерфейса (OnOpenPage, OnAfterGetRecord).
  3. Расчет FlowFields (тихий убийца): Страница пытается рассчитать в реальном времени сложные формулы (например, текущий запас) строка за строкой.

Результат: Сервер зависает, истощает свои ресурсы (таймауты) и разрывает подключение HTTP до того, как сможет отправить нам JSON. Одна загрузка могла занять более 15 минут или сразу же завершиться неудачей.

2. Решение: Pushdown Computation и объекты Query

Sección titulada «2. La Solución: Pushdown Computation y Objetos Query»

Чтобы уменьшить время загрузки до нескольких секунд, мы радикально изменили архитектуру. Мы решили не просить Power BI (инструмент назначения) фильтровать и моделировать данные, а «толкнуть» (Pushdown) эту нагрузку на базовый движок Business Central (Microsoft SQL Server).

Чтобы добиться этого, вместо использования страниц мы разработали родные API на основе объектов Query AL.

Почему объект Query чрезвычайно быстр?

Sección titulada «¿Por qué un Objeto Query es extremadamente rápido?»
  • Нет UI: Объект Query полностью обходит слой представления. Он не отображает окна, не выполняет триггеры экрана и не загружает графические библиотеки.
  • Чистый SQL: Двигатель Business Central компилирует наш объект Query и переводит его буквально в оптимизированное выражение SELECT SQL Server.
  • Сокращение полезной нагрузки: По сети HTTP передаются только те столбцы, которые нам действительно необходимы и которые мы объявили.

3. Влияние архитектурных изменений (результаты)

Sección titulada «3. Impacto del Cambio Arquitectónico (Resultados)»

Переместив нашу загрузку данных из стандартных веб-сервисов в наши собственные объекты Query APIs с встроенными фильтрами на сервере, мы достигли следующих показателей:

  • Время извлечения: Сокращено с +15 минут (и постоянных сбоев) до 30 секунд (100% успеха).
  • Экономическая целесообразность: Поскольку первоначальная загрузка так эффективна, мы исключили техническую необходимость реализации сложных гибридных архитектур (Power Automate + SharePoint) или оплаты премиум-лицензий Power BI Service для использования родных инкрементных обновлений.
  • Стабильность ERP: При выполнении прямых SQL-загрузок узел производства ERP практически не замечает массовую выгрузку, гарантируя, что остальные пользователи логистики и финансов не будут испытывать замедления в своей повседневной работе.

4. Список архитектурных и лучших практик

Sección titulada «4. Checklist de Arquitectura y Buenas Prácticas»
  • ✓ Фокус ELT: Полная начальная загрузка, делегирующая тяжелые фильтры (WHERE) оркестратору SQL Server ERP.
  • ✓ Пропуск UI: Полное исключение объектов Page, представленных как OData, что исключает задержку рендеринга и графических потоков.
  • ✓ Стабильность: Радикальное снижение рабочей нагрузки в транзакционном NST производства.