Ir al contenido

高级M代码(Power Query)

用于消费OData V4 API的M语言脚本和确定性提取模式。

0阅读

为了管理从我们的原生 API(ELT)到 Power BI 语义模型的数据抽取,我们避免使用图形界面,直接在高级编辑器中编写 Power Query 代码(M 语言)。

这使我们能够实现可确定和可控制的开发,其中我们管理每个底层HTTP请求参数。

我们数据摄取的核心使用了 OData.Feed 函数。我们不依赖自动生成的代码,而是将这个基础 代码片段 标准化,用于所有从 Business Central 的抽取:

let
// 1. Definición de la URL absoluta apuntando a nuestro Endpoint AL (EntitySetName)
UrlBase = "https://api.businesscentral.dynamics.com/v2.0/a1b2c3d4-e5f6-7a8b-9c0d-1e2f3a4b5c6d/Sandbox-Dev/api/portelcore/api_portelcore_1/v1.0/companies('PORTELCORE%20S.L.U')/movimientos",
// 2. Invocación de la API con inyección de protecciones de red
Origen = OData.Feed(UrlBase, null, [
Implementation="2.0",
Timeout=#duration(0, 0, 10, 0)
])
in
Origen
  • Implementation="2.0":强制 Power Query 使用最新版本的 OData 引擎。它优化二进制级别的 JSON 读取和元数据解析。
  • Timeout=#duration(Días, Horas, Minutos, Segundos):我们防止系统卡死的保险。虽然我们的 AL API 已优化至约 30 秒,但我们注入了严格的 10 分钟上限(0, 0, 10, 0)。如果 Microsoft ERP 发生严重性能下降,Power BI 将中止加载,而不会让进程无限期地保留在内存中。

这些是集成在我们主要数据集中的精确脚本,用于滋养业务智能模型。

let
UrlBase = "https://api.businesscentral.dynamics.com/v2.0/a1b2c3d4-e5f6-7a8b-9c0d-1e2f3a4b5c6d/Sandbox-Dev/api/portelcore/api_portelcore_1/v1.0/companies('PORTELCORE%20S.L.U')/movimientos",
Origen = OData.Feed(UrlBase, null, [Implementation="2.0", ODataVersion=4, Timeout=#duration(0, 0, 10, 0)])
in
Origen
let
UrlBase = "https://api.businesscentral.dynamics.com/v2.0/a1b2c3d4-e5f6-7a8b-9c0d-1e2f3a4b5c6d/Sandbox-Dev/api/portelcore/api_portelcore_1/v1.0/companies('PORTELCORE%20S.L.U')/lineasCompra",
Origen = OData.Feed(UrlBase, null, [Implementation="2.0", ODataVersion=4, Timeout=#duration(0, 0, 10, 0)])
in
Origen
let
UrlBase = "https://api.businesscentral.dynamics.com/v2.0/a1b2c3d4-e5f6-7a8b-9c0d-1e2f3a4b5c6d/Sandbox-Dev/api/portelcore/api_portelcore_1/v1.0/companies('PORTELCORE%20S.L.U')/lineasVenta",
Origen = OData.Feed(UrlBase, null, [Implementation="2.0", ODataVersion=4, Timeout=#duration(0, 0, 10, 0)])
in
Origen

由于我们的架构基于下推计算(ELT),我们的 M 脚本的基本规则是将本地计算负载保持为零。

  1. 不在 M 中使用筛选器(WHERE):所有行排除操作(例如,省略某些仓库或日期)都已通过 DataItemTableFilter 属性在 Business Central 的 SQL 引擎中执行。
  2. 不在 M 中删除列:只有通过端点严格投影的列才会在 HTTP 网络上传输。我们不应该拉取 100 列,然后在 Power Query 中删除 90 列。
  3. 我们唯一在本地执行的操作是通过 Table.TransformColumnTypes 进行最终数据类型转换(Type Casting),确保 DAX 模型接收到不可变数据(例如 Int64.Type、type date、type number)。
  • ✓ M 实现:在所有查询中显式使用 Implementation="2.0" 参数,以加速数据加载。
  • ✓ 延迟控制:预先注入 10 分钟的 Timeout,以保护 Power BI Service 中更新队列的稳定性。
  • ✓ ELT优化: 在Power Query级别不应用任何本地过滤器,将所有数据处理逻辑保留在SQL后端。