Apache Ossie 表达式语言完全指南：聚合函数与可分解性的 4 个问题一次看懂

Apache Ossie 表达式语言完全指南：聚合函数与可分解性的 4 个问题一次看懂

【免费下载链接】ossieApache Ossie, industry wide specification effort to standardize how we exchange semantic metadata across analytics, AI and BI platforms, providing a vendor neutral, single source of truth for semantic data项目地址: https://gitcode.com/GitHub_Trending/osi1/ossie

Apache Ossie 表达式语言中的聚合函数与可分解性（Distributive / Algebraic / Holistic），是决定你语义层性能上限的两个关键概念。Apache Ossie 是 Apache 旗下的行业标准化项目，为分析、AI 与 BI 平台之间的语义元数据交换提供厂商中立的"单一事实来源"。本文将依次回答初次接触它的你最容易碰到的四个问题：表达式语言在哪一层？可分解性到底在说什么？哪些聚合函数被要求必选？指标怎么写进真实语义模型？

问题一：表达式语言落在哪一层？为什么它能"写一次、到处读"

第一次打开规范，你大概率会卡在一个地方：Ossie 一会儿说本体、一会儿说语义模型、一会儿说物理表——我写的聚合表达式究竟属于哪一层？

答案是把语义模型看成三层，表达式语言目前只服务于中间那一层：

• Ontological Layer（本体层）：面向更抽象的业务概念建模，更接近 OWL 之类的本体建模语言，表达式语言尚在定义中；
• Logical Layer（逻辑层）：直接对应传统 BI 语义模型，metrics（指标）、fields（字段）、filters（过滤器）都在这里，表达式语言就是为这一层设计的；
• Physical（物理层）：各数据库的原生 SQL。

这套语言为什么选 SQL 而不是发明一套新语法？因为四条设计原则把边界定死了：可移植性（核心函数在所有实现中行为一致）、熟悉度（基于广泛采用的 SQL 语法与语义）、分析聚焦（优先支持 BI 与数仓场景常用的函数）、可扩展性（厂商方言可以在核心之外继续扩展）。核心语法基于ANSI SQL:2003（ISO/IEC 9075-2:2003）标准，看中它在 Snowflake、Databricks、PostgreSQL、BigQuery 上的广泛支持，以及定义清晰的语义。完整定义见 core-spec/expression_language.md。

问题二：可分解性——为什么有的聚合结果能"合并"，有的不行 🧩

假设你已经把各门店每天的销售额预聚合好了，那么"月均客单价"这种指标，引擎按理说该能直接复用预聚合结果——可现实中有些聚合还是被迫回表重算全部明细。分界线就是可分解性（Decomposability），它回答一个朴素的问题：能不能先分片算、再把分片结果合并？

四类，一句话一个类比（以"线上渠道 vs 线下渠道"两片数据为例）：

• Distributive（分布式）：分片结果直接合并即可，SUM、COUNT、MIN、MAX。两片渠道的销售额各自求和再相加，就是总销售额；整体最低客单价就是两片各自最低值里更小的那个。
• Algebraic（代数式）：每片需保留少量中间量，合并时做一次公式换算，AVG、STDDEV、VARIANCE。线上客单价 120 元（1000 单）、线下 300 元（400 单）——两个平均值一平均是 210 元，这是错的；但保留"总额 + 单量"两个中间量后，整体客单价 = 240000 / 1400 ≈ 171 元，换算一步就得到。
• Holistic（整体式）：分片结果天然不可合并，必须看到全量数据，MEDIAN、PERCENTILE、COUNT(DISTINCT)。线上渠道去重客户 8000、线下 6000，整体去重客户却不是 14000——两边都买过的客户会被重复计数，只能回明细；两片各自的中位数同样拼不出整体中位数。
• Sketch-based（草图式）：用可合并的概率草图结构做近似，APPROX_COUNT_DISTINCT、APPROX_PERCENTILE。两片草图直接合并，误差仍稳定在百分之几的量级，是唯一"近似但可分布式"的一类。

这个分类不是纸上谈兵，它是Analytical Context Extension（多阶段聚合扩展）的基础：引擎据此为 Distributive / Algebraic 指标自动选择"预聚合 + 合并"的执行路径，只有 Holistic 指标才回退到全明细扫描。语义层的优化空间，正是从这里开始的。

问题三：聚合函数清单——哪些"必须会"，哪些"建议会"？

分清楚了类别，落地写模型时还得知道规范到底强制要求什么。Ossie 把函数分成两档合规级别：REQUIRED（必须支持）与RECOMMENDED（建议支持）。

核心聚合（REQUIRED），按可分解类别归组：

• Distributive：SUM(expr)求和、COUNT(expr)非空值计数、COUNT(*)总行数、MIN(expr)/MAX(expr)最小/最大值
• Algebraic：AVG(expr)算术平均
• Holistic：COUNT(DISTINCT expr)去重计数

两项必选的增强写法：

• DISTINCT 修饰：SUM(DISTINCT amount)、COUNT(DISTINCT customer_id)
• 条件聚合：用CASE WHEN给聚合加过滤条件，比如只统计已完成订单的销售额：

SUM(CASE WHEN status = 'completed' THEN amount ELSE 0 END)

统计聚合（REQUIRED，均为 Algebraic）：STDDEV（样本标准差）、VARIANCE（样本方差），以及总体版本STDDEV_POP、VAR_POP（另有别名STDDEV_SAMP/VAR_SAMP）。

分位数（REQUIRED，均为 Holistic）：

• MEDIAN(expr)：中位数，即第 50 百分位
• PERCENTILE_CONT(p) WITHIN GROUP (ORDER BY expr)：连续分位数，结果做插值
• PERCENTILE_DISC(p) WITHIN GROUP (ORDER BY expr)：离散分位数，取实际存在的值

其中p取 0 到 1 之间的数，0.75 即第 75 百分位。

近似聚合（RECOMMENDED）：基于概率草图（sketches，如 HyperLogLog、t-digest 这类算法）。数据量上亿后，精确的COUNT(DISTINCT)和分位数往往算不动，这时用：

• APPROX_COUNT_DISTINCT(customer_id)，典型误差约 2%
• APPROX_PERCENTILE(response_time, 0.95)，典型误差约 1%

草图结构可以高效合并，天然适配分布式计算——大表场景下的常规提速手段。

问题四：把聚合函数写进真实语义模型

规范背完了，真正要提交的 YAML 里该怎么落笔？

在 Ossie 中，聚合函数主要出现在metrics上。指标定义在模型层级，可以跨多个数据集。以仓库自带的 TPC-DS 示例 examples/tpcds_semantic_model.yaml 为例：

metrics: - name: customer_lifetime_value expression: dialects: - dialect: ANSI_SQL expression: SUM(store_sales.ss_ext_sales_price) / COUNT(DISTINCT customer.c_customer_sk)

围绕这段写法，有四个要点：

1. 多方言声明：dialects是个数组，你可以并列加入dialect: SNOWFLAKE、dialect: BIGQUERY等条目，各给一份为对应引擎调过的表达式。比如 BigQuery 的DATE_TRUNC(date, MONTH)参数顺序与 ANSI 的DATE_TRUNC('month', date)正好相反——这类引擎差异全部由方言机制吸收，同一份模型在不同引擎上都能正确运行。
2. 聚合可组合：SUM(...) / COUNT(DISTINCT ...)组合出的就是"客户生命周期价值"这类业务指标，而不是一个孤立的求和。
3. 防御性写法：同文件里的store_productivity写作SUM(store_sales.ss_ext_sales_price) / NULLIF(SUM(store.s_number_employees), 0)——分母为 0 时NULLIF返回 NULL，避免除零报错，是写比率型指标的好习惯。
4. 最简单的指标：total_sales就是一个裸SUM(store_sales.ss_ext_sales_price)，结构完全一致，只是表达式短。

如果你是 Tableau 或 Power BI 背景，下面几行对照能快速建立映射：

日期、字符串、窗口函数的完整对照，见 core-spec/expression_language.md 的 Cross-Reference 章节。

收尾：三个 takeaway 与动手入口

1. 可分解性决定执行策略：Distributive 直接分片合并、Algebraic 靠中间量换算、Holistic 必须全量数据——看懂这个分类，就看懂了语义引擎的优化边界在哪。
2. 函数清单是分级承诺：核心四件套、统计函数、分位数全部 REQUIRED；近似聚合是 RECOMMENDED 的大数据量加速选项。
3. 方言机制保可移植性：核心函数行为统一，数据库差异交给dialects声明吸收——"厂商中立单一事实来源"就是靠它落地的。

想动手的话，clone 仓库后从 examples/tpcds_semantic_model.yaml 读起，再用 validation/ 目录下的校验工具验证自己的语义模型；指标的字段级结构定义（含ai_context同义词等）见 core-spec/spec.md 的 Metrics 章节。

git clone https://gitcode.com/GitHub_Trending/osi1/ossie

【免费下载链接】ossieApache Ossie, industry wide specification effort to standardize how we exchange semantic metadata across analytics, AI and BI platforms, providing a vendor neutral, single source of truth for semantic data项目地址: https://gitcode.com/GitHub_Trending/osi1/ossie