如果你从事数据相关工作,可能曾听到管理层提出这样的问题:我们能不能把大语言模型接入数据系统,让它替我们分析一切?
这种想法情有可原。管理层希望绕过 BI 队列,更快获得答案。他们看到大语言模型在文本处理上的能力,便自然而然地认为同样的逻辑可以套用在业务数据上。
问题在于,企业数据不会自我解释。
在用真实业务问题测试一款 AI 数据分析工具时,这一点暴露无遗。当被问及本季度风险最高的客户账户,或未来 30 天内最可能成交的商机时,系统会信心满满地给出账户或商机名称。有些答案是错误的,有些是凭空捏造的,还有些与问题本身几乎毫无关联。
这个系统在作答时,并不理解请求的范围,也无法判断业务层面所说的"风险账户"或"可能成交"究竟意味着什么。它同样不清楚"本季度"指的是季度至今的表现,还是对季末结果的预期。
AI 数据分析师能访问数据仓库,但这并不意味着它能理解业务。它可以编写 SQL 语句并返回看起来合理的数字。危险在于,它必须自行推断答案背后的业务逻辑。如果企业本身从未明确定义这套逻辑,模型就会自行填补空白。
大多数公司之所以从未将所有业务逻辑形成文档,是因为过去这部分工作由经验丰富的分析师来承担。优秀的 BI 团队清楚地知道管理层信任哪个收入口径,了解哪个仪表盘适合把握方向、但不适合用于运营评审,也知道哪些结果在付诸行动前需要附加说明。
在许多公司里,分析师本身就充当着语义层的角色。
当同一批分析师能够与业务保持紧密联系时,这种安排尚可运转。但当系统被期望自主作答时,问题就来了。大语言模型被要求行使判断力,而企业从未将这种判断力传递给它。
更难察觉的风险在于,当答案并非明显错误时,它听起来言之有理,却可能以一种悄无声息的方式对业务产生影响。
定义明确的语义层有所帮助。它为系统提供经过审核的定义,以及将这些定义与数据连接起来的逻辑。但这些定义仍需被应用于正确的场景。模型可能使用了正确的收入定义,却选择了错误的时间范围;可能准确地计算了业绩,却依然误解了管理层真正想要做出的决策。
数据可以是准确的,定义可以是准确的,但答案依然可能是错的。
超越语义层
语义层可以定义什么构成风险账户,或什么条件使一个商机可能成交。而情境层则告诉系统,这些定义是否适用于当前被提出的问题。一个账户可能满足正式的风险标准,却不在管理层当前关注的周期之内。定义本身没错,错的是它的应用方式。
这种情境也会随时间变化。某个在季初获批的定义,可能在预测调整或决策重心转移之后不再适用。系统需要知道哪些情境是当前有效的,哪些假设已经过期。否则,它可能正确地套用了一个过时的假设,最终仍然给出错误的答案。
分析师过去会将这种判断力作为工作的一部分提供出来。他们清楚什么时候一个定义在技术上是正确的,在当前决策面前却依然是错的。AI 数据分析师需要在问题到来之前,就具备这种判断力。如果每次都需要人工重新梳理,系统所本应创造的速度优势也就丧失了。
此外,智能体还需要一套操作规则,用于处理情境不完整或相互冲突的情况。这些规则界定了智能体何时可以继续作答,何时不确定性已大到需要人工介入。它们同样能防止临时性信号悄悄演变为永久性业务逻辑。
业务所有权不会消失
业务负责人无法逐一审核每一个答案,否则自身将成为瓶颈。他们需要审阅大量答案的测试与评估结果,并了解这些答案背后的情境何时发生了变化。
业务层通过将每个定义与其所服务的决策及适用周期绑定,来维护这种情境。一旦任何因素发生变化,受影响的情境就会被标记,等待业务侧的审核。
这种审核还必须覆盖评估过程本身。如果目标已经偏移,系统可能在评分上持续提升,却越来越擅长回答错误的问题。虽然系统可以收集新信息并提出变更建议,但对情境的实质性修改仍需获得业务侧的批准。
这一责任归属于业务负责人。工程团队可以将系统构建得无懈可击,系统也可以完全按照设计运行,但如果底层假设本身是错误的,一切努力都将付诸东流。
过去,分析师凭借经验承担了大部分这类责任。而在引入 AI 数据分析师之后,企业必须自己掌握答案背后的判断逻辑,并决定这套逻辑何时需要更新。
Q&A
Q1:什么是语义层,AI 数据分析为什么需要它?
A:语义层是一套为系统提供经过审核的业务定义及逻辑的结构,它将这些定义与底层数据连接起来。AI 数据分析师在访问数据时,若没有语义层的支撑,就只能自行推断业务逻辑,从而导致答案看似合理却实际有误。语义层可以帮助系统理解什么是"风险账户"、什么是"季度收入"等具体业务概念,减少模型自行填补定义空白的风险。
Q2:AI 数据分析师给出的答案听起来合理,但为什么还是可能出错?
A:即使数据准确、定义正确,AI 数据分析师仍可能给出错误答案,原因在于情境的缺失。例如,模型可能使用了正确的收入定义,却选择了错误的时间范围;或者套用了已经过期的业务假设。答案在形式上无误,但因应用场景判断有误,实际结论对业务决策而言是错误的。这种错误更难被发现,潜在风险也更大。
Q3:引入 AI 数据分析工具后,业务负责人还需要做什么?
A:业务负责人不能完全将判断责任交给系统。他们需要将每个业务定义与对应的决策场景及适用周期绑定,并在任何因素变化时及时审核受影响的情境。此外,他们还需监督评估过程本身,防止系统在优化评分的同时偏离真正的业务目标。对情境的实质性修改,最终仍需业务侧批准,而非由系统自行决定。