news 2026/8/11 5:56:13

做了 3 年数仓,才发现分层的本质不是分表,是分职责

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
做了 3 年数仓,才发现分层的本质不是分表,是分职责

数仓分层治理

:「详细讲一下 DWM、DWT、DWS 这些层的具体职责,以及它们之间的数据流向。如果 DWS 层某个指标不准了,你会怎么排查?」

字节数仓分层(比传统 4 层更细)

层级全称职责示例表
ODS

Operational Data Store

原始数据,不做处理

ods_orders, ods_user_behavior

DWD

Data Warehouse Detail

清洗 + 维度退化 + 标准化

dwd_order_detail, dwd_user_login_log

DWM

Data Warehouse Middle

轻度汇总,通用中间层

dwm_user_order_daily(每个用户每天的订单汇总)

DWT

Data Warehouse Topic

主题宽表,跨域关联

dwt_user_behavior_wide(用户行为宽表)

DWS

Data Warehouse Service

服务层聚合,面向指标

dws_gmv_daily(日 GMV 指标)

ADS

Application Data Service

应用层,直接对接报表

ads_dashboard_gmv_trend

数据流向: ODS ─→ DWD(清洗/标准化)─→ DWM(轻汇总)─→ DWT(主题宽表)─→ DWS(指标)─→ ADS(应用) └── 可以跳过 DWM/DWT 直接 DWD → DWS(简单指标) └── DWM 和 DWT 之间可以双向(DWT 反过来给 DWM 提供维度)

DWS 指标不准排查流程:

Step 1: 确认异常时间点
→ 查监控看板,确认是哪个 dt 的指标出问题

Step 2: 分层回溯
→ ADS 层对比昨天今天的数据量,确认问题在 ADS 还是更下层
→ DWS 层查该 dt 的数据量和历史同期的偏差,确认问题是否在 DWS

Step 3: 血缘追踪
→ 查数据血缘工具(Atlas / DataHub / 自研),看 DWS 表依赖哪些上游表
→ 逐层向上追踪:DWS ← DWT ← DWM ← DWD ← ODS

Step 4: 上游表对账
→ 对每个上游表,抽样对比今天 vs 昨天的数据量、NULL 率、关键字段分布
→ 哪个表的数据量和历史偏差最大,大概率是脏数据来源

Step 5: 根因定位
→ ODS 层问题:上游业务系统字段变更 / 数据未写入 / 格式变化
→ DWD 层问题:清洗逻辑改动 / 增量数据未触达 / 分区写入失败
→ DWM/DWT 层问题:JOIN 逻辑变更 / 关联率下降

Step 6: 修复 + 通知
→ 重跑失败任务 + 通知下游 + 建专项数据质量监控规则

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/11 5:56:06

亚马逊运营全流程工具与实战技巧指南

1. 亚马逊运营必备资源全景图刚入行亚马逊时,我最头疼的就是找不到靠谱的工具和资料。市面上信息太杂,免费资源质量参差不齐,付费工具又不知道值不值得投入。经过三年实操,我整理出这份覆盖全流程的资源指南,包含从选品…

作者头像 李华
网站建设 2026/8/11 5:55:30

从零部署GitLab社区版:私有化DevOps平台搭建与核心功能实战

1. 项目概述:为什么我们需要自己的GitLab?如果你是一名开发者、运维工程师或者团队的技术负责人,那么“代码仓库”这个词对你来说一定不陌生。从早期的SVN到如今遍地开花的Git,版本控制早已是软件开发的基石。而GitLab&#xff0c…

作者头像 李华
网站建设 2026/8/11 5:55:20

Unity3D中基于Mesh顶点操作实现单轴拉伸效果的技术解析

1. 项目概述与核心思路最近在复刻《跳舞的线》这类音乐节奏游戏时,遇到了一个挺有意思的视觉效果需求:如何让场景中的方块,随着音乐的节拍,在单一轴向上(比如Y轴)进行平滑而有节奏的拉伸与收缩?…

作者头像 李华
网站建设 2026/8/11 5:55:06

VMware桥接网络故障排查:解决VMnet0网桥未运行问题

1. 问题现象与核心影响分析“VMnet0上的网桥没有运行”——这个弹窗对于任何一个使用VMware Workstation或Fusion进行网络实验、开发或者测试的朋友来说,都太熟悉了。它就像一个不请自来的访客,总是在你最需要虚拟机联网的时候出现,然后告诉你…

作者头像 李华
网站建设 2026/8/11 5:53:24

Unity 3D集成ONLYOFFICE Docs实现实时协同文档编辑

1. 项目概述:当三维游戏开发遇上实时文档协作在三维游戏开发这个行当里,我们每天都在和复杂的资产、海量的配置文档以及需要多人协作的设计稿打交道。一个角色模型的属性表、一个关卡的剧情脚本、一份技能系统的数值平衡文档,这些看似不起眼的…

作者头像 李华