数据质量与缓慢变化维度管理全解析
1. ETL 操作的行计数审计
在 ETL 操作中，要判断其是否成功，一个简单而有效的审计控制方法是比较输入行和输出行的数量。为了有效实现这一点，输入查询要尽可能简单，避免因连接操作导致结果集遗漏行，可使用查找转换（Lookup transform）替代连接操作。
可以利用行计数转换（Row Count transform）将两个转换之间流动的行数分配给包变量。在数据流任务的开始和结束处使用两个或更多的行计数转换，就能判断任务是否丢失了行，或者有多少行被重定向用于错误处理，如图 1 所示。为了跟踪这些信息，可以在数据流任务之后立即在控制流中插入一个任务，将包变量、包名称和执行日期写入审计表。
graph LR; A[数据源] --> B[行计数转换1]; B --> C[其他转换]; C --> D[行计数转换2]; D --> E[数据目标]; F[控制流任务] --> G[写入审计表]; B --> H(包变量); D --> H; H --> G;图 1：使用行计数转换进行审计
2. 从源头上防止不良数据
手动输入的数据是不良数据的主要来源之一，业务键很少能被正确输入。若期望用户在电子表格中输入预算等数据，可以提供一个已在受保护列中输入业务键的电子表格，以减少用户的挫败感并提高数据质量。创建该电子表格有两种方法：
- 方法一：在 Excel 中使用 MS 查询，直接从维度表填
