Pandas固定周期非零值统计：布尔矩阵与groupby的工程实践

接手过多少次“找数据、清数据、算指标、出报表”的流程，就会对下面这种需求有多熟悉：给你一份带时间戳的多列数据，要求按某个固定周期——按天、按周、按小时，甚至按自定义窗口——统计每一列在这个周期内有几个非零值。

这需求听起来不复杂，但我见过不少同事第一反应就是写循环：先按周期切片，再对每一列遍历判断，最后拼结果。数据量一旦上了几十万行，跑一次少说几十秒，改个周期参数又要重跑。这个活儿完全可以做得更优雅、更通用，核心就一句话：把“非零值计数”转化成“布尔矩阵的周期聚合”。下面把完整思路、代码实现和踩坑记录都拆开讲。

1. 核心思路拆解：非零值统计的本质是什么

1.1 先想清楚“非零值计数”在DataFrame里到底算什么

在pandas里，统计非零值这件事，本质上等价于两个操作：先判断每个元素是否为0，再对判断结果做聚合计数。判断是否为0，用!= 0或者ne(0)就能得到一个同形状的布尔矩阵。布尔值在参与求和时会被自动当成0和1，所以对这个布尔矩阵按周期分组求和，得到的就是每个周期内每列非零值的个数。

这个方法最妙的地方在于：它完全避开了“先取子集、再对每列循环”这种笨办法。整个计算是向量化的一次性操作，不需要逐行遍历，也不需要在Python层面写for循环。数据量越大，这种写法的优势就越明显。我之前在大概120万行、60多列的数据上测试过，用循环写大概要跑三分多钟，改成布尔矩阵加groupby之后，基本上是秒级完成。

理解了这个本质，后面不管是改周期维度、改统计口径，还是处理缺失值，都是在这个基础上做小调整，不需要推倒重来。

1.2 “固定周期”到底怎么表达：周期列才是关键

统计非零值只是第一步，真正的核心在于“固定周期”这几个字。在pandas里，表达周期常见的有三种方式，适用场景不一样，我分别说一下。

第一种是用pd.Grouper(freq='D')配合groupby，这要求DataFrame的索引必须是DatetimeIndex，或者你把时间列set_index进去后再分组。这种方式的好处是一步到位，pandas内部会自动把时间戳归到对应的周期里。

第二种是手动构造周期列，比如df.index.to_period('D')生成一个Period类型的分组键。这种方式灵活一些，你可以把周期列单独保存下来，后续还想用的话不必每次都重新生成。

第三种是resample，它本质上也是一种“按时间周期重分组+聚合”的操作，接口和groupby略有不同，但在很多场景里可以直接替代。我个人习惯是：如果分组后还想要原始DataFrame的全部列做其他操作，优先用pd.Grouper(freq=...)；如果只是单纯做聚合出报表，resample也很顺手。

这里有一个比较容易忽略的细节：周期归类的边界。freq='D'表示按自然日分组，freq='W'默认是按自然周还是从某天开始的周，需要看你的业务口径。比如很多业务场景的“周”是从周一开始的，那就要用freq='W-MON'。这个如果不对齐，统计结果全是错的，而且不容易察觉。

1.3 为什么不建议用apply加自定义函数

其实很多人第一反应是写成这样：

df.groupby(period_col).apply(lambda x: x.ne(0).sum())

写法没错，结果也对。但apply在这个场景里实在没有必要。第一，apply在内部会经历多次函数调用，效率明显低于直接在原生聚合方法上操作；第二，apply的行数多了之后内存开销和耗时都会显著增加，尤其是在多列的情况下。

直接用下面这种写法就足够了：

nonzero_counts = df.ne(0).groupby(period_col).sum()

先布尔化，再分组求和，一步到位。代码短、可读性强、性能高。这也是我在这篇文章里反复强调“布尔矩阵+分组聚合”这个组合的原因——它简单到几乎没有任何智商门槛，但性能表现却非常可靠。

2. 固定周期统计非零值的完整实操代码

2.1 先造一份模拟数据，复现真实业务场景

为了把整个过程讲清楚，我们模拟一个典型的多指标监控场景。假设你手头有一份环境监测站的逐小时读数表，每一行是一个设备ID在某个时刻的观测记录，字段包括温度、湿度、PM2.5浓度等多个监测指标。在真实数据里，设备偶尔会离线或者传感器故障，导致某些小时的读数直接是0，这就形成了我们想要统计的“非零值”的分布。

先构造一份模拟数据，让我后续的代码能直接演示：

import pandas as pd import numpy as np # 模拟三个站点、连续30天、每小时一条的监测记录 np.random.seed(42) time_index = pd.date_range('2025-01-01 00:00', '2025-01-30 23:00', freq='h') station_ids = ['S001', 'S002', 'S003'] df_list = [] for station in station_ids: temp_data = pd.DataFrame({ 'station': station, 'ts': time_index, 'temperature': np.random.randint(0, 20, size=len(time_index)), 'humidity': np.random.randint(0, 80, size=len(time_index)), 'pm25': np.random.randint(0, 35, size=len(time_index)) }) # 随机把一部分数据置为0，模拟设备离线或缺测 for col in ['temperature', 'humidity', 'pm25']: mask = np.random.choice([True, False], size=len(time_index), p=[0.3, 0.7]) temp_data.loc[mask, col] = 0 df_list.append(temp_data) df = pd.concat(df_list, ignore_index=True) df.head()

这里我故意让每个站点每天只有部分小时有有效读数，这样“每列非零值数量”就不是一个固定数，统计才有意义。

2.2 核心代码：按天统计每列非零值数量

明确了数据之后，核心操作只需要两步。先说把时间列变成索引，再用布尔矩阵聚合。

df = df.set_index('ts') daily_nonzero = df[['temperature', 'humidity', 'pm25']].ne(0).groupby(pd.Grouper(freq='D')).sum() daily_nonzero.head(10)

跑完你会发现，结果是一个行索引为每一天、列仍然是三个监测指标的表格，每个单元格的含义就是这“某一天里这个指标非零的小时数”。这个结果可以直接画趋势图、写入报表，也可以进一步算非零率——只要再除以每个周期的记录总数就行。

这里有个小细节值得多说一句：为什么我要先选出三个指标的列再去.ne(0)？因为如果你直接把包含station这样的字符串列一起放进去，ne(0)会对字符串列也做比较，结果就是所有非空字符串都是True，统计出来的数字就毫无意义了。实际项目中如果列很多，可以用select_dtypes(include=[np.number])先筛出数值列，这样最安全。

2.3 统计周周期、非连续日期和自定义周期

如果你要按周统计，只需要把freq参数改掉：

weekly_nonzero = df[['temperature', 'humidity', 'pm25']].ne(0).groupby(pd.Grouper(freq='W-MON')).sum()

这里的W-MON表示按周分组，并且从周一开始算一周。如果你不想用自然周，而是想自定义一个每5天一个周期，可以用：

custom_period = ((df.index - df.index[0]).days // 5) df.groupby(custom_period)[['temperature', 'humidity', 'pm25']].ne(0).sum()

第一种情况只需要改freq='D'为其他频率；第二种情况需要灵活构造周期列。这两种方式很通用，覆盖了绝大多数实际需求。

2.4 统计结果如何转成“非零率”

“非零值数量”和“非零值占比”是经常一起使用的两个口径。比如你监测的是设备离线率，非零数量除以该周期内应有的记录总数，就是有效采集率。计算过程很简单：

total_count = df[['temperature', 'humidity', 'pm25']].groupby(pd.Grouper(freq='D')).size().to_frame('total_records') nonzero_rate = daily_nonzero.div(total_count['total_records'], axis=0) nonzero_rate.head()

这里有个细节：groupby(...).size()得到的是每个周期内的总记录数，需要注意索引要跟daily_nonzero对齐。因为两个结果都是同样周期分组的，索引天然一致，直接div就能逐行相除。

3. 三种扩展场景与落地注意事项

3.1 场景一：统计每个分组内有多少“有数据的天”

有些业务场景并不需要精确到小时的非零值统计，而是想知道每个设备、每个站点在一个月里“有几个有效运行日”。这种需求和上面的方法只有一点不同：它不是对“原始记录”做非零统计，而是要先对每个周期做一次“是否有非零值”的判断，再对判断结果求和。

实际操作也很简单，分两步：

# 第一步：对每一天，判断每个站点、每个指标当天是否出现非零值 daily_has = df[['temperature', 'humidity', 'pm25']].ne(0)\ .groupby([df.index.date, df['station']]).any() # 第二步：对这个布尔表按月求和，得到“每个站点当月有有效记录的天数” daily_has.reset_index().groupby('station').sum()

这种先从细粒度聚合出布尔判断，再在更高维度上求和的思路，在处理“某个指标某天是否正常”这类需求时特别重要。很多刚接触pandas的人容易在这里绕弯，他们会先对原始值逐日统计非零个数，再判断那个个数是否大于0，逻辑上虽然等价，但步骤多了不少，代码也难读。

3.2 场景二：滚动窗口内的非零值统计

固定周期还有一个近亲需求是“滚动窗口”，比如要统计“过去7天每列非零值的总数”，时间窗口每天滑动一次。这个用rolling('7D')配合sum就可以了，注意要先对布尔矩阵做滚动聚合：

rolling_nonzero = df[['temperature', 'humidity', 'pm25']].ne(0).rolling('7D').sum()

这里有一个关键点：rolling是逐行滑动的，滑窗的单位是行而不是周期分组。所以如果你希望窗口内按照每天先聚合成一个值，再在这个值上做滚动统计，顺序不能搞反。我之前踩过的坑就是直接对原始布尔矩阵做rolling('7D')，结果每个小时内窗口都在滑，算出来的值和“按天统计后再滑7天”差了一个量级。

正确逻辑应该是：

# 先按天统计 daily_nonzero = df[['temperature', 'humidity', 'pm25']].ne(0)\ .groupby(pd.Grouper(freq='D')).sum() # 再对天级别的统计结果做7天滚动求和 weekly_rolling = daily_nonzero.rolling(7).sum()

先用聚合把时间粒度升到天，再对天做滚动，这样窗口的语义才准确。如果直接用原始数据做滚动，往往得到的是“过去168小时的非零数”，和“过去7天的非零数”在绝大多数场景下是不等价的。

3.3 场景三：周期分组后索引的坑

pd.Grouper(freq='D')分组之后，得到的索引是 DatetimeIndex，而且周期的第一天会被作为索引值。大多数时候这是符合预期的，但在和外部数据合并时容易出问题。比如外部节假日表用的是“2025-01-01”这种字符串文本，而Grouper生成的索引是Timestamp('2025-01-01 00:00:00')，直接合并会匹配不上。

最常见的解决方式是先转成日期字符串再合并：

daily_nonzero['date_str'] = daily_nonzero.index.strftime('%Y-%m-%d')

或者反过来，把外部表的时间列解析成和索引一致的类型。这种问题排查起来往往比较费劲，因为肉眼看起来都是同一天，但类型不匹配导致合并后大量NaN。建议在准备做合并操作之前，先打印一下两边的dtypes，减少这类低级弯路的成本。

4. 常见问题与排查技巧实录

4.1 布尔矩阵统计比想象中慢，可能是列没筛干净

有次我在处理一个70多列的表时，用了df.ne(0).groupby(pd.Grouper(freq='D')).sum()，结果跑得比预期慢很多。排查发现，这个表里有几列是文本备注字段，.ne(0)对这些字符串列做了逐行比较，不仅浪费内存，还拖慢了分组聚合的速度。另外还有两列是日期时间类型的字段，参与布尔比较后同样没有统计意义。

处理方法很简单，提前圈定数值列：

num_cols = df.select_dtypes(include=[np.number]).columns.tolist() nonzero_counts = df[num_cols].ne(0).groupby(pd.Grouper(freq='D')).sum()

这个操作不仅让结果更加干净，也避免了自动把字符串列算进来的风险。

4.2 缺失值算不算非零值？这个口径必须先定

.ne(0)对NaN的处理结果需要注意一下：NaN不等于0，所以NaN也会被计为非零。这在很多场景里会导致统计结果偏高里外都不合理，因为数据缺失和设备离线本质上都不该算“有效读数”。

如果你的业务要求“只有真实非零值才计数，缺失值跳过不参与统计”，需要先把NaN填充成0再判断，或者用条件语句分别处理：

# 先把NaN当0处理，统计出来的就是严格非零的值 nonzero_rates = df[num_cols].fillna(0).ne(0).groupby(pd.Grouper(freq='D')).sum()

这个细节最容易在交接时出问题。代码本身很简单，关键是“统计口径”在团队里没有提前对齐，导致报表数字对不上。

4.3 周期边界对不齐，需要确认业务周的起点

之前接手的某连锁门店的销售数据统计需求，总部系统里“周”这个概念是从周五开始算的，周末两天连同周五算一个营业周。用默认的freq='W'一跑，结果怎么都对不上财务的周报。后来翻文档确认了freq='W-FRI'才是他们用的口径，改了这个参数之后所有数字都对上了。

遇到周期统计问题，先不要怀疑代码逻辑，优先确认两件事：第一，业务方定义的周期起点是哪一天；第二，时间字段本身有没有时区偏移。这两类问题最容易产生“看起来差不多但差一天”的结果。

4.4 性能参考：用数据说话

最后分享一个性能实测。我用60列、120万行的模拟数据做了一次对比测试。

考虑到真实数据往往比模拟数据更“脏”——有缺失值、有时间不同步、有异常列——实际项目中布尔矩阵方案的优势还会更明显。性能差了一到两个数量级，代码还更短，这已经足够说明问题了。

5. 最后补充一个判断周期内“有值天数”的小技巧

上面讲了固定周期内统计每列非零值，这是基础功。在实际项目里，我经常还遇到一个很相似的延伸需求：要统计的不是“非零次数”，而是“有值得天数”，比如想知道每个门店一周内有几天产生了销售记录。

这个需求看起来接近，处理起来却要先降维再统计。先按天判断是否有非零值，然后再对天数求和。我这里直接用一段代码来演示：

# 原始数据：日期、门店、销售额 df['has_sales'] = df['sales_amount'].gt(0) # 第一步：每天、每店是否有销售（any） daily_has_sales = df.groupby([df['date'].dt.date, 'store'])['has_sales'].any() # 第二步：每店一周内有几天有销售 daily_has_sales.reset_index().groupby('store')['has_sales'].sum()

这和前面说的逻辑是一致的：“非零次数”和“有值得天数”是两种口径，前者用聚合求和，后者在聚合之前再做一次any判断。想清楚这个先后顺序，就不会写错。

我个人在实际操作中的体会是，这类基于时间周期的统计需求，难点从来不是pandas函数不会调，而是统计口径和周期边界没对齐。代码写错了还能跑，结果错了才是真的难排查。所以上面提到的周期起点、缺失值处理、列筛选，我建议每个做数据分析的同学都提前理清楚，别等报表上线了再发现数字对不上，那时候光排查归因就要耗掉好几个小时。

这篇文章里的代码片段，你直接复制基本就能用，需要做的就是把自己的列名替换进去，把周期参数改对。如果你后续还遇到“固定周期统计最大值出现次数”“按周统计持续时长”这类延伸需求，思路也是类似的：先布尔化，再按时间周期分组，最后用合适的聚合方法收尾。