悉尼城市物体数据集：3D点云分类入门与PointNet实战

简介：悉尼城市物体数据集（Sydney Urban Objects Dataset）面向计算机视觉与深度学习方向的研究者、算法工程师及学生，用于城市环境下的目标检测、语义分割与三维点云识别等任务，尤其适合自动驾驶、智慧交通与道路安全分析等场景的模型训练与基准测试。资源包共1982个文件，以672个csv标注文件、672个bin点云数据、631个meta元信息文件为主，另含少量txt说明、Python脚本与xml配置，压缩包约75.84MB，目录按类别组织，便于按模块检索与批量读取。数据集覆盖车辆、行人、交通标志、建筑物等常见城市元素，并包含不同天气、光照、视角与遮挡条件，有助于提升模型在真实场景中的泛化能力。目前已有390人学习下载，读者可借助其标注信息与点云样本，完成目标检测、语义分割算法的训练、对比与调优，为学术研究与工业落地提供扎实的数据支撑。

1. 悉尼城市物体数据集：一份被低估的 3D 点云分类基准

如果你正在做激光雷达点云分类，又不想一上来就被 SemanticKITTI 那种几十 GB 的体量劝退，Sydney Urban Objects Dataset 是个很合适的起点。它由悉尼大学澳大利亚现场机器人中心采集，用 Velodyne HDL-64E 在悉尼市区扫街，覆盖车辆、行人、树、垃圾桶、路牌等 26 类城市物体，是早期 3D 点云目标分类里被反复引用的基准之一。整包以 .gz 压缩形式分发，解压后是逐目标的点云片段，每个片段对应一个带类别标签的物体实例。它解决的核心问题很直接：给你一批真实城市环境下的稀疏点云，让你验证分类模型在噪声、遮挡、尺度差异下的鲁棒性。适合做点云分类入门、算法对比实验、教学演示，以及给自动驾驶感知链路做小规模预研的人。

2. 数据集结构与点云格式：先看懂再动手

2.1 目录组织与标签体系

拿到压缩包后，解压出来的目录结构并不复杂，但第一次看容易懵。常见做法是：根目录下按类别名建子文件夹，每个子文件夹里放该类别的单个物体点云文件，文件名通常带采集编号。类别覆盖 26 类，包括 4 类车辆（轿车、厢式车、卡车、公交车）、多种行人姿态、树、柱子、广告牌、垃圾桶等。这里有个血泪经验：类别分布极不均衡，轿车和行人样本多，某些类别只有个位数样本，直接拿来做训练会出现严重的长尾问题。

每个点云文件本质是一段从整帧扫描里裁剪出来的物体点集，坐标系是传感器坐标系，单位是米。因为 HDL-64E 是 64 线，垂直分辨率有限，远处物体点会非常稀疏，这也是这个数据集难度所在。

2.2 读取与可视化：用 Python 把点云拉出来

不要急着上深度学习框架，先用 numpy 和 matplotlib 把单个物体点云读出来看一眼，确认字段顺序和尺度。下面这段代码是我常用的最小读取脚本：

import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D # 单个物体点云文件路径，按实际解压目录替换 file_path = "SydneyUrbanObjects/car/car_0001.txt" # 常见格式：每行 x y z intensity，空格或逗号分隔 # 先探测分隔符，避免直接 loadtxt 报错 with open(file_path, "r") as f: first_line = f.readline().strip() delimiter = "," if "," in first_line else None points = np.loadtxt(file_path, delimiter=delimiter) # 取前三列作为 xyz，第四列若存在则为 intensity xyz = points[:, :3] intensity = points[:, 3] if points.shape[1] > 3 else None print("点数:", xyz.shape[0]) print("xyz 范围:", xyz.min(axis=0), xyz.max(axis=0)) fig = plt.figure(figsize=(8, 6)) ax = fig.add_subplot(111, projection="3d") ax.scatter(xyz[:, 0], xyz[:, 1], xyz[:, 2], c=intensity, s=1, cmap="jet") ax.set_xlabel("X"); ax.set_ylabel("Y"); ax.set_zlabel("Z") plt.show()

逻辑说明：先读第一行判断分隔符，是因为不同分发版本可能用空格或逗号，硬编码 delimiter 很容易翻车。取前三列做 xyz，第四列当 intensity，这是这类 Velodyne 点云最常见的字段布局。打印 xyz 范围能帮你确认单位是不是米、有没有异常离群点。参数上，s=1 控制散点大小，点多了调大反而糊成一团；cmap 用 jet 只是为了看强度分布，正式出图建议换 viridis。

2.3 从单目标到训练样本：统一采样与归一化

原始单目标点云点数差异极大，轿车可能几百点，树可能上千点。直接喂给 PointNet 这类网络前，必须做统一采样。常见做法是随机采样或最远点采样到固定点数 N，比如 1024。同时要做归一化，把点云平移到质心、缩放到单位球内，否则尺度差异会让模型学偏。

def normalize_point_cloud(xyz): # 平移到质心 centroid = np.mean(xyz, axis=0) xyz = xyz - centroid # 缩放到单位球 max_dist = np.max(np.linalg.norm(xyz, axis=1)) if max_dist > 0: xyz = xyz / max_dist return xyz def random_sample(xyz, n=1024): if xyz.shape[0] >= n: idx = np.random.choice(xyz.shape[0], n, replace=False) else: # 点数不足时允许重复采样 idx = np.random.choice(xyz.shape[0], n, replace=True) return xyz[idx]

参数说明：n=1024 是点云分类里比较通用的输入点数，显存和精度平衡较好；如果做轻量实验可以降到 512。归一化到单位球是为了消除物体绝对尺寸影响，但要注意——如果你做的任务依赖真实尺度（比如区分轿车和卡车），归一化会削弱这个信号，这时候应该保留尺度或额外把尺度作为特征。

3. 训练一个点云分类基线：从数据加载到评估

3.1 构建 Dataset 与类别映射

要把散落的单目标文件组织成 PyTorch 能用的 Dataset，核心是两件事：扫描所有文件建立路径与标签的映射，以及在getitem里做读取、采样、归一化。类别名到索引的映射建议按字母序固定下来，避免每次运行标签错位。

import os import numpy as np import torch from torch.utils.data import Dataset class SydneyUrbanDataset(Dataset): def __init__(self, root_dir, num_points=1024): self.num_points = num_points self.samples = [] self.classes = sorted(os.listdir(root_dir)) self.class_to_idx = {c: i for i, c in enumerate(self.classes)} for cls in self.classes: cls_dir = os.path.join(root_dir, cls) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): self.samples.append((os.path.join(cls_dir, fname), self.class_to_idx[cls])) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label = self.samples[idx] with open(path, "r") as f: first_line = f.readline().strip() delimiter = "," if "," in first_line else None points = np.loadtxt(path, delimiter=delimiter) xyz = points[:, :3] xyz = normalize_point_cloud(xyz) xyz = random_sample(xyz, self.num_points) return torch.tensor(xyz, dtype=torch.float32), label

逻辑说明：sorted(os.listdir) 保证类别顺序稳定，这是可复现性的基础。getitem里每次重新读文件而不是预加载全部点云，是为了控制内存，代价是 IO 开销大，样本多时建议加缓存。num_points 作为可调参数贯穿始终，训练和推理必须一致。

3.2 划分训练验证集与处理类别不均衡

这个数据集类别极不均衡，直接随机划分会导致某些类别在验证集里一个样本都没有。常见做法是按类别分层划分，保证每个类别在训练和验证里都有代表。对样本极少的类别，要么合并成粗粒度大类，要么在损失函数里加权。

from torch.utils.data import DataLoader, Subset from sklearn.model_selection import train_test_split dataset = SydneyUrbanDataset("SydneyUrbanObjects", num_points=1024) labels = [s[1] for s in dataset.samples] train_idx, val_idx = train_test_split( range(len(labels)), test_size=0.2, stratify=labels, random_state=42 ) train_loader = DataLoader(Subset(dataset, train_idx), batch_size=16, shuffle=True) val_loader = DataLoader(Subset(dataset, val_idx), batch_size=16, shuffle=False)

参数说明：stratify=labels 是分层划分的关键，random_state 固定保证可复现。batch_size=16 对 1024 点的 PointNet 来说显存压力不大，可以往上调。如果某些类别样本数少于 5，stratify 会直接报错，这时候要先做类别合并或剔除。

3.3 用 PointNet 跑通训练与评估

基线模型用 PointNet 就够了，重点是跑通流程、看到准确率随 epoch 变化。下面是一个精简训练循环：

import torch.nn as nn import torch.optim as optim # 假设已定义 PointNet 分类网络 model = PointNet(num_classes=len(dataset.classes)).cuda() criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=1e-3) for epoch in range(50): model.train() total_loss = 0 for xyz, label in train_loader: xyz, label = xyz.cuda(), label.cuda() optimizer.zero_grad() pred = model(xyz) loss = criterion(pred, label) loss.backward() optimizer.step() total_loss += loss.item() model.eval() correct, total = 0, 0 with torch.no_grad(): for xyz, label in val_loader: xyz, label = xyz.cuda(), label.cuda() pred = model(xyz) correct += (pred.argmax(1) == label).sum().item() total += label.size(0) print(f"epoch {epoch}, loss {total_loss:.4f}, val_acc {correct/total:.4f}")

逻辑说明：训练循环里每步 zero_grad、前向、算损失、反向、更新，这是标准套路。评估时切 model.eval() 并关掉梯度，避免 BN 和 Dropout 行为不一致。参数上 lr=1e-3 是 Adam 的常用起点，收敛慢可以降到 1e-4；epoch 数看验证准确率是否还在涨，别死磕固定值。注意这个数据集样本量不大，很容易过拟合，验证准确率掉头就该停。

4. 避坑与常见问题排查

4.1 点云文件分隔符不统一导致读取失败

现象：np.loadtxt 报 ValueError，提示列数不一致或无法转换。原因：不同分发版本或不同类别文件夹里的点云文件，分隔符可能是空格、制表符或逗号，甚至同一批里混用。解决：像前面代码那样先读第一行探测分隔符，或者用 pandas.read_csv 配合 sep=r"\s+|," 正则分隔，再统一转 numpy。更稳的做法是写一个探测函数，对每个文件单独判断。

4.2 类别极度不均衡导致验证集缺类

现象：训练时 loss 正常下降，但验证准确率虚高，混淆矩阵里某些类别完全没出现。原因：随机划分时稀有类别全被分到训练集，验证集里没有该类样本，准确率被多数类主导。解决：用 stratify 分层划分；对样本数少于阈值的类别做合并或剔除；损失函数加 class weight，让稀有类别的错分惩罚更大。

4.3 归一化抹掉尺度信息导致车辆类混淆

现象：轿车、厢式车、卡车之间互相误分类严重。原因：归一化到单位球后，物体的绝对尺寸信息被消除，而这几类车在点云形状上本来就相似。解决：要么不做全局归一化，只做平移；要么把原始尺度（如包围盒对角线长度）作为额外特征拼接到全局特征里。这个坑我在做车辆细分类时踩过，改回保留尺度后类间混淆明显下降。

4.4 点数不足时重复采样引入偏差

现象：小物体分类效果差，训练不稳定。原因：原始点数远小于目标采样数时，replace=True 的重复采样会让某些点被反复选中，网络看到的几何分布失真。解决：优先用最远点采样代替随机采样，它在点数不足时也能尽量均匀覆盖；或者降低 num_points，让采样数贴近真实点数分布。

4.5 坐标系与朝向不一致导致可视化错乱

现象：matplotlib 里点云看起来是躺着的或镜像的。原因：传感器坐标系定义和绘图坐标系默认朝向不同，有的文件还做过旋转对齐。解决：可视化前先打印 xyz 各轴范围，判断哪个轴是高度；必要时手动交换轴或加旋转矩阵。别小看这一步，朝向没对齐，后面做数据增强时旋转范围都会设错。

5. 进阶玩法：把单目标分类扩展到检测预研与跨数据集验证

跑通分类只是第一步。这个数据集真正的价值在于它足够小，可以让你快速验证想法，再迁移到大规模数据上。我一般会做两件事：一是把它当作检测预研的切片来源，二是拿它做跨数据集泛化测试。

先说检测预研。单目标点云本质是检测框内的点，你可以反过来把同一帧里的多个物体点云按原始坐标拼回去，模拟一帧带多个目标的场景，再训练一个轻量检测头。虽然这个数据集没提供原始帧的完整标注，但按物体类别和大致位置拼合，足够验证你的检测 pipeline 是否跑得通。常见做法是先用聚类把拼合后的点云分块，再对每块做分类，相当于把检测拆成“分割+分类”两步。

再说跨数据集验证。你可以先在 Sydney Urban Objects 上训练一个分类模型，再拿 KITTI 或 SemanticKITTI 里裁剪出的同类物体做零样本测试，看准确率掉多少。这个实验能直观暴露模型对传感器线数、点密度、场景分布的敏感程度。我自己的经验是：在 Sydney 上训的模型直接迁到 64 线以上的密集点云，性能会掉，因为归一化和采样策略都是按稀疏点云设计的。这时候要做的不是换模型，而是调整采样密度和归一化方式，让输入分布对齐。

最后给一个具体技巧：做数据增强时，绕 Z 轴旋转要限制在合理范围。城市物体里车辆和行人有明确朝向，360 度随便转会让标签语义失真。我一般对车辆限制在正负 15 度，对树、垃圾桶这类无朝向物体才放开全角度。这个细节不写进论文，但实测能稳住好几个点的准确率。

从那以后我每次拿到新的点云数据集，都强制先走一遍“读单样本、看范围、探分隔符、查类别分布”这四步，再动手写训练代码。希望帮到你。

本文还有配套的精品资源，点击获取