1. 遥感地物分类多模态数据集入门指南第一次接触遥感地物分类的朋友可能会被各种专业术语和数据集的复杂参数搞得晕头转向。别担心我刚开始做遥感项目时也是这样光是理解多模态这个概念就花了两周时间。简单来说多模态就像是用不同的相机给同一片区域拍照——有的拍彩色照片光学影像有的拍地形高度LiDAR还有的能穿透云层SAR。把这些数据结合起来就能更准确地识别地物类型。目前主流的遥感数据集主要分为四大组合类型光学-DSM彩色影像数字表面模型光学-SAR彩色影像合成孔径雷达光学-LiDAR彩色影像激光雷达HS-MS高光谱多光谱选择数据集就像选相机分辨率决定了你能看清多小的物体比如能否识别单车还是汽车模态组合决定了你能获取哪些信息比如能否区分玻璃幕墙和水泥墙。我在武汉做城市扩张研究时就曾因为选错数据集导致分类准确率低了15%这个教训我会在后面详细分享。2. 光学-DSM数据集深度评测2.1 ISPRS Potsdam/Vaihingen城市精细分类标杆这两个德国数据集堪称遥感界的MNIST我的第一个地物分类项目用的就是Vaihingen。Potsdam包含386张6000×6000像素影像分辨率高达5厘米能清晰看到马路上的斑马线。它提供五种数据模态RGB真彩色红外假彩色(IRRG)红绿蓝红外(RGBIR)数字表面模型(DSM)归一化DSM实测发现第7_10号影像存在标注错误建议预处理时特别注意。我在处理建筑物边缘时发现结合DSM高度信息能使分类准确率提升8%左右。Vaihingen数据集虽然尺寸稍小平均2046×494像素但9厘米的分辨率同样出色。记得第一次用它的DSM数据时树木高度的三维信息帮我准确区分了乔木和灌木这在纯光学影像中很难实现。2.2 N3C-California点云融合新标准这个加州数据集特别适合做多模态学习研究包含航空影像1米分辨率点云数据派生DSM我最近用它的10800张512×512样本训练了一个跨模态Transformer关键是要处理好点云到图像的投影对齐。有个小技巧先用Open3D做点云栅格化再与光学影像做配准能减少15%以上的对齐误差。2.3 DKDFN中国典型地物数据集这个湖南数据集的特点是包含10米分辨率的多光谱(MS)和SAR数据虽然需要上采样处理但对农田和水体的分类效果很好。我在洞庭湖湿地监测项目中用它的400样本训练的分类模型对水稻田的识别F1值达到0.89。3. 光学-SAR数据集实战解析3.1 WHU-OPT-SAR国产卫星强组合这个武汉大学发布的数据集包含10055张GF-1光学和GF-3SAR的配对影像5米分辨率足够识别大型建筑物。SAR数据的穿透能力在湖北多云天气下特别有用有次连续一周阴雨光学影像完全失效全靠SAR数据救了项目进度。3.2 MSAW全天候作战利器SpaceNet提供的这个900×900像素数据集最大特点是0.5米超高分辨率我用它做过台风灾损评估。SAR影像能穿透云层显示被淹区域配合光学影像可以精确定位倒塌建筑。处理时要特别注意SAR的斑点噪声建议先用Lee滤波预处理。3.3 SEN12MS全球尺度训练首选包含18万全球样本的巨无霸数据集虽然MS和SAR分辨率不同10米vs20米但覆盖四季变化的优势无可替代。我在做跨区域泛化实验时用它的非洲样本做预训练使模型在东南亚测试集的准确率提升了12%。注意要使用官方提供的配准工具处理分辨率差异。4. 光学-LiDAR黄金组合4.1 MUUFLGulfport小样本学习典范这个美国数据集虽然只有325×220像素但HSI高光谱和LiDAR的配合堪称完美。我在做校园地物分类时用LiDAR提取的建筑轮廓修正了HSI的分类结果使操场塑胶跑道和沥青路的区分度从73%提高到91%。4.2 Trento农业应用首选意大利特伦托的600×166像素数据集特别适合农作物监测1米分辨率能清晰区分葡萄园和苹果园。LiDAR生成的高度差特征帮我发现了传统光学影像无法识别的梯田结构。处理时建议先做NDVI计算再结合高度阈值。5. 多模态数据融合技巧经过多个项目实践我总结出三个关键经验时空对齐是生命线不同传感器采集时间不同我用GRABIT工具配准光学和SAR数据时控制点误差要小于3个像素特征级融合优于决策级融合在Backbone网络早期进行跨模态注意力融合比后期拼接结果平均提升5-7%准确率模态缺失要有预案设计网络时加入模态dropout层模拟实际应用中可能缺失某种数据的情况最近在用Potsdam数据集时我发现用DSM生成的法线图作为第四模态输入使建筑物边缘分类IoU提高了4.2%。具体做法是用OpenCV的Sobel算子计算高度图的梯度方向这个trick分享给大家试试。