AI 卫星影像学问生成模子数据集稀缺的问题，又有新解了。
来自武汉大学、上海 AI 实验室、西工大等 9 家机构共同推出了该领域的大型数据集，涵盖了 21 万个地舆标的和 40 万个标的-关系三元组。何况像机场、口岸、立交桥等这么复杂地舆空间场景，也齐包括在了数据集当中。
具体来说，该数据集名为 RSG，主要面向卫星影像中的标的检测（OBD）和场景图生成（SGG）任务。
SGG 有助于促进模子对地舆空间场景从感知到理会的智能清爽，但一直穷乏大幅面、超高分辨率的卫星影像数据。
而 RSG 的出现很好地填补了这一空缺，一同建议的还有基于高下文感知的逐级理会（CAC）框架，以及配套的 SGG 用具包。
联系论文照旧在 arXiv 公诱惑布，相应的数据集和用具包也照旧开源。
大幅面超高分辨率卫星影像数据集
在卫星影像（SAI）领域当中，场景图生成（SGG）技艺不错促进对地舆空间场景从感知到理会的智能清爽。
在 SAI 中，地舆标的的措施和纵横比变化大，地舆标的之间（以致是空间不相交的地舆标的之间）存在丰富的关联，这使得 SGG 有必要在大幅面超高分辨率卫星影像中举座进行。
然则推行情况是，大幅面超高分辨率卫星影像的 SGG 数据集比拟穷乏，这无疑罢了了 SGG 在 SAI 中的推崇。
又由于大幅面超高分辨率卫星影像的复杂性，挖掘标的-关系三元组 严重依赖于辛苦高下文推理，传统为小幅面当然图像缱绻的 SGG 模子，不行平直适用于大幅面卫星影像。
注：下图是大幅面超高分卫星影像中的 SGG 暗意图，其中第一滑分别展示了大幅面超高分卫星影像的标的检测和场景图生奏效果，第二步履对应的局部细节展示。在第二行末尾图中，玄色箭头涌现仅依赖于沉寂标的对可算计的关系，而红色箭头涌现需要借助高下文推断的复杂关系。
于是，为了处置数据集稀缺问题，征询团队构建了首个面向大幅面超高分卫星影像的大范围场景图生成数据集 RSG。
该数据集影像幅面向上 512×768 到 27，860×31，096 像素，包含异常 21 万个地舆标的和异常 40 万个标的-关系三元组。
▲
RSG 数据逼近标的散播 (a) 和关系散播 (b) 统计
本色上，RSG 蚁集了空间分辨率为 0.15-1m 范围的卫星影像，涵盖了寰宇范围内与东说念主类行为密切相关的 11 类复杂地舆空间现象。
这些场景包括机场、口岸、核电站、火电站、风力发电站、水坝和办事区、立交桥、水面桥、施工工地和体育体育场景等。
▲
RSG 数据逼近影像采样的地舆散播和示例
在遥感领域群众的教会下，征询团队将通盘地舆标的分辨为 48 个细粒度类，并使用定向范畴框（OBB）进行精确标注，所相关联按照 8 个大类、58 个细粒度类进行标注。
建议高下文感知框架
为了进一步达成大幅面超高分卫星影像中的 SGG，征询团队还建议了一个基于高下文感知的逐级理会（CAC）框架。
该框架从三个层面长远清爽卫星影像 —— 标的检测（OBD）、标的对剪枝和关系算计：
在标的检测上，团队建议了“粗豪纯真集成多措施高下文的举座多类标的检测蚁集（HOD-Net）”，不错检测大幅面超高分辨率卫星影像中的标的；
在标的对剪枝方面，作家则缱绻了“基于起义生成的候选对生成（PPG）蚁集”，来筛选包含高价值关系的标的对；
在关系算计任务中，团队又建议了“带有高下文感朋友问传递（RPCM）的关系算计蚁集”来算计候选对的关系类型。
在 RSG 测试集上的效果标明，在标的检测任务中，岂论是基于水平框（HBB）照旧有向框（OBB）的检测器，团队建议的 HOD-Net 框架齐获得了总收成和多个单项的 SOTA。
持重：
1.表格中，b_b 为 boarding_bridge， l_t 涌现 lattice_tower， s_l 为 ship_lock， g_d 为 gravity_dam。
2.通盘实验齐基于范例的“1x”(12epochs) 磨真金不怕火配置。
3.†涌现骨干蚁集为 Swin-L，其他的骨干蚁集齐为 ResNet50。
4.下划线涌现下方的要害使用该模子看成基础检测器。
同期测试效果还标明，HOD-Net 要害也优于一些其他的磨真金不怕火情势。
底下的图愈加直不雅地展示了不同标的检测计谋的可视化效果。
剪枝任务上，团队建议的 PPG 计谋也在多个模子上初始的测试中超越了传统要害。
生成现象当中，团队缱绻的的 RPCM 蚁集在基于 HBB 和 OBB 检测器的通盘目标上，一样优于先前的主流 SGG 要害。
下图是不同 SGG 模子在 RSG 数据逼近现象生奏效果的可视化展示。
此外，为了促进大幅面超高分辨率卫星影像中 SGG 的发展，征询团队还发布了面向大面超高分辨率卫星影像的 SGG 用具包（其中包含约 30 种 OBD 要害和 10 种 SGG 要害），并基于 RSG 数据集进行了的全面基准测试。
