原标题：【泡泡点云时空】从3D室內重建中学习3D语义场景图
泡泡点云时空带你精读点云领域顶级会议文章
欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申請授权
1、我们提出了一个大型3D数据集3DSSG，它扩展了3RScan 并带有语义场景图注释其中包含关系，属性和类层次结构有趣的是，可以通过渲染3D場景图获得2D场景图从而产生363k个场景图-图像的匹配对。
2、我们第一个提出了深度学习的方法用于从3D点云中直接生成语义场景图。
3、我们展示了如何在跨域检索（尤其是不断变化的室内环境的2D-3D场面检索）中使用3D语义场面图
语义场景图由节点N和边R之间的一组元组（N，R）组成与之前定义不同的是，本文中的节点不是仅分配了单个对象类别C而是由类c =（c1，...cd）的层次结构定义，其中c∈Cd和d可以变化由于要应对哆变的场景，每个节点还具有一组属性A描述了对象实例的视觉和物理外观，以及功能性描述
给定场景s的点集P和类不可知的实例分割M，場景图预测网络（SGPN）的目标是生成图G =（NR），包含场景中的对象N以及他们的关系R我们的学习方法基于场景图预测中的通用框架，其中涉忣到每个节点φn和边缘φr的视觉特征提取我们使用两种PointNet 体系结构来提取φn和φr，我们将其称为ObjPointNet和RelPointNet具体实施时我们分别提取单个实例的點云和两个相邻实例的点云送入ObjPointNet和RelPointNet中。我们将提取的特征以关系三元组（主题谓词，宾语）的形式排列在图结构中其中φn占据主语/宾語单位，而边缘特征φr占据谓语单位接下来，我们采用图卷积网络（GCN）处理获得的三元组GCN的每个消息传递层均包含两个步骤。首先將每个三元组输入至MLP中以进行信息传播。其次对于某个节点，在聚合步骤中将来自该节点的所有有效连接（作为对象或对象）的信号求平均，生成的节点特征将输入至另一个MLP中在每个层之后，节点可见性将传播到另一个相邻层GCN的最后一部分由两个MLP组成，用于预测节點和谓词类模型的损失函数包含分类损失L_obj以及谓词分类损失L_pred。
我们的场景图预测模型的定性结果绿色：正确预测的边缘，蓝色：缺少GT红色：未分类的边缘，灰色：当GT是有效关系时错误地预测为无
在3DSSG上评估场景图预测任务。我们介绍三元组预测对象分类以及谓词预測精度。
