如果你见过自动驾驶汽车，也许会对车顶上那个一直在旋转的圆柱体感到好奇。

　　google的自动驾驶汽车这是一个雷达传感器，无人驾驶汽车依靠它在现实世界中进行导航。通过发射红外脉冲并测量其从物体反弹回来所用的时间，传感器创建出一个点云（point cloud），形成一个关于汽车周围环境的3D快照。

　　把未经处理的点云数据变得有实际意义并不容易，在机器学习时代以前，往往需要训练有素的工程师通过手工进行枯燥地详列他们想捕捉的特点。但来自MIT计算机科学与人工智能实验室（CSAIL）研究者们的一系列新论文显示，他们可以用深度学习自动化处理广泛的3D成像应用中的点云数据。

　　“今天的计算机视觉和机器学习中，90%的进展只处理二维图像，”MIT的Justin Solomon教授如是说，他是这一系列由博士生Yue Wang带头的论文的通讯作者。“我们的目标是解决‘更好地表征3D世界’这个基本需求，其应用不仅仅是在自动驾驶，而是任何需要理解3D形状的领域。”

　　需要从空间里大量的3D点中获得有意义的信息，先前大多数从数据中提取特征的方式都不是特别成功。在该研究团队的论文中，他们展现了新的分析点云的“EdgeConv”方式，即通过动态图卷积神经网络（dynamic graph convolutional neural network）来分类和分割独立物体。

　　“通过建立邻近点的图，算法可以捕获层次模式（ hierarchical patterns ）并因此推理出不同类型的通用信息用于各种下游任务。”Toyota Research Institute的机器学习科学家Wadim Kehl说道。

　　除了开发“ EdgeConv ”，团队还探索了点云处理的其他特殊方面。比如，其中一个挑战就是大多数传感器当它们在3D世界中转悠的时候总是改变角度；每次我们对一个物体重新扫描，它的位置可能与上一次我们看见它的时候不同。把多种点云融合到一个唯一的世界视角，你需要在一个叫做“ registration ”的进程中对齐或校准各种3D点。

　　从卫星数据到医疗手术，“registration”对于许多成像形式都至关重要。例如，当医生需要对病人进行多次磁共振成像扫描时，“registration”使扫描结果能够校准以找出变化。

　　“‘registration’是让我们能够将不同来源的三维数据集成到一个共同的坐标系中，”Yue Wang说，“没有它，我们实际上就无法从所有这些已开发的方法中获得有意义的信息。”

　　Solomon和Wang的第二篇论文展示了一种称为“ Deep Closest Point ”（DCP）的新 registration 算法，该算法能够更好地找到点云的识别模式、点和边（称为“ local features ”），以便将其与其他点云对齐。这对于自动驾驶汽车在场景中定位（“ localization ”）以及机器人手定位和抓取单个物体等任务尤其重要。

　　DCP的一个局限是，它假设我们可以看到一个完整的形状，而不仅仅是一侧。这意味着它无法处理更困难对齐形状的部分视角（ partial-to-partial registration）的任务。因此，在第三篇论文中，研究人员提出了一种改进的算法，称之为 Partial Registration Network （PRNet） 。

　　Solomon说，与2D图像和照片相比，现有的3D数据往往不结构化和难以处理。他的团队试图找出如何在没有很多机器学习技术所需的可控环境下，从所有无序的3D数据中获得有意义的信息。

　　DCP和PRNet成功背后的一个关键观察是，点云处理的一个重要方面是背景。点云A上的几何特征暗示了将其与点云B对齐的最佳方式，这可能与将其与点云C对齐所需的特征不同。例如，在 partial registration 中，一个点云中形状的有趣部分可能在另一个点云中不可见，这使其对registration无效。

　　Wang 说，该团队的工具已经被计算机视觉社区和其他领域的许多研究人员使用。甚至物理学家也在使用它们来实现csail团队从未考虑过的应用：粒子物理学。

　　接下来，研究人员希望在真实世界的数据上使用这些算法，包括从自动驾驶汽车上收集的数据。 Wang 说，他们还计划探索利用自我监督学习训练系统的潜力，以尽量减少所需的人类注释。

　　Solomon和Wang是DCP和PRNET论文的两位唯一作者。他们在 EdgeConv 论文上的共同作者是研究助理 Yongbin Sun 和麻省理工学院的 Sanjay Sarma 教授，以及加州大学伯克利分校的 Ziwei Liu 博士后和伦敦帝国理工学院的 Michael M. Bronstein 。

　　这些项目在一定程度上得到了美国空军、美国陆军研究办公室、亚马逊、谷歌研究公司、IBM、国家科学基金会、斯科尔特理工学院Next Generation项目和丰田研究所的支持。