3D点云的深度学习
使用卷积神经网络(CNN)架构的深度学习(DL)现在是解决图像分类任务的标准解决方法。但是将此用于处理3D数据时,问题变得更加复杂。首先,可以使用各种结构来表示3D数据,所述结构包括:
1 体素网格
2 点云
3 多视图
4 深度图
对于多视图和深度图的情况,该问题被转换为在多个图像上使用2D CNN解决。通过简单定义3D卷积核,可以将2D CNN的扩展用于3D Voxel网格。但是,对于3D点云的情况,目前还不清楚如何应用DL工具。但是之前也已经有几种解决办法了,具体可以参看 http://www.cnblogs.com/li-yao7758258/p/8182846.html 的总结
以及最近山东大学研究者们提出的PointCNN,对于pointCNN 这篇论文是一种为基于点云的特征学习提出了一种简单且通用的框架。CNN成功的关键是要能利用数据中以网格形式密集表示的空间上的局部相关性(比如图像)。但是,点云是不规则和无序的,因此在这些点关联的特征上直接求核的卷积会导致形状信息的丢失,同时还会因顺序不同而不同。为了解决这些问题,提出了根据输入点学习一种X变换,然后将其用于同时加权与点关联的输入特征和将它们重新排列成潜在隐含的规范顺序,之后再在元素上应用求积和求和运算。我们提出的方法是典型CNN向基于点云的特征学习的泛化,因此将其称为PointCNN。实验表明,PointCNN能在多种有挑战性的基准数据集和任务上实现与之前最佳方法媲美或更好的表现。
PointCNN与其他方法的对比
其次,图像的可用数据比较多,尽管最近3D数据集的数量有所增加 。但是,对于3D情况,可以容易地生成合成数据。
下面附有在3D数据上使用DL工具的论文列表
- Voxel Grid – Volumetric CNN:
- Voxnet: A 3D convolutional neural network for real-time object classification
- Volumetric and multi-view CNNs for object classification on 3d data– compared volumetric CNNs to Multi-view CNNs for object classification. They showed that the multi-view approach performs better, however, the resolution of the volumetric model was limited
- 3D shapenetes: A deep representation for volumetric shapes
- Multi-View CNNs:
- Point clouds:
- Pointnet: Deep learning on point sets for 3d classification and segmentation – In this work they applied a convolution kernel on each point separately, creating a higher dimensional representation of each point and then max-pooling over the entire point set (max pooling used as a symmetric function) to get invariance to permutations of the input cloud (since there is no geometrical significance to the point order).
- Hand-crafted features + DNN :
- 3D deep shape descriptor – fed heat kernel signatures (HKS) descriptor into an NN to get an Eigen-shape descriptor and a Fischer shape descriptor.
有问题请指出,同时欢迎大家关注微信公众号
或者加入3D视觉微信群一起交流分享
最新文章
- 最近碰到的一些 SSL 问题记录
- 【linux】配置SSH免密码登陆
- jquery学习笔记---闭包,原型链,this关键字
- c++实现单向链表
- multi-CPU, multi-core and hyper-thread--转
- mysql数据库本地化操作
- eclipse代码提示框背景色改动
- 关于fastclick.js
- 常用cl命令参数解释
- POJ1185 炮兵阵地 状态压缩
- polay定理总结
- JavaScriptSerializer返回一条Json,页面获取值问题,数据绑定
- opencv2 矩阵方式 resize图像缩放代码(转载)
- 汽车Vin码识别技术的由来到发展
- 团队作业4——第一次项目冲刺 tHe LaSt dAy
- Natural Hazards 隐私政策
- python3 python2 import 的区别
- IP防护等级简介
- html+css+javascript之间的关系与作用
- git format-patch制作内核补丁
热门文章
- [TC14126]BagAndCards
- [POJ2420]A Star not a Tree?
- mongoDB进行分组操作
- C++ map<;key , value>; key值为指针
- C++学习笔记40:进程应用
- mongodb.副本集配置方法(使用keyfile认证部署)
- android:碎片的概念
- 使用Linux(CentOS)搭建SVN服务器全攻略
- iOS开发-适配器和外观模式
- AndroidStudio下加入百度地图的使用 (三)——API基本方法及常量属性