点云概念与点云处理
点云概念
点云与三维图像的关系 ：三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据，表现形式包括：深度图（以灰度表达物体与相机的距离），几何模型（由CAD软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体——背景解耦。点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。
点云的概念 ：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
点云的获取设备 ：RGBD设备是获取点云的设备，比如PrimeSense公司的PrimeSensor、微软的Kinect、华硕的XTionPRO。禅肢简
点云的内容 ：根据激光测量原理得到的点云，包括三维坐标（XYZ）和激光反射强度（Intensity），强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
根据摄影测量原理得到的点云，包括三维坐标（XYZ）和颜色信息（RGB）。
结合激光测量和摄影测量原理得到点云，包括三维坐标（XYZ）、激光反射强度（Intensity）和颜色信息（RGB）。
点云的属性 ：空间分辨率、点位精度、表面法向量等。
点云存储格式 ：*.pts; *.asc ; *.dat; .stl ; [1] .imw；.xyz； .las。LAS格式文件已成为LiDAR数据的工业标准格式，LAS文件按每条扫描线排列方式存放数据,包括激光点的三维坐标、多次回波信息、强度信息、扫描角度、分类信息、飞行航带信息、飞行姿态信息、项目信息、GPS信息、数据点颜色信息等。
C–class（所属类）
F一flight（航线号）
T一time（GPS时间）
I一intensity（回波强度）
R一return（第几次回波）
N一number of return（回波次数）
A一scan angle（扫描角）
RGB一red green blue（RGB颜色值）
点云的数据类型 ：
（1）pcl::PointCloudpcl::PointXYZ
PointXYZ 成员：float x，y，z;表示了xyz3D信息，可以通过points[i].data[0]或points[i].x访问点X的坐标值
（2）pcl::PointCloudpcl::PointXYZI
PointXYZI成员：float x, y, z, intensity; 表示XYZ信息加上强度信息的类型。
（3）pcl::PointCloudpcl::PointXYZRGB
PointXYZRGB 成员：float x,y,z,rgb; 表示XYZ信息加上RGB信息，RGB存储为一个float。
（4）pcl::PointCloudpcl::PointXYZRGBA
PointXYZRGBA 成员：float x , y, z; uint32_t rgba; 表示XYZ信息加上RGBA信息，RGBA用32bit的int型存储的。
（5） PointXY 成员：float x,y;简单的二维x-y点结构
（6）Normal结构体：表示给定点所在样本曲面上的法线方向，以及对应饥档曲率的测量值，用第四个元素来占位，兼容SSE和高效计算。
点云的处理
点云处理的三个层次 ：Marr将图像处理分为三个层次，低层次包括图像强化贺裤，滤波，关键点/边缘检测等基本操作。中层次包括连通域标记（label），图像分割等操作。高层次包括物体识别，场景分析等操作。工程中的任务往往需要用到多个层次的图像处理手段。
PCL官网对点云处理方法给出了较为明晰的层次划分，如图所示。
此处的common指的是点云数据的类型，包括XYZ，XYZC，XYZN，XYZG等很多类型点云，归根结底，最重要的信息还是包含在pointpcl::point::xyz中。可以看出，低层次的点云处理主要包括滤波（filters），关键点（keypoints）/边缘检测。点云的中层次处理则是特征描述（feature），分割（segmention）与分类。高层次处理包括配准（registration），识别（recognition）。可见，点云在分割的难易程度上比图像处理更有优势，准确的分割也为识别打好了基础。
低层次处理方法:
①滤波方法：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。②关键点：ISS3D、Harris3D、NARF，SIFT3D
中层次处理方法：
①特征描述：法线和曲率的计算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image
②分割与分类：
分割：区域生长、Ransac线面提取、全局优化平面提取
K-Means、Normalize Cut（Context based）
3D Hough Transform(线、面提取)、连通分析
分类：基于点的分类，基于分割的分类，基于深度学习的分类（PointNet，OctNet）
高层次处理方法：
①配准：点云配准分为粗配准（Coarse Registration）和精配准（Fine Registration）两个阶段。
精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是ICP以及ICP的各种变种（稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。
粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。
基于穷举搜索的配准算法：遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如RANSAC配准算法、四点一致集配准算法（4-Point Congruent Set, 4PCS）、Super4PCS算法等……
基于特征匹配的配准算法：通过被测物体本身所具备的形态特性构建点云间的匹配对应，然后采用相关算法对变换关系进行估计。如基于点FPFH特征的SAC-IA、FGR等算法、基于点SHOT特征的AO算法以及基于线特征的ICL等…
②SLAM图优化
Ceres（Google的最小二乘优化库，很强大）， g2o、LUM、ELCH、Toro、SPA
SLAM方法：ICP、MBICP、IDC、likehood Field、NDT
③三维重建
泊松重建、 Delaunay triangulations、表面重建，人体重建，建筑物重建，树木重建。结构化重建：不是简单的构建一个Mesh网格，而是为场景进行分割，为场景结构赋予语义信息。场景结构有层次之分，在几何层次就是点线面。实时重建：重建植被或者农作物的4D（3D+时间）生长态势；人体姿势识别；表情识别；
④点云数据管理：点云压缩，点云索引（KD、Octree），点云LOD（金字塔），海量点云的渲染
点云概念与点云处理
点云概念
点云与三维图像的关系 ：三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据，表现形式包括：深度图（以灰度表达物体与相机的距离），几何模型（由CAD软件建立配接），点云模型（所有逆向工程设备都将物体采样成点云）。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体——背景解耦。点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。这些信息隐藏在点云中需要以其他提取手段客第将其萃取出来，提取点云中信息的过程则为三维图像处理。
点云的概念 ：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量队最南本今点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
点云的获取设备 ：RGBD设备是获取点云的设备，比如PrimeSense公司的360问答PrimeSenso推报月采心核部影r、微软的Kinect、华硕的XTionPRO。
鲁满位方应搞批相料笔激点云的内容 ：根据激光面念位吗青另出兵测量原理得到的点云，已令土严沉律镇印包括三维坐标（XYZ）和激光反射强度（Intensity），与强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量看于月质走，激光波长有关。
根据摄影测量原理得到的点云，包括三维坐标（XYZ）和颜色信息（RGB）。
结合激光测量和摄影测量原理得到点云，包括三维坐标（XYZ）、激光反射强度（犯六Intensity）和颜色信息（RGB）。
点云的属性 ：空间分辨率、点位精度、表面法向量等。
点云存储格式 ：*.pts; *.asc ; 端*.dat; .stl ; 丰儿越晚号湖烈去[1] .imw；.xyz； .las。LAS格式文件已成为LiDAR数据的工业标准格式，占策定坐LAS文件按每条扫描线排列方式存放数据,包括激光点的三维坐编快倍印按互弱标、多次回波信息、强度信息、角行七总扫描角度、分类信息、飞行航带信息、飞级决叫福钢握行姿态信息、项目信息、GPS资般温任知充慢文信息、数据点颜色信息等。
C–class（所属类）
F一flight（航线号）
T一time（GPS时间）
I一intensity（回波线强度）
R一return（第几次回波）
N一number of return（回波次数）
A一scan angle（扫描角）
RGB一red green blue（RGB颜色值）
点云的数据类型 ：
（1）pcl::PointCloudpcl::PointXYZ
PointXYZ 成员：float x，y，z;表示了xyz3D信息，可以通过points[i].data[0]或points[i].x访问点X的坐标值
（2）pcl::PointCloudpcl::PointXYZI
PointXYZI成员：float x, y, z, intensity; 表示XYZ信息加上强度信息的类型。
（3）pcl::PointCloudpcl::PointXYZRGB
PointXYZRGB 成员：float x,y,z,rgb; 表示XYZ信息加上RGB信息，RGB存储为一个float。
（4）pcl::PointCloudpcl::PointXYZRGBA
PointXYZRGBA 成员：float x , y, z; uint32_t rgba; 表示XYZ信息加上RGBA信息，RGBA用32bit的int型存储的。
（5） PointXY 成员：float x,y;简单的二维x-y点结构
（6）Normal结构体：表示给定点所在样本曲面上的法线方向，以及对应曲率的测量值，用第四个元素来占位，兼容SSE和高效计算。
点云的处理
点云处理的三个层次 ：Marr将图像处理分为三个层次，低层次包括图像强化，滤波，关键点/边缘检测等基本操作。中层次包括连通域标记（label），图像分割等操作。高层次包括物体识别，场景分析等操作。工程中的任务往往需要用到多个层次的图像处理手段。
PCL官网对点云处理方法给出了较为明晰的层次划分，如图所示。
此处的common指的是点云数据的类型，包括XYZ，XYZC，XYZN，XYZG等很多类型点云，归根结底，最重要的信息还是包含在pointpcl::point::xyz中。可以看出，低层次的点云处理主要包括滤波（filters），关键点（keypoints）/边缘检测。点云的中层次处理则是特征描述（feature），分割（segmention）与分类。高层次处理包括配准（registration），识别（recognition）。可见，点云在分割的难易程度上比图像处理更有优势，准确的分割也为识别打好了基础。
低层次处理方法:
①滤波方法：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。②关键点：ISS3D、Harris3D、NARF，SIFT3D
中层次处理方法：
①特征描述：法线和曲率的计算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image
②分割与分类：
分割：区域生长、Ransac线面提取、全局优化平面提取
K-Means、Normalize Cut（Context based）
3D Hough Transform(线、面提取)、连通分析
分类：基于点的分类，基于分割的分类，基于深度学习的分类（PointNet，OctNet）
高层次处理方法：
①配准：点云配准分为粗配准（Coarse Registration）和精配准（Fine Registration）两个阶段。
精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是ICP以及ICP的各种变种（稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。
粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。
基于穷举搜索的配准算法：遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如RANSAC配准算法、四点一致集配准算法（4-Point Congruent Set, 4PCS）、Super4PCS算法等……
基于特征匹配的配准算法：通过被测物体本身所具备的形态特性构建点云间的匹配对应，然后采用相关算法对变换关系进行估计。如基于点FPFH特征的SAC-IA、FGR等算法、基于点SHOT特征的AO算法以及基于线特征的ICL等…
②SLAM图优化
Ceres（Google的最小二乘优化库，很强大）， g2o、LUM、ELCH、Toro、SPA
SLAM方法：ICP、MBICP、IDC、likehood Field、NDT
③三维重建
泊松重建、 Delaunay triangulations、表面重建，人体重建，建筑物重建，树木重建。结构化重建：不是简单的构建一个Mesh网格，而是为场景进行分割，为场景结构赋予语义信息。场景结构有层次之分，在几何层次就是点线面。实时重建：重建植被或者农作物的4D（3D+时间）生长态势；人体姿势识别；表情识别；
④点云数据管理：点云压缩，点云索引（KD、Octree），点云LOD（金字塔），海量点云的渲染
如何从点云创建深度图像
首先，在PCL（Point Cloud Learning）中国协助发行的书提供光盘的第9章例1文件夹中，打开名为range_image_creation.cpp的代码文件。
解释说明
下面来解析打开源代码中的关键语句。
#include <pcl/range_image/range_image.h> //深度图像头文件
int main (int argc, char** argv) {
pcl::PointCloud<pcl::PointXYZ> pointCloud; //定义点云对象
for (float y=-0.5f; y<=0.5f; y+=0.01f) { //循环产生点数据
for (float z=-0.5f; z<=0.5f; z+=0.01f) {
pcl::PointXYZ point;
point.x = 2.0f - y;
point.y = y;
point.z = z;
pointCloud.points.push_back(point); //循环添加点数据到点云对象
}
}
pointCloud.width = (uint32_t) pointCloud.points.size();
pointCloud.height = 1; //设置点云对象的头信息
这段程序首先创建一组数据作为点云的数据内容，再设置文件头的信息，整个实现生成一个呈矩形形状的点云。
float angularResolution = (float) ( 1.0f * (M_PI/180.0f)); // 按弧度1度
float maxAngleWidth = (float) (360.0f * (M_PI/180.0f)); // 按弧度360.0度
float maxAngleHeight = (float) (180.0f * (M_PI/180.0f)); // 按弧度180.0度
Eigen::Affine3f sensorPose = (Eigen::Affine3f)Eigen::Translation3f(0.0f, 0.0f,0.0f); //采集位置
pcl::RangeImage::CoordinateFrame coordinate_frame =pcl::RangeImage::CAMERA_FRAME; //深度图像遵循的坐标系统
float noiseLevel=0.00;
float minRange = 0.0f;
int borderSize = 1;
这部分定义了创建深度图像时需要的设置参数，将角度分辨率定义为1度，意味着由邻近的像素点所对应的每个光束之间相差1度，maxAngleWidth=360和maxAngleHeight=180意味着，我们进行模拟的距离传感器对周围的环境拥有一个完整的360度视角，用户在任何数据集下都可以使用此设置，因为最终获取的深度图像将被裁剪到有空间物体存在的区域范围。但是，用户可以通过减小数值来节省一些计算资源，例如：对于传感器后面没有可以观测的点时，一个水平视角为180度的激光扫描仪，即maxAngleWidth=180就足够了，这样只需要观察距离传感器前面就可以了，因为后面没有需要观察的场景。sensorPose定义了模拟深度图像获取传感器的6自由度位置，其原始值为横滚角roll、俯仰角pitch、偏航角yaw都为0，coordinate_frame=CAMERA_FRAME说明系统的X轴是向右的，Y轴是向下的，Z轴是向前的，另外一个选择是LASER_FRAME，其X轴向前，Y轴向左，Z轴向上。noiseLevel=0是指使用一个归一化的Z缓冲器来创建深度图像，但是如果想让邻近点集都落在同一个像素单元，用户可以设置一个较高的值，例如noiseLevel=0.05可以理解为，深度距离值是通过查询点半径为125px的圆内包含的点用来平均计算而得到的。如果minRange>0，则所有模拟器所在位置半径minRange内的邻近点都将被忽略，即为盲区。在裁剪图像时，如果borderSize>0，将在图像周围留下当前视点不可见点的边界。
pcl::RangeImage rangeImage;
rangeImage.createFromPointCloud(pointCloud, angularResolution, maxAngleWidth, maxAngleHeight, sensorPose, coordinate_frame, noiseLevel, minRange, borderSize);
std::cout << rangeImage << "n";
其余的代码是使用那些用户给定的参数，从点云创建深度图像，并且在终端下打印出一些信息。
深度图像继承于PointCloud类，它的点类型具有x，y，z和range距离字段，共有三种类型的点集，有效点集是距离大于零的点集，当前视点不可见点集x=y=z=NAN且值域为负无穷大，远距离点集x=y=z=NAN且值域为无穷大。
编译和运行程序
利用光盘提供的CMakeLists.txt文件，在cmake中建立工程文件，并生成相应的可执行文件。生成执行文件后，就可以运行了，在cmd中键入命令：
...>range_image_creation.exe
