并删除细化的故障点。新的IL由其余的点组成。当一个IL包含少于3个点，这个IL会被释放，剩下的点变成IPs。调整IL后，通过合并线的先验更新成功提炼的IL上各点的位置。通过将线段上的ILEP和ILCP点反投影到三维空间中，然后根据这些投影点拟合出新的三维直线。然后将新生成的这条线重新投影到图像平面上，作为新的IL。最后将旧的ILEPs和ILCPs投影到新的IL上，从而得到新的ILEPs和ILCPs。我们使用IL信息来指导ILEPs和ILCPs在其上的位置。

 

　　在跟踪线程的最后一步，系统创建一个新的关键帧。一个新的关键帧的创建取决于视野的变化，相机的平移和相机曝光时间的变化。考虑这些因素的加权和用于创建新的关键帧。

 

 

　　在建图线程中，首先通过将所有活动关键帧中的AP和ALs投影到新的关键帧中来创建新的关键帧。投影的AP和ALs略微放大，形成半稠密的深度图。随后将AP和ALs的位置、相机的姿态和相机参数一起在滑动窗口滤波器中进行优化。在优化

在每次迭代之后执行AL细化。为了提高效率，我们将把远离当前框架的APs、ALs和active框架边缘化。最后是IPs和

在新的关键帧上生成。

 　　1)滑动窗口优化

　　在本研究中，我们采用滑动窗口优化方法。在优化之前，所有关键帧的IL和IP首先作为AP和ALs激活。将IL和IPs的位置作为AP和ALS的初值。然后ap和ALs参与优化。在优化中，ALEP和ALCP的处理方法与APs相同。

　　2）AL提炼

　　在每次迭代优化后，对AL应用一个AL细化过程，该过程与在高斯-牛顿算法的第四节中，解通常独立地处理每个变量。然而，在我们的情况下，ALCPs和ALEP是共线的。优化过程中会改变这一特性，这是不希望的。因此，在每次迭代之后，AL为了保持这一特性，进行了改进。最后，远离当前帧的APs、ALs和active帧将被Schur[24]边缘化。

　　3）IL和IP产生

　　在这个过程中，在新的关键帧上创建ILs和IPs。在我们的方法中，我们从直线结构中提取点。这样做的一个优点是提取的点具有很高的梯度，同时还包含了线结构信息。在直接法中，有太多的点集中在直线附近。因此，我们通过从直线中选择点的子集来降低计算成本。

a)IP产生：对于IP生成，构造了一个三层图像金字塔。然后在每一层，图像划分为小块。最后选择每个patch中梯度值最大的点作为关键点。通过这种方法，选择的点在图像中均匀分布。

　　b)IL产生：至于线提取，我们使用公共LSD段检测算法[25]。首先使用系数为0.5的高斯滤波器对输入图像进行滤波。然后检测这些线。过于接近直线的点将被过滤掉，以提高效率。这里我们对每一行采用自适应距离阈值。可能存在一些相互重叠的行，这将导致冗余的计算。这里我们使用一个基于角度网格的方法来合并相似的线。我们选择5◦作为网格的大小。所有线路规范化的角度0之间180度。

　　两个线段之间的距离定义如下。对于每一个线段，我们首先计算一条线的端点到另一条线的距离，并将两点到直线的距离相加。计算每条直线的和后，我们选择较小的和作为这两条线段之间的距离(图9):

　　将ILEP作为两个端点，在IL上均匀采样ILCPs。在某些情况下，一行存在于多个关键帧中。固定的采样间隔通常会在这些关键帧中产生相同的采样点。为了利用更多的信息，我们使用随机采样间隔。