实例介绍
【实例简介】
这是一篇华中科技大学的硕士毕业论文，里面对三维重建技术的讲解很详细，适合作为综述来看
独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或 集休已经发表或撰写过的研究成果。对木文的研究做出贡献的个人和集休,均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名: 日期:年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关侏留、使用学位论文的规定,即:学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。 本人授权华屮科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索,可以釆用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口,在 年解密后适用本授权书 本论文属于 不保密口。 (请在以上方框内打“√”) 学位论文作者签名 指导教师签名: 日期:年月日 日期:年月日 万方数据 华中科技大学硕士学位论文 摘要 基于视频的重建技术在计算杋视觉领域中扮演着非常重要的角色,而如何恢复 场景的三维模型是目前研究的热点与难点问题。本文围绕基于视频的场景重建技术 展开讨论,包括棊于单目视频的三维场景重建和于双目视频的视差图和场景流获 取。由于单目包含的深度信息比较少,如何基于单目视频恢复相机的运动参数以及 目标的深度信息是研究的重与难点。双目视频虽然包含了非常显著的深度信息, 但是考虑到视频中场景的迕续性问题,如何使得恢复岀的深度图保持前后帧的连续 性以及场景中运动日标的一致性,也是比较困难的问题。因此,针对上述所提到的 问题进行了深入的研究,具体的研究工作如下 第一,对三维重建研究进行了详细的介绍,介绍了对于特征点匹配的理解以及 我们提出的基于特征引导偏向性高斯混合模型( Feature Guided Biased Gaussian Mixture model,FGBG);详细介绍立体视觉中立体匹配算法的原理、分类及评测标 准,并在4个典型的数据集上对有代表性的局部、全局、半全局算法进行对比实验。 此外,详细介绍运动恢复结构(SFM)的基本原理,并进行了实验分析。 第二,提岀一种基于双目视频的视差图和场景流获取技术。基于双目视频,首 先获得初始的视差图和2D特征点轨迹;在此基础上获得初始的3D稀疏运动轨迹, 利用本文提出的 Object Motion Hypothesis(OMH)算法获得运动物体的致性假设 采用 slanted-plane model以及参考图像与前后时间点图像对的约束关系,构建超像素 和运动物体之间的能量模型,通过优化获得视差和场景流的估计结果。 第三,提出一种棊于单目视频的动态场景重建系统。在获取特征点轨迹的基础 上,基于运动信息获得特征点轨迹的聚类结果;提出一种基于超像素的多标记 Graph-cut算法,得到每一个日标的精确边界;为每一个运动日标分配一个虚拟相机 通过标准的SFM方法分别单独估计每个运动目标对应的虚拟相机的参数和稀疏三维 点云,通过PMVS和泊松表面重建获得目标的稠密重建结果。 关键词:三维重建、单∏视频、双目视频、视差、场景流 万方数据 华中科技大学硕士学位论文 Abstract 3D reconstruction based on video has play an important role in computer vision, and how to recover 3D scene model has been paid much attention and is a difficult problem Based on the importance of 3D reconstruction, in this paper, the 3D reconstruction based on video has been studied, including 3D scene reconstruction based on monocular video and depth map and scene flow estimating based on binocular video. Since the monocular contains much less depth information, how to recover the camera motion and depth map has been a difficult problem. Besides, although binocular view contains significant depth information, it is difficult to keep the consistency of depth map and moving objects Therefore, in view of the problems mentioned above the specific research works are as First. we introduce two directions of 3D reconstruction in computer vision: based on stereo vision method and based on structure from motion. The stereo matching method has bcen introduced in detail, including algorithm principle, classification, and evaluation method. And, we compare the global, local and semi-global algorithm on four typical dataset. In addition, we have made a detail introduction of structure from motion(SFM) and the experiment has been carried out to get 3D point cloud Second, a method for depth map and scene flow estimation is proposed. First, input binocular video, initial disparity map is got by SGM, 2 point trajectories are got by optical flow. Then the 3D tracks are got by disparity map and 2D point trajectories, get the object motion hypothesis. Considering constraint between the reference image and the forward-backward images, the energy model based on super-pixel and object is constructed using slanted plane model. Finally, the depth map and scene flow will be got Third, a method for reconstructing monocular dynamic scene with multiple moving rigid objects captured by a single moving camera is proposed. First of all, feature points are matched through the video sequence via the optical flow method and the tracks "are got based on these matches. Then the tracks are divided into several groups according to their motion differences. An improved graph cuts based multi-label auto image segmentation method is used to acquire the accurate boundary of each moving object and 万方数据 华中科技大学硕士学位论文 the static background. Then we assume a virtual camera for each moving object and the static background. The pose of these virtual cameras are estimated via the standard Structure from Motion(SFM) pipeline. Finally a dense point set and textured model is returned for each virtual camera. We evaluate our approach on real-world video sequence and demonstrate its robustness and effectiveness Key words: 3D reconstruction, monocular video, binocular video, disparity, scene fle Ow 万方数据 华中科技大学硕士学位论文 目录 摘要 Abstract 绪论 1研究的背景及意义 2国内外研究现状 1.3论文的主要工作及结构 ···································:··········.················4· 2三维重建基本方法研究 2.1引言.… ……8) 2.,2线性摄像机模型 (8) 23基于特征点的图像匹配 24运动恢复结构方法 (12) 2.5立体匹配与三维重建 ···.·.·······.·················:····.···················· (15) 26本章小结(22) 基于双目视频的视差图与场景流估计 3.1引言 (23) 3.2运动目标的提取 (25) 3.3双向约束场景流模型 ..31) 34实验分析. 33 3.5本章小结 (44 4基于单目视频的三维重建研究 (45) 4.2目标分割 (46 4.3三维场景估计 (51) 万方数据 华中科技大学硕士学位论文 4.4实验分析 (52) 4.5本章小结(55) 5全文总结与展望 5.1木文的主要页献与创新点 (56) 5.2工作展望 …7) 致谢 S8) 参考文献 非D·非非··非。非 (59) 附录 万方数据 华中科技大学硕士学位论文 绪论 11研究的背景及意义 视觉是人类的基本功能。通过视觉,人们能够感知外部世界中物体的大小,以 及辨别物体之间的相对位置,并且了解它们之间的相互关系。人类把这种功能称为 视觉功能。随着科学技术的不断创新,新兴的电子产品不断涌现,数码设备的成熟 和计算机理论的涌现让人们越来越关注计算机视觉。人们开始利用摄像机采集视频 或者图像,并将其转化为人类可理解的信号。即利用计算机实现模仿人类视觉的功 能,计算机视觉也就随之六生。计算机视觉是个涵盖多种学科知识的新兴学科。 其理论研究的最终目的是通过对采集到的视频或者图像进行处理,将二维图像或视 频转化为三维信息,从而感知场景或物体的形状及运动。因此,计算机视觉吸引了 越来越多的研究人员参与其中,包括图像处理与模式识别,应用数学,计算札科学 与技术等等。 三维场景重建作为计算札视觉中一个重要的研究方向,受到许多研究者的青睐。 最近,获取三维场景信息的方式主要有以下三种:第一种,利川常见的建模软件 3DMax、CAD等进行重建;第二种,利用深度扫描仪、红外或者激光测距仪器等设 备进行三维重建;第三种,利用计算机视觉原理,基于视频或者图像获取场景的三 位模型。在上述方法中,第一种是最为成熟的,但是第一种方法的操作步骤十分复 杂,并且建模周期长。第二种方式能够获得物伓的髙精度几何模型,但是这些仪器 价格昂贵,费时费力,并且对于重建大型场景非常局限。因此,第三种方式受到了 普遍的关注,它可以重建复杂的室外大型场景,真实感强,价格低廉且方便携带。 利用图像或者视频对场景进行重建,即从图像或视频中恢复场景或者物体的三维几 何信息,构建三维模型,给人以视觉亨受。三维重建的用途十分广泛,它可以用于 机器人导航,无人驾驶,医学图像分析,游戏等众多方向 在众多的三维场景重建方法中,于视频的重建方法一直是一个研究热点。其 中,从单目视觉的角度出发,基于单目视频的三维重建技术就是利用单个摄像札对 万方数据 华中科技大学硕士学位论文 场景进行拍摄,研宄如何利用图像序列光流估计运动物体或场景的三维运动来重建 三维模型。从双日视觉的角度出发,基于双∏视频的三维重建技术就是利用两个摄 像机,从两个不同的角度对同一个场景进行拍摄,研究如何利用左右两个图像序列 各自的运动信息,以及左右视图之间的视差信息,完成场景的三维重建。 本文的基于视频的三维重建技术具有十分重要的研究价值。针对双目视频,提 出了一种基于双目视频的视差图和场景流获取技术,目的是同时获得视差图和场景 流信息、。针对单目视频,提出个完整的基于包含多个刚体运动目标的单目动态场 景视频的重建系统。 12国内外研究现状 121基于单目视觉的三维重建研究现状 近年来,3D静态场景的重建己经取得了显著性的突破。其中,大多数的研究都 是遵循一个特定的步骤:首先从一组多视角的图像中提取特征点,然后对多视图中 的特征点进行匹配,构建基础矩阵,恢复相机参数,从而得到玚景的三维结构凹。其 中, Snavely N主要通过SFM( (structure from motion)从无序图像序列中恢复相机的 位置以及获得场景的三维稀疏点云倒。除∫稀疏点云的重建之外,很多学者也集中研 究场景的三维稠密重建四。其中, Seitz s m对多种立体匹配算法进行比较,并且是 第一个提供已标定的多视图数据集。 Kolev K在前者的基础之上提出了一个全局能 量模型,融合了轮廪信息和立体信息。值得一提的是,深度信息也是一种非常有前 景的3D重建方法,主要思想是通过恢复图像的深度信息,融合多幅深度图逃行稠密 重建η。此外,很多研究集屮于基于单个视频的稠密表面重建,主要包括基于场景流 ( scene flow)s, mesh- based稠密表面重建例, patch-base稠密表面重。 但是,大多数捕获的视频中,动态场景视频比铰常见。而上述的研究只能用于 处理静态场景,它们在应对多目标运动场景方面是十分有限的。最近, Tron r提出 了一个包含动态运动目标的场景分割标准山,它是·个重要的3D运动估计和重建的 预处埋过程视频重建主要有于两个视图12和基于多个视图314其中,HanM和 万方数据 【实例截图】
【核心代码】
这是一篇华中科技大学的硕士毕业论文，里面对三维重建技术的讲解很详细，适合作为综述来看
独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或 集休已经发表或撰写过的研究成果。对木文的研究做出贡献的个人和集休,均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名: 日期:年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关侏留、使用学位论文的规定,即:学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。 本人授权华屮科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索,可以釆用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口,在 年解密后适用本授权书 本论文属于 不保密口。 (请在以上方框内打“√”) 学位论文作者签名 指导教师签名: 日期:年月日 日期:年月日 万方数据 华中科技大学硕士学位论文 摘要 基于视频的重建技术在计算杋视觉领域中扮演着非常重要的角色,而如何恢复 场景的三维模型是目前研究的热点与难点问题。本文围绕基于视频的场景重建技术 展开讨论,包括棊于单目视频的三维场景重建和于双目视频的视差图和场景流获 取。由于单目包含的深度信息比较少,如何基于单目视频恢复相机的运动参数以及 目标的深度信息是研究的重与难点。双目视频虽然包含了非常显著的深度信息, 但是考虑到视频中场景的迕续性问题,如何使得恢复岀的深度图保持前后帧的连续 性以及场景中运动日标的一致性,也是比较困难的问题。因此,针对上述所提到的 问题进行了深入的研究,具体的研究工作如下 第一,对三维重建研究进行了详细的介绍,介绍了对于特征点匹配的理解以及 我们提出的基于特征引导偏向性高斯混合模型( Feature Guided Biased Gaussian Mixture model,FGBG);详细介绍立体视觉中立体匹配算法的原理、分类及评测标 准,并在4个典型的数据集上对有代表性的局部、全局、半全局算法进行对比实验。 此外,详细介绍运动恢复结构(SFM)的基本原理,并进行了实验分析。 第二,提岀一种基于双目视频的视差图和场景流获取技术。基于双目视频,首 先获得初始的视差图和2D特征点轨迹;在此基础上获得初始的3D稀疏运动轨迹, 利用本文提出的 Object Motion Hypothesis(OMH)算法获得运动物体的致性假设 采用 slanted-plane model以及参考图像与前后时间点图像对的约束关系,构建超像素 和运动物体之间的能量模型,通过优化获得视差和场景流的估计结果。 第三,提出一种棊于单目视频的动态场景重建系统。在获取特征点轨迹的基础 上,基于运动信息获得特征点轨迹的聚类结果;提出一种基于超像素的多标记 Graph-cut算法,得到每一个日标的精确边界;为每一个运动日标分配一个虚拟相机 通过标准的SFM方法分别单独估计每个运动目标对应的虚拟相机的参数和稀疏三维 点云,通过PMVS和泊松表面重建获得目标的稠密重建结果。 关键词:三维重建、单∏视频、双目视频、视差、场景流 万方数据 华中科技大学硕士学位论文 Abstract 3D reconstruction based on video has play an important role in computer vision, and how to recover 3D scene model has been paid much attention and is a difficult problem Based on the importance of 3D reconstruction, in this paper, the 3D reconstruction based on video has been studied, including 3D scene reconstruction based on monocular video and depth map and scene flow estimating based on binocular video. Since the monocular contains much less depth information, how to recover the camera motion and depth map has been a difficult problem. Besides, although binocular view contains significant depth information, it is difficult to keep the consistency of depth map and moving objects Therefore, in view of the problems mentioned above the specific research works are as First. we introduce two directions of 3D reconstruction in computer vision: based on stereo vision method and based on structure from motion. The stereo matching method has bcen introduced in detail, including algorithm principle, classification, and evaluation method. And, we compare the global, local and semi-global algorithm on four typical dataset. In addition, we have made a detail introduction of structure from motion(SFM) and the experiment has been carried out to get 3D point cloud Second, a method for depth map and scene flow estimation is proposed. First, input binocular video, initial disparity map is got by SGM, 2 point trajectories are got by optical flow. Then the 3D tracks are got by disparity map and 2D point trajectories, get the object motion hypothesis. Considering constraint between the reference image and the forward-backward images, the energy model based on super-pixel and object is constructed using slanted plane model. Finally, the depth map and scene flow will be got Third, a method for reconstructing monocular dynamic scene with multiple moving rigid objects captured by a single moving camera is proposed. First of all, feature points are matched through the video sequence via the optical flow method and the tracks "are got based on these matches. Then the tracks are divided into several groups according to their motion differences. An improved graph cuts based multi-label auto image segmentation method is used to acquire the accurate boundary of each moving object and 万方数据 华中科技大学硕士学位论文 the static background. Then we assume a virtual camera for each moving object and the static background. The pose of these virtual cameras are estimated via the standard Structure from Motion(SFM) pipeline. Finally a dense point set and textured model is returned for each virtual camera. We evaluate our approach on real-world video sequence and demonstrate its robustness and effectiveness Key words: 3D reconstruction, monocular video, binocular video, disparity, scene fle Ow 万方数据 华中科技大学硕士学位论文 目录 摘要 Abstract 绪论 1研究的背景及意义 2国内外研究现状 1.3论文的主要工作及结构 ···································:··········.················4· 2三维重建基本方法研究 2.1引言.… ……8) 2.,2线性摄像机模型 (8) 23基于特征点的图像匹配 24运动恢复结构方法 (12) 2.5立体匹配与三维重建 ···.·.·······.·················:····.···················· (15) 26本章小结(22) 基于双目视频的视差图与场景流估计 3.1引言 (23) 3.2运动目标的提取 (25) 3.3双向约束场景流模型 ..31) 34实验分析. 33 3.5本章小结 (44 4基于单目视频的三维重建研究 (45) 4.2目标分割 (46 4.3三维场景估计 (51) 万方数据 华中科技大学硕士学位论文 4.4实验分析 (52) 4.5本章小结(55) 5全文总结与展望 5.1木文的主要页献与创新点 (56) 5.2工作展望 …7) 致谢 S8) 参考文献 非D·非非··非。非 (59) 附录 万方数据 华中科技大学硕士学位论文 绪论 11研究的背景及意义 视觉是人类的基本功能。通过视觉,人们能够感知外部世界中物体的大小,以 及辨别物体之间的相对位置,并且了解它们之间的相互关系。人类把这种功能称为 视觉功能。随着科学技术的不断创新,新兴的电子产品不断涌现,数码设备的成熟 和计算机理论的涌现让人们越来越关注计算机视觉。人们开始利用摄像机采集视频 或者图像,并将其转化为人类可理解的信号。即利用计算机实现模仿人类视觉的功 能,计算机视觉也就随之六生。计算机视觉是个涵盖多种学科知识的新兴学科。 其理论研究的最终目的是通过对采集到的视频或者图像进行处理,将二维图像或视 频转化为三维信息,从而感知场景或物体的形状及运动。因此,计算机视觉吸引了 越来越多的研究人员参与其中,包括图像处理与模式识别,应用数学,计算札科学 与技术等等。 三维场景重建作为计算札视觉中一个重要的研究方向,受到许多研究者的青睐。 最近,获取三维场景信息的方式主要有以下三种:第一种,利川常见的建模软件 3DMax、CAD等进行重建;第二种,利用深度扫描仪、红外或者激光测距仪器等设 备进行三维重建;第三种,利用计算机视觉原理,基于视频或者图像获取场景的三 位模型。在上述方法中,第一种是最为成熟的,但是第一种方法的操作步骤十分复 杂,并且建模周期长。第二种方式能够获得物伓的髙精度几何模型,但是这些仪器 价格昂贵,费时费力,并且对于重建大型场景非常局限。因此,第三种方式受到了 普遍的关注,它可以重建复杂的室外大型场景,真实感强,价格低廉且方便携带。 利用图像或者视频对场景进行重建,即从图像或视频中恢复场景或者物体的三维几 何信息,构建三维模型,给人以视觉亨受。三维重建的用途十分广泛,它可以用于 机器人导航,无人驾驶,医学图像分析,游戏等众多方向 在众多的三维场景重建方法中,于视频的重建方法一直是一个研究热点。其 中,从单目视觉的角度出发,基于单目视频的三维重建技术就是利用单个摄像札对 万方数据 华中科技大学硕士学位论文 场景进行拍摄,研宄如何利用图像序列光流估计运动物体或场景的三维运动来重建 三维模型。从双日视觉的角度出发,基于双∏视频的三维重建技术就是利用两个摄 像机,从两个不同的角度对同一个场景进行拍摄,研究如何利用左右两个图像序列 各自的运动信息,以及左右视图之间的视差信息,完成场景的三维重建。 本文的基于视频的三维重建技术具有十分重要的研究价值。针对双目视频,提 出了一种基于双目视频的视差图和场景流获取技术,目的是同时获得视差图和场景 流信息、。针对单目视频,提出个完整的基于包含多个刚体运动目标的单目动态场 景视频的重建系统。 12国内外研究现状 121基于单目视觉的三维重建研究现状 近年来,3D静态场景的重建己经取得了显著性的突破。其中,大多数的研究都 是遵循一个特定的步骤:首先从一组多视角的图像中提取特征点,然后对多视图中 的特征点进行匹配,构建基础矩阵,恢复相机参数,从而得到玚景的三维结构凹。其 中, Snavely N主要通过SFM( (structure from motion)从无序图像序列中恢复相机的 位置以及获得场景的三维稀疏点云倒。除∫稀疏点云的重建之外,很多学者也集中研 究场景的三维稠密重建四。其中, Seitz s m对多种立体匹配算法进行比较,并且是 第一个提供已标定的多视图数据集。 Kolev K在前者的基础之上提出了一个全局能 量模型,融合了轮廪信息和立体信息。值得一提的是,深度信息也是一种非常有前 景的3D重建方法,主要思想是通过恢复图像的深度信息,融合多幅深度图逃行稠密 重建η。此外,很多研究集屮于基于单个视频的稠密表面重建,主要包括基于场景流 ( scene flow)s, mesh- based稠密表面重建例, patch-base稠密表面重。 但是,大多数捕获的视频中,动态场景视频比铰常见。而上述的研究只能用于 处理静态场景,它们在应对多目标运动场景方面是十分有限的。最近, Tron r提出 了一个包含动态运动目标的场景分割标准山,它是·个重要的3D运动估计和重建的 预处埋过程视频重建主要有于两个视图12和基于多个视图314其中,HanM和 万方数据 【实例截图】
【核心代码】
标签：
好例子网口号：伸出你的我的手 — 分享！
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论