[已答复] matlab2014b视差图求解的问题

[复制链接]
ljyseven3125145 发表于 2015-1-27 13:44:23
我是双目视觉领域的新手,我在我们学校是第一个做这方面的,接触这个领域有两个多月了,也没有人带着我学习,很多只有自己摸索,我现在在双目视觉的三维重建中遇到了一些问题,主要是重建效果很差的问题。提出这个问题估计也是很多新手也会遇到过的问题,也希望有经验做过这方面的人给我一些帮助,解决这个问题的同时,同时也是帮助新来这个领域的很多别的朋友,以后我们可以共同探讨跟学习。实在是感激不尽!!!现在我使用matlab2014b进行双目视觉的立体重建,现在使用Matlab官方例程跑通的原图和视差图如图1(水平矫正图)图2(视差图)

图1、水平矫正图                                                   图2、视差图


此后,我用自己的小米2s手机进行实验,单相机的双目视觉实验(预定好两个相距6cm的两个位置,在左视角拍照后水平移动到右视角拍照,如此构成单相机的双目视觉实验,双目立体视觉的标定过程也是如此。),发现跑相同的例程出来的三维重建效果很差,究其原因,我发现是因为视差图没建立好导致的,自己做的实验结果如下,图3(水平矫正图),图4(视差图):


                                                                    图3、水平矫正图                                             图4、视差图


根据该视差图求得的三维重建图如下,图5:


图5 三维重建图

从上图可以看出,三维重建图的效果跟实际的图效果相差太大了,究其原因我认为可能是因为视差图没有求好导致的(视差的效果直接决定了三维重建的效果)。从图2的视差效果可以大概的看出原图的轮廓,但是图4的视差效果感觉不甚理想(或者存在一些问题??)。


在matlab2014b中,使用的是disparityMap = disparity(rgb2gray(J1), rgb2gray(J2));来进行视差求解,打开disparity函数可以发现,实际上采用的是disparityMap = ocvDisparitySGBM(I1_u8, I2_u8, optSGBM);进行的求解,在搜索视差效果的几个常见的算法里面(主要是BM、SGBM、GC),SGBM算法比其余两个算法的轮廓更加清晰,但是具有的缺点是速度较慢,并且容易产生低纹理(暂时还不理解)和横斜纹路(暂时还不理解)。我也在该论坛搜索了帖子https://www.ilovematlab.cn/thread-88117-1-1.html,其中3楼的作者lyqmath也提出的一种视差求解的方法,这个方法很简单,就是讲左右图像进行相差运算得到的。



现在问题来了:1、我自己做的双目视觉三维重建实验中,如图5,三维重建的效果很差的原因是为什么?如果是因为视差求解有问题。那么需要注意哪一些问题(可能我实验过程中没有预料到)?如果不是视差求解的问题,那么主要的问题在哪一个地方?2、双目视觉三维重建(没有结构光的激光扫描,仅仅是两个摄像头的双目视觉)对于一个复杂的物体(比如说像普通的机械零件,齿轮之类的物件),能否实现比较精确的三维重建?(按照我的理解,我觉得是可以的)?


写了这么多,也算是自己这两个月来的一点经验总结,提供给别人学习的同时,也希望各位大神能够解答我的问题,不胜感激!!!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

18 条回复


ljyseven3125145 发表于 2015-1-28 13:34:58
没有人帮帮忙吗。。。。。

荒草 发表于 2015-1-28 17:17:02
本帖最后由 荒草 于 2015-1-28 17:27 编辑

你这个图选得不好。你这个图匹配起来本来就很困难,得不到好的效果,那是肯定的。你应该选择一个复杂点的场景,如matlab自带的图的那种。你就拍地面上站的一个人,或者拍整个实验室,肯定效果不错。景深复杂点,别对着一个平面拍,那样即使出来视差了,你也看不出来,因为所有点的视差都是接近的,层次感不明显,会让你误以为是错的

荒草 发表于 2015-1-28 17:20:42
另外,楼主买一个专业的双目视觉相机还是比较好的。现在实现视差图的算法有很多,比SGBM好的不少。ps:
我也在该论坛搜索了帖子https://www.ilovematlab.cn/thread-88117-1-1.html,其中3楼的作者lyqmath也提出的一种视差求解的方法,这个方法很简单,就是讲左右图像进行相差运算得到的。
这个左右图像相减求出的“视差”,跟立体视觉里的视差是有区别的

bertcool 发表于 2015-1-29 04:35:43
Use a more distinctive image pair for disparity as suggested by 3#. Try ''DisparityRange' will also help you to some extent.

ljyseven3125145 发表于 2015-1-29 12:08:19
荒草 发表于 2015-1-28 17:20
另外,楼主买一个专业的双目视觉相机还是比较好的。现在实现视差图的算法有很多,比SGBM好的不少。ps:
这 ...

谢谢你,另外请问一下,你有没有一个推荐的型号或者链接,我可以参考参考,因为我用手机做这个实验,结构非常粗糙,所以计算出来的精度不高,甚至可能产生错误等都是我实验的主要问题。最后,还是非常谢谢你的回答

ljyseven3125145 发表于 2015-1-29 13:01:15
bertcool 发表于 2015-1-29 04:35
Use a more distinctive image pair for disparity as suggested by 3#. Try ''DisparityRange' will also  ...

谢谢你的回答,因为我的需求可能仅仅只是逆向建模一个物体(例如小杯子或者人脸之类的),如果图片更加有层次感的话(更加复杂),我不关心的部分就太多了,因为我需要的可能仅仅是其中一个物体而已,对于这样的一个例程也可以实现我需求吗?我也搜索了一些别的方法,例如基于区域增长的SIFT立体匹配,这样先从特征点出发,然后进行区域匹配,可能效果会更佳适合我的需求。最后,再次谢谢您的帮忙!

荒草 发表于 2015-1-29 18:58:36
ljyseven3125145 发表于 2015-1-29 12:08
谢谢你,另外请问一下,你有没有一个推荐的型号或者链接,我可以参考参考,因为我用手机做这个实验,结构 ...

我没有,你可以网上搜搜。不过都不便宜。我是买的两个摄像头,搭了一个简易的双目视觉系统

bertcool 发表于 2015-1-29 23:01:31
ljyseven3125145 发表于 2015-1-29 13:01
谢谢你的回答,因为我的需求可能仅仅只是逆向建模一个物体(例如小杯子或者人脸之类的),如果图片更加有 ...

That's fine. The problem with the stereo pair you posted is that they have too many repetitive patterns, which makes pair matching yields many false positives. You can try it on your actual images with cups and human faces.

木吉他の秋 发表于 2015-1-30 09:36:31
楼主你这个视差图之后三维重建的程序能给我吗

lcy2150330 发表于 2015-4-20 19:17:29
根据2幅以上的同一文化遗产建筑物、不同角度的图像,提取图像特征点,进行图像特征点匹配,再使用三维模型构建算法,生成文化遗产建筑物的三维图像模型。
这个会做吗

qqqaxiye 发表于 2015-5-20 22:00:38
木吉他の秋 发表于 2015-1-30 09:36
楼主你这个视差图之后三维重建的程序能给我吗

reconstructScene(disparityMap, stereoParams)

hanghang 发表于 2015-12-3 20:48:28
qqqaxiye 发表于 2015-5-20 22:00
reconstructScene(disparityMap, stereoParams)

得到了视差图,怎么进行三维重建啊,需不需要相机的参数啊

mengmengda217 发表于 2016-12-21 09:38:19
楼主的问题解决没  想学习下

科研狗 发表于 2017-6-26 10:54:00
您好 我现在也是刚开始做双目视觉三维重建,您方便给我提供一下例程的程序么?13102167625@163.com

科研狗 发表于 2017-7-5 20:08:14
您好 我现在遇到了和你提的问题一样的问题,你当时是怎么解决的这个视差图的问题呢

hexuanf 发表于 2018-4-9 15:35:40
楼主您好,我正在做和您一样的毕设,遇到的问题也一样,查找好久无果,恳请前辈指教一二,邮箱:972167580@qq.com

五云手 发表于 2019-2-24 16:28:24
hexuanf 发表于 2018-4-9 15:35
楼主您好,我正在做和您一样的毕设,遇到的问题也一样,查找好久无果,恳请前辈指教一二,邮箱: ...

同学你好,你问题解决了么,源程序可以发我一份么,谢谢你了772065085@qq.com

小伙砸啥都问 发表于 2021-5-28 11:31:32
hexuanf 发表于 2018-4-9 15:35
楼主您好,我正在做和您一样的毕设,遇到的问题也一样,查找好久无果,恳请前辈指教一二,邮箱: ...

学长你好,我现在也在做双目的毕业设计,重建的结果也是不好,您方便给我分享一下源程序吗,谢谢了。邮箱:1935504762@qq.com
您需要登录后才可以回帖 登录 | 注册

本版积分规则

相关帖子
热门教程
站长推荐
快速回复 返回顶部 返回列表