[OpenCV]基于SIFT和特征匹配的图像拼接Python
完整源码:
1.背景
随着汽车电子和人工智能的快速发展,智能连接汽车也迎来了全面发展的黄金时代[1-5]。中央ADAS利用安装在车辆上的传感器、激光雷达和毫米波雷达实时检测车辆周围环境,补充障碍物检测和全景生成等功能,为驾驶员提供实时警报,提高行车安全性。在目前众多互联网公司参与的同时,传统汽车行业投入了相当大的资金用于辅助驾驶系统的研发[6]。
除了技术创新和业务投资外,日益增长的安全驾驶需求有助于辅助作业的快速发展[7,8]。据公安部门公布的数据显示,2018年我国汽车保有量已达2.5亿辆,并继续快速增长[9,10]。这类车辆的数量导致道路交通、污染和道路交通事故的增加。其中,交通事故频发、伤势严重是最严重的问题。主观原因是造成事故的主要原因是驾驶员在驾驶过程中存在视觉致命角度,难以恰当地确定车身周围的环境信息[11-15]。近年来,图像相关的驾驶辅助装置、雷达等设备被广泛应用于汽车安全系统中,以降低交通事故率。
辅助系统利用两个摄像机实时采集车辆周围的图像信息,利用图像拼接技术合成全景图像。本系统极大地消除了驾驶员的视觉死角,保证了行车安全。其中,图像贴片技术是系统的中心,是计算机视觉、图形成像、数字优化等交叉学科研究的对象[16]。近年来,在CVPR、ECCV和计算机图形学专业组等高级别会议上取得了许多成果。这种技术不仅对驱动支撑大有裨益,而且在科学研究中具有学术价值。本文重点研究SIFT拼接算法。对算法进行了优化和改进,提高了整体效率和实用性。
2.研究意义
图片的全景拼接如今已不再稀奇,现在的智能摄像机和手机摄像头基本都带有图片自动全景拼接的功能,但是一般都会要求拍摄者保持设备的平稳以及单方向的移动取景以实现较好的拼接结果。这是因为拼接的图片之间必须要有相似的区域以保证拼接结果的准确性和完整性。本文主要简单描述如何用 Python 和 OpenCV 库实现两张图片的自动拼合。
3 研究内容
3.1 SIFT
SIFT特征是基于一些与图像大小和旋转无关的局部外观点。对光、噪声和微角度变化的容忍度也相当高。由于这些性质,它们非常有意义,并且相对容易访问。在大型父特征数据库中,对象易于识别,误解较少。采用SIFT对象描述的部分对象遮挡检测率也相当高。甚至三个以上的视觉对象特征都足以计算位置和方位。在当前计算机硬件速度和特征数据库较小的情况下,检测速度可以接近实时操作。SIFT特征具有大量的信息,适合在海量数据库中快速、准确地映射。
3.2 特征匹配
特征匹配是计算机视觉中许多应用的基础,如图像匹配、摄像机跟踪、三维重建、物体识别,以及人脸识别等,因此,对这一概念的深入理解还不是太多的时间。本文希望以通俗易懂的方式来阐述特征匹配的过程以及在此过程中出现的一些问题。
3.3 Opencv
计算机视觉市场巨大且不断增长,在这方面没有标准的API。今天的计算机视觉软件大约有三种:
1 .研究代码( 缓慢、不稳定、独立和与其他图书馆不兼容 )。
2 .昂贵的商业工具( 像 Halcon , matlab + Simulink )
3 .一些具体的基于硬件的解决方案( 如视频监控、制造控制、医疗设备等 )是目前的现状,标准的API将简化计算机视觉程序和解决方案的开发。Opencv被确定成为这样一个标准的API。
Opencv致力于实时应用。它的执行速度通过优化的C代码编写得到了明显的提高,通过购买Intel的IPP高性能多媒体库可以实现更快的处理速度。下图显示了OpenCV与其他主流视觉函数库的性能比较。
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
if __name__ == '__main__':
top, bot, left, right = 100, 100, 0, 500
img1 = cv.imread('./1.bmp')
img2 = cv.imread('./2.png')
srcImg = cv.copyMakeBorder(img1, top, bot, left, right, cv.BORDER_CONSTANT, value=(0, 0, 0))
testImg = cv.copyMakeBorder(img2, top, bot, left, right, cv.BORDER_CONSTANT, value=(0, 0, 0))
img1gray = cv.cvtColor(srcImg, cv.COLOR_BGR2GRAY)
img2gray = cv.cvtColor(testImg, cv.COLOR_BGR2GRAY)
sift = cv.xfeatures2d_SIFT().create()
# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1gray, None)
kp2, des2 = sift.detectAndCompute(img2gray, None)
# FLANN parameters
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=50)
flann = cv.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(des1, des2, k=2)
# Need to draw only good matches, so create a mask
matchesMask = [[0, 0] for i in range(len(matches))]
good = []
pts1 = []
pts2 = []
# ratio test as per Lowe's paper
for i, (m, n) in enumerate(matches):
if m.distance < 0.7*n.distance:
good.append(m)
pts2.append(kp2[m.trainIdx].pt)
pts1.append(kp1[m.queryIdx].pt)
matchesMask[i] = [1, 0]
draw_params = dict(matchColor=(0, 255, 0),
singlePointColor=(255, 0, 0),
matchesMask=matchesMask,
flags=0)
img3 = cv.drawMatchesKnn(img1gray, kp1, img2gray, kp2, matches, None, **draw_params)
plt.imshow(img3, ), plt.show()
rows, cols = srcImg.shape[:2]
MIN_MATCH_COUNT = 10
if len(good) > MIN_MATCH_COUNT:
src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)
M, mask = cv.findHomography(src_pts, dst_pts, cv.RANSAC, 5.0)
warpImg = cv.warpPerspective(testImg, np.array(M), (testImg.shape[1], testImg.shape[0]), flags=cv.WARP_INVERSE_MAP)
for col in range(0, cols):
if srcImg[:, col].any() and warpImg[:, col].any():
left = col
break
for col in range(cols-1, 0, -1):
if srcImg[:, col].any() and warpImg[:, col].any():
right = col
break
res = np.zeros([rows, cols, 3], np.uint8)
for row in range(0, rows):
for col in range(0, cols):
if not srcImg[row, col].any():
res[row, col] = warpImg[row, col]
elif not warpImg[row, col].any():
res[row, col] = srcImg[row, col]
else:
srcImgLen = float(abs(col - left))
testImgLen = float(abs(col - right))
alpha = srcImgLen / (srcImgLen + testImgLen)
res[row, col] = np.clip(srcImg[row, col] * (1-alpha) + warpImg[row, col] * alpha, 0, 255)
# opencv is bgr, matplotlib is rgb
res = cv.cvtColor(res, cv.COLOR_BGR2RGB)
# show the result
plt.figure()
plt.imshow(res)
plt.show()
else:
print("Not enough matches are found - {}/{}".format(len(good), MIN_MATCH_COUNT))
matchesMask = None
相关文章
- Python 细聊!可以媲美 PS 的 PIL 图片处理库
- python字符串转化列表_Python列表到字符串的转换[通俗易懂]
- Magic * in Python
- pip更新命令以及使用清华镜像快速安装OpenCV-python
- 迭代器Python_python进阶路线
- gyp ERR! stack Error: Can't find Python executable 'python'
- 【说站】python访问元组的两种方法
- 【说站】python阻塞调度如何使用
- python读取pkl_Python读取文件的一段内容
- OpenCV-Python学习(4)—— OpenCV 图像对象的创建与赋值
- Python-OpenCV,基于标准文档的实例(一)
- Python学生信息管理系统课程设计报告_python做的项目管理系统
- python中copy.deepcopy_Python eval
- 正则表达式Python_python正则表达式匹配字符串
- python使用opencv如何保存图片_OpenCV Python 保存图片
- 基于python的OpenCV人脸录入模型
- 基于Python的OpenCV关于色彩空间与通道的操作
- 【1】windows下安装OpenCV(4.3)+VS2017安装+opencv_contrib4.3.0配置
- Python 异步: 等待有时间限制的协程(12)
- Python 定时运行脚本详解编程语言
- Linux系统快速运行Python脚本(linux运行python脚本)
- Python守护线程及作用(包含2种创建方式)
- 使用Python操作MySQL数据库快速上手(python访问mysql数据库)
- Linux 启动 Python编程之旅(linux打开python)
- 从Python连接Oracle数据库介绍(python连接oracle)
- Python与Linux:开启互联网信息技术时代(python和linux)
- 在Linux系统中使用Python编程语言(linux中python)
- Python vs R : 在机器学习和数据分析领域中的对比
- python运算符供重载参考