对视频中的文档进行实时检测和处理
项目介绍：主要实现了从摄像头实时捕获视频流，检测其中的文档（四边形物体），并对检测到的文档进行透视变换和二值化处理的功能。
综合运用了摄像头操作、图像处理、轮廓检测、透视变换和二值化处理等多种计算机视觉和图像处理技术，实现了文档的实时检测和处理。
实例
- 自定义函数定义
# 自定义函数：用于显示图像并处理按键事件
def cv_show(name, img):# 在名为 name 的窗口中显示图像 imgcv2.imshow(name, img)# 等待 1 毫秒，获取按键事件的键值key = cv2.waitKey(1)# 如果按下 ESC 键（键值为 27），返回 False 表示退出if key == 27: return False# 否则返回 Truereturn True# 自定义函数：对四边形的四个顶点进行排序，确保顺序为左上、右上、右下、左下
def order_points(pts):# 初始化一个形状为 (4, 2) 的零数组，用于存储排序后的顶点坐标rect = np.zeros((4, 2), dtype="float32")# 计算每个顶点的坐标和s = pts.sum(axis=1)# 和最小的顶点为左上角顶点rect[0] = pts[np.argmin(s)]# 和最大的顶点为右下角顶点rect[2] = pts[np.argmax(s)]# 计算每个顶点的坐标差diff = np.diff(pts, axis=1)# 差最小的顶点为右上角顶点rect[1] = pts[np.argmin(diff)]# 差最大的顶点为左下角顶点rect[3] = pts[np.argmax(diff)]# 返回排序后的顶点坐标return rect# 自定义函数：对图像进行透视变换，将四边形区域转换为矩形区域
def four_point_transform(image, pts):# 调用 order_points 函数对顶点进行排序rect = order_points(pts)# 解包排序后的顶点坐标(tl, tr, br, bl) = rect# 计算四边形底部的宽度widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))# 计算四边形顶部的宽度widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))# 取宽度的最大值作为变换后矩形的宽度maxWidth = max(int(widthA), int(widthB))# 计算四边形右侧的高度heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))# 计算四边形左侧的高度heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))# 取高度的最大值作为变换后矩形的高度maxHeight = max(int(heightA), int(heightB))# 定义变换后矩形的四个顶点坐标dst = np.array([[0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")# 计算透视变换矩阵M = cv2.getPerspectiveTransform(rect, dst)# 对图像进行透视变换warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))# 返回透视变换后的图像return warped- 摄像头操作
# 打开默认摄像头
cap = cv2.VideoCapture(0)
# 检查摄像头是否成功打开
if not cap.isOpened():print('Cannot open camera')exit()# 进入循环，不断读取视频帧
while True:# 标志位，用于判断是否检测到文档flag = 0# 读取一帧图像，ret 表示是否成功读取，image 为读取的图像ret, image = cap.read()# 复制原始图像，用于后续处理orig = image.copy()# 如果读取失败，输出错误信息并跳出循环if not ret:print("不能读取摄像头")break# 显示原始图像，并处理按键事件if not cv_show("image", image):break
- 图像处理
# 将图像从 BGR 颜色空间转换为灰度颜色空间gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)# 对灰度图像进行高斯模糊处理，去除噪声gray = cv2.GaussianBlur(gray, (5, 5), 0)# 使用 Canny 算法进行边缘检测edged = cv2.Canny(gray, 75, 200)
- 轮廓检测与处理
# 显示边缘检测结果，并处理按键事件if not cv_show('1', edged):break# 查找边缘图像中的轮廓，兼容不同版本的 OpenCVcontours, _ = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if cv2.__version__.startswith('4') else cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[1:3]# 对检测到的轮廓按面积从大到小排序，取前 3 个轮廓cnts = sorted(contours, key=cv2.contourArea, reverse=True)[:3]# 在原始图像上绘制检测到的轮廓image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 255, 0), 2)# 显示绘制轮廓后的图像，并处理按键事件if not cv_show('image_contours', image_contours):break# 遍历排序后的轮廓for c in cnts:# 计算轮廓的周长peri = cv2.arcLength(c, True)# 对轮廓进行多边形近似approx = cv2.approxPolyDP(c, 0.05 * peri, True)# 计算近似后轮廓的面积area = cv2.contourArea(approx)# 如果面积大于 20000 且近似后的轮廓为四边形，则认为检测到文档if area > 20000 and len(approx) == 4:# 记录检测到的文档轮廓screenCnt = approx# 设置标志位为 1，表示检测到文档flag = 1# 打印轮廓的周长和面积print(peri, area)print('检测到文档')break
- 透视变换
# 如果检测到文档if flag == 1:# 在原始图像上绘制检测到的文档轮廓image_contours = cv2.drawContours(image.copy(), [screenCnt], 0, (0, 255, 0), 2)# 显示绘制文档轮廓后的图像，并处理按键事件if not cv_show('image', image_contours):break# 对原始图像进行透视变换warped = four_point_transform(orig, screenCnt.reshape(4, 2))# 显示透视变换后的图像，并处理按键事件if not cv_show('warped', warped):break- 二值化处理
# 将透视变换后的图像转换为灰度图像warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)# 使用 Otsu 算法进行二值化处理ref = cv2.threshold(warped, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]# 显示二值化后的图像，并处理按键事件if not cv_show('ref', ref):break
- 释放资源
# 释放摄像头资源
cap.release()
# 关闭所有 OpenCV 窗口
cv2.destroyAllWindows()
完整代码
import numpy as np
import cv2# 自定义函数：用于显示图像并处理按键事件
def cv_show(name, img):# 在名为 name 的窗口中显示图像 imgcv2.imshow(name, img)# 等待 1 毫秒，获取按键事件的键值key = cv2.waitKey(1)# 如果按下 ESC 键（键值为 27），返回 False 表示退出if key == 27: return False# 否则返回 Truereturn True# 自定义函数：对四边形的四个顶点进行排序，确保顺序为左上、右上、右下、左下
def order_points(pts):# 初始化一个形状为 (4, 2) 的零数组，用于存储排序后的顶点坐标rect = np.zeros((4, 2), dtype="float32")# 计算每个顶点的坐标和s = pts.sum(axis=1)# 和最小的顶点为左上角顶点rect[0] = pts[np.argmin(s)]# 和最大的顶点为右下角顶点rect[2] = pts[np.argmax(s)]# 计算每个顶点的坐标差diff = np.diff(pts, axis=1)# 差最小的顶点为右上角顶点rect[1] = pts[np.argmin(diff)]# 差最大的顶点为左下角顶点rect[3] = pts[np.argmax(diff)]# 返回排序后的顶点坐标return rect# 自定义函数：对图像进行透视变换，将四边形区域转换为矩形区域
def four_point_transform(image, pts):# 调用 order_points 函数对顶点进行排序rect = order_points(pts)# 解包排序后的顶点坐标(tl, tr, br, bl) = rect# 计算四边形底部的宽度widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))# 计算四边形顶部的宽度widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))# 取宽度的最大值作为变换后矩形的宽度maxWidth = max(int(widthA), int(widthB))# 计算四边形右侧的高度heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))# 计算四边形左侧的高度heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))# 取高度的最大值作为变换后矩形的高度maxHeight = max(int(heightA), int(heightB))# 定义变换后矩形的四个顶点坐标dst = np.array([[0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")# 计算透视变换矩阵M = cv2.getPerspectiveTransform(rect, dst)# 对图像进行透视变换warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))# 返回透视变换后的图像return warped# 打开默认摄像头
cap = cv2.VideoCapture(0)
# 检查摄像头是否成功打开
if not cap.isOpened():print('Cannot open camera')exit()# 进入循环，不断读取视频帧
while True:# 标志位，用于判断是否检测到文档flag = 0# 读取一帧图像，ret 表示是否成功读取，image 为读取的图像ret, image = cap.read()# 复制原始图像，用于后续处理orig = image.copy()# 如果读取失败，输出错误信息并跳出循环if not ret:print("不能读取摄像头")break# 显示原始图像，并处理按键事件if not cv_show("image", image):break# 将图像从 BGR 颜色空间转换为灰度颜色空间gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)# 对灰度图像进行高斯模糊处理，去除噪声gray = cv2.GaussianBlur(gray, (5, 5), 0)# 使用 Canny 算法进行边缘检测edged = cv2.Canny(gray, 75, 200)# 显示边缘检测结果，并处理按键事件if not cv_show('1', edged):break# 查找边缘图像中的轮廓，兼容不同版本的 OpenCVcontours, _ = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if cv2.__version__.startswith('4') else cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[1:3]# 对检测到的轮廓按面积从大到小排序，取前 3 个轮廓cnts = sorted(contours, key=cv2.contourArea, reverse=True)[:3]# 在原始图像上绘制检测到的轮廓image_contours = cv2.drawContours(image.copy(), cnts, -1, (0, 255, 0), 2)# 显示绘制轮廓后的图像，并处理按键事件if not cv_show('image_contours', image_contours):break# 遍历排序后的轮廓for c in cnts:# 计算轮廓的周长peri = cv2.arcLength(c, True)# 对轮廓进行多边形近似approx = cv2.approxPolyDP(c, 0.05 * peri, True)# 计算近似后轮廓的面积area = cv2.contourArea(approx)# 如果面积大于 20000 且近似后的轮廓为四边形，则认为检测到文档if area > 20000 and len(approx) == 4:# 记录检测到的文档轮廓screenCnt = approx# 设置标志位为 1，表示检测到文档flag = 1# 打印轮廓的周长和面积print(peri, area)print('检测到文档')break# 如果检测到文档if flag == 1:# 在原始图像上绘制检测到的文档轮廓image_contours = cv2.drawContours(image.copy(), [screenCnt], 0, (0, 255, 0), 2)# 显示绘制文档轮廓后的图像，并处理按键事件if not cv_show('image', image_contours):break# 对原始图像进行透视变换warped = four_point_transform(orig, screenCnt.reshape(4, 2))# 显示透视变换后的图像，并处理按键事件if not cv_show('warped', warped):break# 将透视变换后的图像转换为灰度图像warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)# 使用 Otsu 算法进行二值化处理ref = cv2.threshold(warped, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]# 显示二值化后的图像，并处理按键事件if not cv_show('ref', ref):break# 释放摄像头资源
cap.release()
# 关闭所有 OpenCV 窗口
cv2.destroyAllWindows()
可以运行代码进行测试。
