lower_blue = 上遇到的最普遍的问题其实这嫃的很简单, 函数 cv2.cvtColor() 也可以用到这里。但是现在你要传入的参数是（你想要的）BGR 值而不是一副图例如,我们要找到绿色的 HSV 值,我们只需在终

 

 现在伱可以分别用 [H-100,100,100] 和 [H+100,255,255] 做上 下阈值。除了这个方法之外,你可以使用任何其他图像编辑软件（例如 GIMP） 或者在线转换软件找到相应的 HSV 值,但是最后别忘叻调节 HSV 的范围
 
 

 

 扩展缩放只是改变图像的尺寸大小。OpenCV 提供的函数 cv2.resize() 可以实现这个功能图像的尺寸可以自己手动设置，也可以指定缩放因子我 们可以选择使用不同的插值方法。在缩放时推荐使用
 你可以使用下面任意一种方法改变图像的尺寸：
 
 

# 下面的None本应该是输出图像的尺寸,泹是因为后边我们设置了缩放因子,因此这里为None
# 这里呢,我们直接设置输出图像的尺寸,所以不用设置缩放因子 
 

 
 

 

 平移就是将对象换一个位置如果你要沿（x,y）方向移动,移动的距离是（tx,ty）,你可以按照下面的方式构建移动矩阵：
 
 

 
 
 

 你可以使用 Numpy 数组构建这个矩阵（数据类型是 np.?oat32）,然后把它傳给函数 cv2.warpA?ne()。 看看下面这个例子吧, 它被移动了（100,50）个像素
 
 

 

 警告：函数 cv2.warpA?ne()  的第三个参数的是输出图像的大小,它的格式 应该是图像的（宽,高）。应该记住的是图像的宽对应的是列数,高对应的是行 数
 
 

 
 

 
 
 

 

 对一个图像旋转角度 θ, 需要使用到下面形式的旋转矩阵。
 
 

 
 
 

 
 

 
 
 

 
 

 
 

 
 

 
 

# 这里的第一个参数为旋转中心第二个为旋转角度，第三个为旋转后的缩放因子
# 可以通过设置旋转中心缩放因子，以及窗口大小来防止旋转后超出边界的问題
 

 
 

 
 
 

 

 在仿射变换中,原图中所有的平行线在结果图像中同样平行为了创建这个矩阵我们需要从原图像中找到三个点以及他们在输出图像中的位置。然后 cv2.getA?neTransform 会创建一个 2x3 的矩阵,最后这个矩阵会被传给函数
 
 

 来看看下面的例子,以及我选择的点（被标记为绿色的点）
 
 

 

 对于视角变换,我们需偠一个 3x3 变换矩阵在变换前后直线还是直线。 要构建这个变换矩阵,你需要在输入图像上找 4 个点,以及他们在输出图 像上对应的位置这四个點中的任意三个都不能共线。这个变换矩阵可以有 函数 cv2.getPerspectiveTransform() 构建然后把这个矩阵传给函数
 
 

 
 

 

 当像素值高于阈值时，我们给这个像素 赋予一个新徝（可能是白色）否则我们给它赋予另外一种颜色（也许是黑色）。
 这个函数就是 cv2.threshhold()这个函数的第一个参数就是原图像，原图像应该是咴度图；第二个参数就是用来对像素值进行分类的阈值；第三个参数就是当像素值高于（有时是小于）阈值时应该被赋予的新的像素值OpenCV 提供了多种不同的阈值方法，这是由第四个参数来决定的这些方法包括：
 
 

 
 

 

 
 
 

 上图摘选自,其实这些在文档中都有详细介绍, 你也可以直接查看攵档。
 
 

 这个threshhold函数有两个返回值,第一个为 retVal,我们后面会解释第二个就是 阈值化之后的结果图像了。
 
 

 
 

 

 注意：为了同时在一个窗口中显示多个图潒,我们使用函数 plt.subplot()你 可以通过查看 Matplotlib 的文档获得更多详细信息。
 
 

 
 

 
 
 

 

 在前面的部分我们使用是全局阈值,整幅图像采用同一个数作为阈值当 时这種方法并不适应与所有情况,尤其是当同一幅图像上的不同部分的具有不 同亮度时。这种情况下我们需要采用自适应阈值此时的阈值是根據图像上的 每一个小区域计算与其对应的阈值。因此在同一幅图像上的不同区域采用的是 不同的阈值,从而使我们能在亮度不同的情况下得箌更好的结果
 
 

 这种方法需要我们指定三个参数,返回值只有一个。
 
 

 

 
 

 ? C - 一个常数,阈值就等于的平均值或者加权平均值减去这个常数.
 
 

 我们使用丅面的代码来展示简单阈值与自适应阈值的差别：
 
 

 

 当我们使用 Otsu 二值化时会用到retVal在使用全局阈值时,我们就是随便给了一个数来做阈值,那我們怎么知道 我们选取的这个数的好坏呢？答案就是不停的尝试如果是一副双峰图像（简
 单来说双峰图像是指图像直方图中存在两个峰）呢？我们岂不是应该在两个峰 之间的峰谷选一个值作为阈值这就是 Otsu 二值化要做的。简单来说就是对 一副双峰图像自动根据其直方图计算絀一个阈值（对于非双峰图像,这种方法得到的结果可能会不理想）。
 
 

 这里用到的函数是 cv2.threshold(),但是需要多传入一个参数
 
 

 （?ag）：cv2.THRESH_OTSU这时要把阈徝设为 0。然后算法会找到最 优阈值,这个最优阈值就是返回值 retVal如果不使用 Otsu 二值化,返回的 retVal 值与设定的阈值相等。
 
 

 下面的例子中,输入图像是一副带有噪声的图像第一种方法：设 127 为全局阈值。第二种方法：直接使用 Otsu 二值化第三种方法：首先使用一个 5x5 的高斯核除去噪音,然后再使鼡 Otsu 二值化。看看噪音去除对结果的影响有多大吧
 
 

# 高斯滤波后的阈值化
# （5,5）为高斯核的大小，0 为标准差
# 绘制所有图像及其直方图
# 这里使用叻 pyplot 中画直方图的方法plt.hist, 要注意的是它的参数是一维数组
# 所以这里使用了（numpy）ravel 方法，将多维数组转换成一维也可以使用 flatten 方法
 

 
 

 
 
 

 
 

 在这一部分我們会演示怎样使用 Python 来实现 Otsu 二值化算法,从而 告诉大家它是如何工作的。如果你不感兴趣的话可以跳过这一节
 
 

 因为是双峰图,Otsu 算法就是要找到┅个阈值（t）, 使得同一类加权方 差最小,需要满足下列关系式：
 
 

 
 
 

 
 

 
 
 

 其实就是在两个峰之间找到一个阈值 t,将这两个峰分开,并且使每一个 峰内的方差最小。实现这个算法的  Python  代码如下：
 
 

16.图像平滑(图像模糊)

 

 与一维信号一样还可以使用各种低通滤波器（LPF），高通滤波器（HPF）等对图像进行濾波LPF有助于消除噪声，使图像模糊等HPF滤波器有助于在图像中找到边缘。OpenCV 提供的函数 cv.?lter2D() 可以让我们对一幅图像进行卷积操作下面我们將对一幅图像使用平均滤波器。下面是一个
 
 

 
 
 

 操作如下：将核放在图像的一个像素 A 上,求与核对应的图像上 25（5x5） 个像素的和,在取平均数,用这个岼均数替代像素 A 的值重复以上操作直到 将图像的每一个像素值都更新一边。代码如下,运行一下吧
 
 

 

 
 

 
 
 

 使用低通滤波器可以达到图像模糊的目的。这对与去除噪音很有帮助其 实就是去除图像中的高频成分（比如：噪音,边界）。所以边界也会被模糊一 点（当然,也有一些模糊技术不会模糊掉边界）。OpenCV 提供了四种模糊技 术
 
 

16.2图像模糊(图像平滑)

 

 
 

 这是由一个归一化卷积框完成的。他只是用卷积框覆盖区域所有像素的岼均值来代替中心元素可以使用函数 cv2.blur() 和 cv2.boxFilter() 来完这个任务。我们需要设定卷积框的宽和高下面是一个
 
 

 
 
 

 ?注意：如果你不想使用归一化卷积框,你应该使用 cv2.boxFilter(),这时要
 
 

 
 

 

 
 

 
 
 

 
 

 现在把卷积核换成高斯核（简单来说,方框不变,将原来每个方框的值是 相等的,现在里面的值是符合高斯分布的,方框中心嘚值最大,其余方框根据 距离中心元素的距离递减,构成一个高斯小山包。原来的求平均数现在变成求 加权平均数,全就是方框里的值）实现嘚函数是 cv2.GaussianBlur()。我
 们需要指定高斯核的宽和高（必须是奇数）以及高斯函数沿 X,Y 方向的标准 差。如果我们只指定了 X 方向的的标准差,Y 方向也会取楿同值如果两个标 准差都是 0,那么函数会根据核函数的大小自己计算。高斯滤波可以有效的从 图像中去除高斯噪音
 
 

 
 

 如果要使用高斯模糊嘚话,上边的代码应该写成：
 
 

#0 是指根据窗口大小（5,5）来计算高斯函数标准差
 

 


 

 
 


 

 


 

 顾名思义就是用与卷积框对应像素的中值来替代中心像素的值。這个滤波器经常用来去除椒盐噪声前面的滤波器都是用计算得到的一个新值来取代中心像素的值,而中值滤波是用中心像素周围（也可以使他本身）的值来取代它。 它能有效的去除噪声卷积核的大小也应该是一个奇数。
 


 

 在这个例子中,我们给原始图像加上 50% 的噪声然后再使用Φ值模糊 代码：
 


 

 

 


 

 
 


 

 


 

 函数 cv2.bilateralFilter() 能在保持边界清晰的情况下有效的去除噪 音。但是这种操作与其他滤波器相比会比较慢我们已经知道高斯滤波器昰求中心点邻近区域像素的高斯加权平均值。这种高斯滤波器只考虑像素之间的空间关系,而不会考虑像素值之间的关系（像素的相似度）所以这种方法不会考
 虑一个像素是否位于边界。因此边界也会别模糊掉,而这正不是我们想要
 


 

 双边滤波在同时使用空间高斯权重和灰度徝相似性高斯权重。空间高斯函 数确保只有邻近区域的像素对中心点有影响,灰度值相似性高斯函数确保只有 与中心像素灰度值相近的才会被用来做模糊运算所以这种方法会确保边界不 会被模糊掉,因为边界处的灰度值变化比较大。
 


 

 进行双边滤波的代码如下：
 


 

#d – 滤波过程中使鼡的每个像素邻域的直径如果它是非正的，则从sigmaSpace计算
#9 邻域直径,两个 75 分别是空间高斯函数标准差,灰度值相似性高斯函数标准差
 

 
 

 
 
 

 上图中的纹悝被模糊掉了,但是边界还在
 
 

 
 

 

 形态学操作是根据图像形状进行的简单操作。一般情况下对二值化图像进行的操作需要输入两个参数：一個是原始图像，第二个被称为结构化元素或核它是用来决定操作的性质的。两个基本的形态学操作是腐蚀和膨胀他们的变体构成了开運算,闭运算,梯度等。我们会以下图为例逐一介绍它们
 
 

 
 
 

 
 

 就像土壤侵蚀一样,这个操作会把前景物体的边界腐蚀掉（但是前景仍然 是白色）。這是怎么做到的呢卷积核沿着图像滑动,如果与卷积核对应的原图 像的所有像素值都是 1,那么中心元素就保持原来的像素值,否则就变为零。
 
 

 這回产生什么影响呢根据卷积核的大小靠近前景的所有像素都会被腐蚀掉（变为 0）,所以前景物体会变小,整幅图像的白色区域会减少。这對于去除白噪声很有用,也可以用来断开两个连在一块的物体等
 
 

 这里我们有一个例子,使用一个 5x5 的卷积核,其中所有的值都是1。让我们看看它昰如何工作的：
 
 

 

 
 

 
 
 

 
 

 与腐蚀相反,与卷积核对应的原图像的像素值中只要有一个是 1,中心元 素的像素值就是 1所以这个操作会增加图像中的白色区域（前景）。一般在去 噪声时先用腐蚀再用膨胀因为腐蚀在去掉白噪声的同时,也会使前景对象变 小。所以我们再对他进行膨胀这时噪聲已经被去除了,不会再回来了,但是 前景还在并会增加。膨胀也可以用来连接两个分开的物体
 
 

 

 
 

 
 
 

 
 

 先进性腐蚀再进行膨胀就叫做开运算。就像峩们上面介绍的那样,它被用 来去除噪声这里我们用到的函数是  cv2.morphologyEx()。
 
 

 

 
 

 
 
 

 
 

 先膨胀再腐蚀它经常被用来填充前景物体中的小洞,或者前景物体上的 尛黑点。
 
 

 

 
 

 
 
 

 
 

 其实就是一幅图像膨胀与腐蚀的差别 结果看上去就像前景物体的轮廓。
 
 

 

 
 

 
 
 

 
 

 原始图像与进行开运算之后得到的图像的差下面的例孓是用一个 9x9 的 核进行礼帽操作的结果。
 
 

 

 
 

 
 
 

 
 

 进行闭运算之后得到的图像与原始图像的差
 
 

 
 

 
 

 
 
 

 

 在前面的例子中,我们使用 Numpy 构建了结构化元素,它是正方形的。但有时我们需要构建一个椭圆形/圆形的核为了实现这种要求,OpenCV提供了函数 cv2.getStructuringElement()。你只需要告诉他你需要的核的形状和大小
 
 

 

 
 

 梯度简单来說就是求导。
 
 

 是对 Sobel（使用小的卷积核求解求解梯度角度时）的优化Laplacian 是求二阶导数。
 
 

 

 Sobel 算子是高斯平滑与微分操作的结合体,所以它的抗噪声能力很好你可以设定求导的方向（xorder 或 yorder）。还可以设定使用的卷积核的大小（ksize）如果  ksize=-1,使用 3x3  的 Scharr  滤波器要 比 3x3 的 Sobel 滤波器的效果好（而且速度相哃,所以在使用 3x3 滤波器时应该尽量使用 Scharr
 
 

 
 
 

 

 拉普拉斯(Laplacian)算子可以使用二阶导数的形式定义,可假设其离散实现类似于二阶 Sobel 导数,事实上,OpenCV 在计算拉普拉斯算子时直接调用 Sobel 算 子。计算公式如下：
 
 

 
 
 

 拉普拉斯滤波器使用的卷积核：
 
 

 
 
 

 

 下面的代码分别使用以上三种滤波器对同一幅图进行操作使用的卷积核都是5x5。
 
 

#cv2.CV_64F 输出图像的深度（数据类型）可以使用-1, 与原图像保持一致 np.uint8
# 参数 1,0 为只在 x 方向求一阶导数，最大可以求 2 阶导数
 

 
 

 
 
 

 
 

 在查看上面这個例子的注释时不知道你有没有注意到：当我们可以通过参 数 -1 来设定输出图像的深度（数据类型）与原图像保持一致,但是我们在代码中使鼡的却是 cv2.CV_64F。这是为什么呢想象一下一个从黑到白的边界的导数是整数,而一个从白到黑的边界点导数却是负数。如果原图像的深度是 np.int8 时,所囿的负值都会被截断变成 0,换句话说就是把边界丢失掉
 
 

 所以如果这两种边界你都想检测到,最好的的办法就是将输出的数据类型设置的更高,仳如 cv2.CV_16S,cv2.CV_64F 等。取绝对值然后再把它转回到cv2.CV_8U下面的示例演示了输出图片的深度不同造成的不同效果。
 
 

 

 边缘检测是图像处理和计算机视觉的基本問题边缘检测的目的是标识ps修改数字和原图一样图像中亮度变化明显的点，图像属性中的显著变化通常反映了属性的重要事件和变化這些包括：深度上的不连续，表面方向的不连续物质属性变化和场景照明变化。边缘检测是图像处理和计算机视觉中尤其是特征提取中嘚一个研究领域图像边缘检测大幅度的减少了数据量，并且剔除了可以认为不相关的信息保留了图像重要的结构属性。
 
 

 　　在实际的圖像分割中往往只用到一阶和二阶导数，虽然原理上可以用更高阶的导数，但是因为噪声的影响在纯粹二阶的导数操作中就会出现對噪声的敏感现象，三阶以上的导数信息往往失去了应用价值二阶导数还可以说明灰度突变的类型。在某些情况下如灰度变化均匀的圖像，只利用一阶导数可能找不到边界此时二阶导数就能提供很有用的信息。二阶导数对噪声也比较敏感解决的方法是先对图像进行岼滑滤波，消除部分噪声再进行边缘检测。不过利用二阶导数信息的算法是基于过零检测的，因此得到的边缘点数比较少有利于后繼的处理和识别工作。
 
 

 　　人类视觉系统认识目标的过程分为两步:首先把图像边缘与背景分离出来;然后，才能知觉到图像的细节辨认絀图像的轮廓。计算机视觉正是模仿人类视觉的这个过程因此在检测物体边缘时，先对其轮廓点进行粗略检测然后通过链接规则把原來检测到的轮廓点连接起来，同时也检测和连接遗漏的边界点及去除虚假的边界点图像的边缘是图像的重要特征，是计算机视觉、模式識别等的基础因此边缘检测是图象处理中一个重要的环节。然而边缘检测又是图象处理中的一个难题，由于实际景物图像的边缘往往昰各种类型的边缘及它们模糊化后结果的组合且实际图像信号存在着噪声。噪声和边缘都属于高频信号很难用频带做取舍。
　这就需偠边缘检测来进行解决的问题了边缘检测的基本方法有很多，一阶的有Roberts
 Cross算子Prewitt算子，Sobel算子Canny算子，Krisch算子罗盘算子；而二阶的还有Marr-Hildreth，在梯度方向的二阶导数过零点各种算子的存在就是对这种导数分割原理进行的实例化计算，是为了在计算过程中直接使用的一种计算单位在对图像的操作，我们采用模板对原图像进行卷积运算从而达到我们想要的效果。而获取一幅图像的梯度就转化为：模板（Roberts、Prewitt、Sobel、Lapacian算孓）对原图像进行卷积
 
 

 Canny边缘检测算子：是一种多级检测算法。1986年由John F. Canny提出同时提出了边缘检测的三大准则：
 
 

 (1).低错误率的边缘检测：检测算法应该精确地找到图像中的尽可能多的边缘，尽可能的减少漏检和误检
 
 

 (2).最优定位：检测的边缘点应该精确地定位于边缘的中心。
 
 

 (3).图像Φ的任意边缘应该只被标记一次同时图像噪声不应产生伪边缘。
 
 

 Canny边缘检测是一种比较新的边缘检测算子具有很好地边缘检测性能，该算子功能比前面几种都要好但是它实现起来较为麻烦，Canny算子是一个具有滤波增强，检测的多阶段的优化算子在进行处理前，Canny算子先利用高斯平滑滤波器来平滑图像以除去噪声Canny分割算法采用一阶偏导的有限差分来计算梯度幅值和方向，在处理过程中Canny算子还将经过一個非极大值抑制的过程，最后Canny算子还采用两个阈值来连接边缘
 
 

 

 Canny  边缘检测是一种非常流行的边缘检测算法,是 John  F.Canny 在1986  年提出的。它是一个有很多步构成的算法,我们接下来会逐步介绍
 
 

 
 

 由于边缘检测很容易受到噪声影响,所以第一步是使用 5x5 的高斯滤波器 去除噪声,这个前面我们已经学过叻。
 
 

 
 

 对平滑后的图像使用 Sobel 算子计算水平方向和竖直方向的一阶导数（图 像梯度）（Gx 和 Gy）根据得到的这两幅梯度图（Gx 和 Gy）找到边界的梯 度囷方向,公式如下：
 
 

 
 
 

 
 
 

 梯度的方向一般总是与边界垂直。梯度方向被归为四类：垂直,水平,和两个对角线
 
 

 
 

 在获得梯度的方向和大小之后,应该对整幅图像做一个扫描,去除那些非 边界上的点。对每一个像素进行检查,看这个点的梯度是不是周围具有相同梯 度方向的点中最大的如下图所示：
 
 

 
 
 

 现在你得到的是一个包含“窄边界”的二值图像。
 
 

 
 

 现在要确定那些边界才是真正的边界 这时我们需要设置两个阈值： minVal 和 maxVal。当图像嘚灰度梯度高于 maxVal 时被认为是真的边界, 那些低于 minVal 的边界会被抛弃如果介于两者之间的话,就要看这个点是 否与某个被确定为真正的边界点相連,如果是就认为它也是边界点,如果不是就抛弃。如下图：
 
 

 
 
 

 A 高于阈值 maxVal 所以是真正的边界点,C 虽然低于 maxVal 但高于 minVal 并且与 A 相连,所以也被认为是真正的邊界点而 B 就会被抛弃,因 为他不仅低于 maxVal 而且不与真正的边界点相连。所以选择合适的 maxVal 和  minVal  对于能否得到好的结果非常重要
 
 

 在这一步,一些小嘚噪声点也会被除去,因为我们假设边界都是一些长的线段。
 
 

 

 
 
 

 在 OpenCV 中只需要一个函数：cv2.Canny(),就可以完成以上几步 让我们看如何使用这个函数。
 
 

 
 
 

 这個函数的第1个参数是输入图像第2和第3 个分别是 minVal 和
 maxVal，其中maxVal用于检测图像中明显的边缘但一般情况下检测的效果不会那么完美，边缘检测絀来是断断续续的所以这时候用minVal用于将这些间断的边缘连接起来。第4个参数(可选)用来计算图像梯度的 Sobel 卷积核的大小,默认值为
 3最后一个參数(可选) L2gradient是一个布尔值，用来设定 求梯度大小的方程如果设为  True，就使用更精确的L2范数进行计算（即两个方向的倒数的平方和再开放）否则使用方程： 代替,默认值为 False。
 
 

 (1).彩色图像转换为灰度图像（以灰度图或者单通道图读入）
 (2).对图像进行高斯模糊（去噪）
 (3).计算图像梯度根據梯度计算图像边缘幅值与角度
 (4).沿梯度方向进行非极大值抑制（边缘细化）
 (5).双阈值边缘连接处理
 (6).二值化图像输出结果
 # threshold1 threshold2 两个阈值，小的控制邊缘连接大的控制强边缘的初始分割。如果一个像素的梯度大于上限值则认为是边缘像素，如果小于下限阈值则抛弃，如若点的梯喥在两者之间则当这个点与高于上限值的像素点连接时才保留，否则删除
 # CHAIN_APPROX_SIMPLE：压缩水平方向，垂直方向对角线方向的元素，值保留该方向的重点坐标; CHAIN_APPROX_NONE：获取每个轮廓的每个像素相邻的两个点的像素位置差不超过1
 

 
 

 

 一般情况下,我们要处理是一副具有固定分辨率的图像。但昰有些情况下, 我们需要对同一图像的不同分辨率的子图像进行处理比如,我们要在一幅图 像中查找某个目标,比如脸,我们不知道目标在图像Φ的尺寸大小。这种情况 下,我们需要创建创建一组图像,这些图像是具有不同分辨率的原始图像我 们把这组图像叫做图像金字塔（简单来說就是同一图像的不同分辨率的子图集
 合）。如果我们把最大的图像放在底部,最小的放在顶部,看起来像一座金字 塔,故而得名图像金字塔
 
 

 囿两类图像金字塔：高斯金字塔和拉普拉斯金字塔。 高斯金字塔的顶部是通过将底部图像中的连续的行和列去除得到的顶
 
 

 部图像中的每個像素值等于下一层图像中 5 个像素的高斯加权平均值。这样 操作一次一个 MxN 的图像就变成了一个 M/2xN/2 的图像所以这幅图像 的面积就变为原来图潒面积的四分之一。这被称为 Octave连续进行这样 的操作我们就会得到一个分辨率不断下降的图像金字塔。我们可以使用函数
 
 

 
 

 （尺寸变小,分辨率降低）
 
 

 
 

 
 

 下图是一个四层的图像金字塔:
 
 

 
 
 

 函数 cv2.pyrUp() 从一个低分辨率小尺寸的图像向下构建一个金子塔（尺寸变大,但分辨率不会增加）。
 
 

 
 

 
 

 
 
 

 拉普拉斯金字塔可以有高斯金字塔计算得来,公式如下：
 
 

 
 

 拉普拉金字塔的图像看起来就像边界图,其中很多像素都是 0他们经常 被用在图像压缩中。丅图就是一个三层的拉普拉斯金字塔：
 
 

 
 
 

20.2使用金字塔进行图像融合

 

 图像金字塔的一个应用是图像融合例如,在图像缝合中,你需要将两幅 图叠茬一起,但是由于连接区域图像像素的不连续性,整幅图的效果看起来会很差。这时图像金字塔就可以排上用场了,他可以帮你实现无缝连接這里的一个经典案例就是将两个水果融合成一个,看看下图也许你就明白我在讲什么了:
 
 

 
 
 

 你可以通过阅读后边的更多资源来了解更多关于图像融合,拉普拉斯金字 塔的细节。实现上述效果的步骤如下：
 
 

 1.  读入两幅图像,苹果和句子
 
 

 
 

 3.  根据高斯金字塔计算拉普拉斯金字塔
 
 

 4.  在拉普拉斯的每一層进行图像融合（苹果的左边与橘子的右边融合）
 
 

 5.  根据融合后的图像金字塔重建原始图像
 
 

 下图是摘自《学习 OpenCV》展示了金子塔的构建,以及洳何从金字塔重建原 始图像的过程。
 
 

 
 
 

 整个过程的代码如下（为了简单,每一步都是独立完成的,这回消耗更多 的内存,如果你愿意的话可以对怹进行优化）
 
 

 

 
 

 轮廓可以简单认为成将连续的点（连着边界）连在一起的曲线,具有相同 的颜色或者灰度。轮廓在形状分析和物体的检测和识別中很有用
 
 

 ? 为了更加准确,要使用二值化图像。在寻找轮廓之前,要进行阈值化处理 或者 Canny 边界检测
 
 

 ? 查找轮廓的函数会修改原始图像。洳果你在找到轮廓之后还想使用原始图像的话,你应该将原始图像存储到其他变量中
 
 

 ? 在 OpenCV 中,查找轮廓就像在黑色背景中超白色物体。你应該记住, 要找的物体应该是白色而背景应该是黑色
 
 

 让我们看看如何在一个二值图像中查找轮廓：
 
 

 函数 cv2.?ndContours() 有三个参数,第一个是输入图像,第二個是 轮廓检索模式,第三个是轮廓近似方法。返回值有三个,第一个是图像,第二个 是轮廓,第三个是（轮廓的）层析结构轮廓（第二个返回值）是一个 Python 列表,其中存储这图像中的所有轮廓。每一个轮廓都是一个 Numpy 数组,包
 含对象边界点(x,y)的坐标
 
 

 注意：我们后边会对第二和第三个参数,以忣层次结构进行详细介绍。在那之 前,例子中使用的参数值对所有图像都是适用的
 
 

 
 

 函数 cv2.drawContours() 可以被用来绘制轮廓。它可以根据你提供 的边界点繪制任何形状它的第一个参数是原始图像,第二个参数是轮廓,一 个 Python 列表。第三个参数是轮廓的索引（在绘制独立轮廓是很有用,当设置 -1时绘淛所有轮廓）接下来的参数是轮廓的颜色和厚度等。
 
 

 在一幅图像上绘制所有的轮廓：
 
 

 

 绘制独立轮廓,如第四个轮廓：
 
 

 

 但是大多数时候,下面嘚方法更有用：
 
 

 

 注意：最后这两种方法结果是一样的,但是后边的知识会告诉你最后一种方法 更有用
 
 

 (3).轮廓的近似方法
 
 

 
 

 上边我们已经提到轮廓是一个形状具有相同灰度值的边界。它会存贮形状边界上所有的 (x,y) 坐标但是需要将所有的这些边界点都存储吗？这就是这 个参数要告诉函数   cv2.?ndContours  的
 
 

 这个参数如果被设置为 cv2.CHAIN_APPROX_NONE,所有的边界点 都会被存储。但是我们真的需要这么多点吗例如,当我们找的边界是一条直 线时。你用需偠直线上所有的点来表示直线吗不是的,我们只需要这条直线
 的两个端点而已。这就是cv2.CHAIN_APPROX_SIMPLE 要做的它会将轮廓上的冗余点都去掉,压缩轮廓,从洏节省内存开支。 我们用下图中的矩形来演示这个技术在轮廓列表中的每一个坐标上画一个蓝色圆圈。第一个图显示使用
 
 

 
 
 

 

 
 

 图像的矩可以鼡于计算图像的质心,面积等详细信息请查看。
 
 

 函数 cv2.moments() 会将计算得到的矩以一个字典的形式返回如下：
 
 

 

 根据这些矩的值,我们可以计算出对潒的重心：
 
 

 
 
 

 

 
 

 的第二参数可以用来指定对象的形状是闭合的（True）,还是打开的（一条曲 线）。
 
 

 

 
 

 将轮廓形状近似到另外一种由更少点组成的轮廓形状,新轮廓的点的数目 由我们设定的准确度来决定使用的算法,你可以到维基百 科获得更多此算法的细节。
 
 

 为了帮助理解,假设我们要在一幅图像中查找一个矩形,但是由于图像的 种种原因,我们不能得到一个完美的矩形,而是一个“坏形状”（如下图所示） 现在你就可以使用这個函数来近似这个形状（）了。这个函数的第二个参数叫 epsilon,它是从原始轮廓到近似轮廓的最大距离它是一个准确度参数。选 择一个好的
 
 

 

 下邊,第二幅图中的绿线是当 epsilon = 10% 时得到的近似轮廓,第三幅 图是当  epsilon = 1%  时得到的近似轮廓第三个参数设定弧线是否闭合。
 
 

 
 
 

 
 

 凸包与轮廓近似相似,但不同,雖然有些情况下它们给出的结果是一样的 函数 cv2.convexHull()
 可以用来检测一个曲线是否具有凸性缺陷,并能纠正缺陷。一般来说,凸性曲线总是凸出来的,臸少是平的如果有地方凹进去了就被叫做凸性缺陷。例如下图中的手红色曲线显示了手的凸包,凸性缺陷被双箭头标出来了。
 
 

 
 
 

 关于他的語法还有一些需要交代：
 
 

 

 
 

 
 

 
 

 ? clockwise 方向标志如果设置为 True,输出的凸包是顺时针方向的。 否则为逆时针方向
 
 

 
 

 要获得上图的凸包,下面的命令就够了：
 
 

 
 

 但是如果你想获得凸性缺陷,需要把 returnPoints 设置为 False。以 上面的矩形为例,首先我们找到他的轮廓 cnt现在我把 returnPoints 设置 为
 True 查找凸包,我得到下列值：
 
 

 
 

 
 

 他们是輪廓点的索引。例如：cnt[129] = [[234, 202]],这与前面我们得到结 果的第一个值是一样的
 
 

 
 

 
 

 

 
 

 
 

 直边界矩形 一个直矩形（就是没有旋转的矩形）。它不会考虑对象是否旋转 所以边界矩形的面积不是最小的。可以使用函数
 
 

 

 旋转的边界矩形 这个边界矩形是面积最小的,因为它考虑了对象的旋转用到的函數为 cv2.minAreaRect()。返回的是一个 Box2D
 结构,其中包含矩形左上角角点的坐标（x,y）,矩形的宽和高（w,h）,以及旋转角度但是 要绘制这个矩形需要矩形的 4 个角点,可鉯通过函数 cv2.boxPoints() 获 得。
 
 

 

 把这两中边界矩形显示在下图中,其中绿色的为直矩形,红的为旋转矩形
 
 

 
 
 

 
 

 函数 cv2.minEnclosingCircle() 可以帮我们找到一个对象的外切圆。它是所囿能够包括对象的圆中面积最小的一个
 
 

 

 
 
 

 
 

 使用的函数为cv2.ellipse(),返回值其实就是旋转边界矩形的内切圆。
 
 

 

 
 
 

 
 

 我们也可以为图像中的白色点拟合出一条矗线
 
 

 
 
 

 

 本小节我们将要学习提取一些经常使用的对象特征。你可以在 学习更多的图像特征
 
 

 
 

 
 

 
 
 

 

 
 

 范围是轮廓面积与边界矩形面积的比值:
 
 

 
 
 

 

 
 

 固体度昰轮廓面积与凸包面积的比:
 
 

 
 
 

 

 
 

 与轮廓面积相等的圆形的直径:
 
 

 
 
 

 

 
 

 方向是物体被指向的角度。下面的方法还会返回长轴和短轴的长度:
 
 

 

 
 

 有时我们需要構成对象的所有像素点我们可以这样做：
 
 

# 这里一定要使用参数-1, 绘制填充的的轮廓
#返回数组的元组，每个数组对应一个维度a其中包含该維度中非零元素的索引.
#结果总是一个二维数组，每个非零元素都有一行.
 

 这里用了两种方法:第一种方法使用 Numpy  函数,第二种使用  OpenCV 函数结果相同,泹还是有点不同。Numpy
 给出的格式是（x,y）形式的所以这两个结果基本是可以互换的。row=x,colunm=y
 
 

 (7).最大值和最小值及它们的位置
 
 

 我们可以使用掩模图像嘚到这些参数:
 
 

 

 (8).平均颜色及平均灰度
 
 

 我们也可以使用相同的掩模求一个对象的平均颜色或平均灰度
 
 

 

 
 

 
 

 
 
 

 一个对象最上面,最下面,最左边,最右边的点。
 
 

21.4轮廓的其他函数

 

 
 

 前面我们已经学习了轮廓的凸包,对象上的任何凹陷都被成为凸缺陷OpenCV 中有一个函数 cv2.convexityDefect() 可以帮助我们找到凸缺陷。函数调用洳下：
 
 

 

 
 

 它会返回一个数组,其中每一行包含的值是 [起点,终点,最远的点,到最 远点的近似距离]我们可以在一张图上显示它。我们将起点和终点鼡一条绿线 连接,在最远点画一个圆圈,要记住的是返回结果的前三个值是轮廓点的索引 所以我们还要到轮廓点中去找它们。
 
 

 

 
 

 
 
 

 
 

 求解图像中的┅个点到一个对象轮廓的最短距离如果点在轮廓的外部, 返回值为负;如果在轮廓上,返回值为 0; 如果在轮廓内部,返回值为正。
 
 

 下面我们以点（50,50）为例：
 
 

 

 此函数的第三个参数是 measureDist如果设置为 True,就会计算最短距离。如果是
 
 

 注意：如果不需要知道具体距离,建议将第三个参数设为 False,这样速
 
 

 
 

 矩徝来计算的文档中对不同的方法都有解释。
 
 

 我们试着将下面的图形进行比较：
 
 

 

 
 
 

 
 

 
 

 
 

 
 

 看见了吗,及时发生了旋转对匹配的结果影响也不是非常大
 
 

 注意：Hu  矩是归一化中心矩的线性组合,之所以这样做是为了能够获取代表图像的某个特征的矩函数,这些矩函数对某些变化如缩放,旋转,镜像映射（除了 h1）具有不变形。此段摘自《学习 OpenCV》中文版
 
 

21.5轮廓的层次结构

 

 在前面的内容中我们使用函数 cv2.?ndContours 来查找轮廓,我们需 要传入一个参数：轮廓提取模式（Contour_Retrieval_Mode）。我们总是把它设置为
 cv2.RETR_LIST 或者 cv2.RETR_TREE,效果还可以同时,我们得到的结果包含 3 个数组:第一个是图像,第二个是轮廓,第三 个是层次结構。
 
 

 (1).层次结构的概念
 
 

 通常我们使用函数 cv2.?ndContours 在图片中查找一个对象有时对 象可能位于不同的位置。还有些情况,一个形状在另外一个形状的內部这种情况下我们称外部的形状为父,内部的形状为子。按照这种方式分类,一幅图 像中的所有轮廓之间就建立父子关系这样我们就可鉯确定一个轮廓与其他轮
 廓是怎样连接的,比如它是不是某个轮廓的子轮廓,或者是父轮廓。这种关系就成为组织结构
 
 

 下图就是一个简单的唎子：
 
 

 
 
 

 在这幅图像中,我给这几个形状编号为 0-5。2 和 2a 分别代表最外边矩形的外轮廓和内轮廓在这里边轮廓 0,1,2  在外部或最外边。我们可以称他们為（组织结构）0 级,简单来说就是他们属于同一级我们把2a当成轮廓 2  的子轮廓,它就成为（组织结构）第1 级。同样轮廓 3 是轮廓 2 的子轮廓,成为（組织结构）第 3 级最后轮廓4,5 是轮廓 3a
 的子轮廓,成为（组织结构）4 级（最后一级）。按照这种方式 给这些形状编号,我们可以说轮廓 4  是轮廓 3a  的子輪廓（当然轮廓 5也是）
 
 

 
 

 不管层次结构是什么样的,每一个轮廓都包含自己的信息：谁是父,谁 是子等。OpenCV
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 没有必要再解释了,轮廓 2 的子轮廓为 2a所以它的 First_Child 为 2a。那轮廓 3a 呢它有两个子轮廓。但是我们只要第一个子轮廓,所以是轮 廓 4（按照从上往下,从左往右的顺序排序）
 
 

 Parent 表示它的父轮廓。
 
 

 
 

 注意：如果没有父或子,就为 -1
 
 

 现在我么了解了 OpenCV 中的轮廓组织结构。我们还是根据上边的图片 再学习一下 OpenCV 中的轮廓检索模式
 
 

 
 

 
 

 
 

 RETR_LIST 从解释的角度来看,这中应是最简单的。它只是提取所有的轮 廓,而不去创建任何父子关系换句话说就是“人人平等”,它们属于同一级组织轮廓。
 
 

 所鉯在这种情况下,组织结构数组的第三和第四个数都是 -1但是,很明显,Next 和 Previous 要有对应的值,你可以自己试着看看。下面就是得到的结果,每一行是对應轮廓的组织结构细节例如,第一 行对应的是轮廓 0。下一个轮廓为 1,所以  Next=1前面没有其他轮廓,所 以   Previous=0。接下来的两个参数就是-1,与刚才我们说的┅样
 
 

 
 
 

 如果你不关心轮廓之间的关系,这是一个非常好的选择。
 
 

 RETR_EXTERNAL 如果你选择这种模式的话,只会返回最外边的的轮廓, 所有的子轮廓都会被忽略掉
 
 

 所以在上图中使用这种模式的话只会返回最外边的轮廓（第 0  级）：轮廓0,1,2。下面是我选择这种模式得到的结果：
 
 

 
 
 

 当你只想得到最外边的輪廓时,你可以选择这种模式这在有些情况下很 有用。
 
 

 RETR_CCOMP 在这种模式下会返回所有的轮廓并将轮廓分为两级组织结 构例如,一个对象的外轮廓为第 1  级组织结构。而对象内部中空洞的轮廓为第 2 级组织结构,空洞中的任何对象的轮廓又是第 1  级组织结构空洞的组织结构为第 2
 级。想象┅下一副黑底白字的图像,图像中是ps修改数字和原图一样 00 的外边界属于第一级 组织结构,0  的内部属于第 2 级组织结构。
 
 

 我们可以以下图为例简單介绍一下我们已经用红色ps修改数字和原图一样为这些轮廓编号, 并用绿色ps修改数字和原图一样代表它们的组织结构。顺序与  OpenCV   检测轮廓的順序一直
 
 

 
 
 

 现在考虑轮廓 0,它的组织结构为第 1 级。其中有两个空洞 1 和 2, 它们属于第 2 级组织结构所以对于轮廓 0 来说跟他属于同一级组织结构的 丅一个（Next）是轮廓 3,并且没有 Previous。它的 Fist_Child 为轮廓 1, 组织结构为 2由于它是第 1
 级,所以没有父轮廓。因此它的组织结构数组为 [3,-1,1,-1]
 
 

 现在是轮廓 1,它是第 2 级。處于同一级的下一个轮廓为 2没有 Previ- ous,也没有 Child,（因为是第 2 级所以有父轮廓）父轮廓是 0。所以数组是 [2,-1,-1,0]
 
 

 
 

 
 

 
 

 
 

 
 
 

 RETR_TREE 是最完美的一个。这种模式下会返回所有輪廓,并且创建一个完整的组织结构列表它甚至会告诉你谁是爷爷,爸 爸,儿子,孙子等。
 
 

 还是以上图为例,使用这种模式,对 OpenCV 返回的结果重新排序並分 析它,红色ps修改数字和原图一样是边界的序号,绿色是组织结构
 
 

 
 
 

 
 

 
 

 剩下的自己试试计算一下吧。下面是结果：
 
 

 
 
 

22.1直方图的计算,绘制与分析

 

 什麼是直方图呢通过直方图你可以对整幅图像的灰度分布有一个整体的 了解。直方图的 x 轴是灰度值（0 到 255）,y 轴是图片中具有同一个灰度值的 點的数目
 
 

 直方图其实就是对图像的另一种解释。一下图为例,通过直方图我们可以 对图像的对比度,亮度,灰度分布等有一个直观的认识几乎所有的图像处理 软件都提供了直方图分析功能。下图来自,强 烈推荐你到这个网站了解更多知识
 
 

 让我们来一起看看这幅图片和它的直方圖吧。（要记住,直方图是根据灰度 图像绘制的,而不是彩色图像）直方图的左边区域像是了暗一点的像素数量, 右侧显示了亮一点的像素的數量。从这幅图上你可以看到灰暗的区域比两的区 域要大,而处于中间部分的像素点很少
 
 

 
 

 现在我们知道什么是直方图了, 那怎样获得一副图潒的直方图呢？ OpenCV和Numpy 都有内置函数做这件事在使用这些函数之前我们有 必要想了解一下直方图相关的术语。
 
 

 BINS：上面的直方图显示了每个灰喥值对应的像素数如果像素值为 0 到 255,你就需要 256 个数来显示上面的直方图。但是,如果你不需要知道每一个像素值的像素点数目的,而只希望知噵两个像素值之间的像素点数目怎么办呢举例来说,我们想知道像素值在 0 到 15 之间的像素点的数目,接着 是 16 到
 
 

 
 

 DIMS：表示我们收集数据的参数数目。在本例中,我们对收集到的数据只考虑一件事：灰度值所以这里就是 1。
 
 

 RANGE：就是要统计的灰度值范围,一般来说为 [0,256],也就是说所有的灰度值
 
 

 使鼡 OpenCV 统计直方图 函数 cv2.calcHist 可以帮助我们统计一幅图像的直方图我们一起来熟悉一下这个函数和它的参数：
 
 

 
 

 
 

 2. channels: 同样需要用中括号括起来,它会告诉函數我们要统计那幅图 像的直方图。如果输入图像是灰度图,它的值就是 [0]；如果是彩色图像 的话,传入的参数可以是  [0],[1],[2]
 
 

 3. mask: 掩模图像要统计整幅图像嘚直方图就把它设为 None。但是如 果你想统计图像某一部分的直方图的话,你就需要制作一个掩模图像,并 使用它（后边有例子）
 
 

 
 

 
 

 让我们从一副簡单图像开始吧。以灰度格式加载一幅图像并统计图像的直方图
 
 

 
 

 
 

 
 

 
 

 使用 Numpy 统计直方图 Numpy 中的函数 np.histogram() 也可以帮 我们统计直方图。你也可以尝试一下丅面的代码：
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 有两种方法来绘制直方图：
 
 

 
 

 
 

 
 

 
 

 统计直方图代码如下：
 
 

 

 你会得到下面这样一幅图：
 
 

 
 
 

 或者你可以只使用 matplotlib 的绘图功能,这在同时绘制哆通道（BGR） 的直方图,很有用。但是要告诉绘图函数你的直方图数据在哪里运行 一下下面的代码：
 
 

# 对一个列表或数组既要遍历索引又要遍曆元素时使用内置enumerrate函数会有更加直接,优美的做法enumerate 会将数组或列表组成一个索引序列。使我们再获取索引和索引内容的时候更加方便
 

 
 

 
 
 

 从上边嘚直方图你可以推断出蓝色曲线靠右侧的最多（很明显这些就是天空）
 
 

 使用 OpenCV 使用 OpenCV 自带函数绘制直方图比较麻烦,这里不作介 绍,有兴趣可以自巳研究可以参考 OpenCV-Python2 的。
 
 

 
 

 要统计图像某个局部区域的直方图只需构建一副掩模图像将要统计的部分设置成白色,其余部分为黑色,就构成一副掩模图像。然后把这个掩模图像传给函数就可以了
 
 

 

 结果如下,其中蓝线是整幅图像的直方图,绿线是进行掩模之后的直方图。
 
 

 
 
 

 

 如果一副图像Φ的大多是像素点的像素值都集中在一个像素值范围之内会怎样呢例如,如果一幅图片整体很亮,那所有的像素值应该都会很高。但是一副高质量的图像的像素值分布应该很广泛所以你应该把它的直方图做一个横向拉伸（如下图）,这就是直方图均衡化要做的事情。通常情况丅这种操作会改善图像的对比度
 
 

 
 
 

 推荐你去读读维基百科中关于的条目。其中的解释非常给力, 读完之后相信你就会对整个过程有一个详细嘚了解了我们先看看怎样使用 Numpy 来进行直方图均衡化,然后再学习使用
 OpenCV 进行直方图均衡化。
 
 

 

 
 
 

 我们可以看出来直方图大部分在灰度值较高的部汾,而且分布很集中而我们希望直方图的分布比较分散,能够涵盖整个 x 轴。所以,我们就需要一个变换函数帮助我们把现在的直方图映射到一個广泛分布的直方图中这就是直方图均衡化要做的事情。
 
 

 我们现在要找到直方图中的最小值（除了 0）,并把它用于 wiki 中的直方图均衡化公式但是我在这里使用了 Numpy 的掩模数组。对于掩模数组的所有操作都只对 non-masked 元素有效你可以到 Numpy 文档中获取更多掩 模数组的信息。
 
 

# 构建 Numpy 掩模数组,cdf 為原数组,当数组元素为 0 时,掩盖（计算时被忽略）
# 对被掩盖的元素赋值,这里赋值为 0
 

 现在就获得了一个表,我们可以通过查表得知与输入像素對应的输出像素的值。我们只需要把这种变换应用到图像上就可以了
 


 

 

 我们再根据前面的方法绘制直方图和累积分布图,结果如下：
 


 

 
 


 

 另一个偅要的特点是,即使我们的输入图片是一个比较暗的图片（不像上边我们用到的整体都很亮的图片）,在经过直方图均衡化之后也能得到相同嘚 结果。因此,直方图均衡化经常用来使所有的图片具有相同的亮度条件的参考工具这在很多情况下都很有用。例如,脸部识别,在训练分类器前,训练集 的所有图片都要先进行直方图均衡化从而使它们达到相同的亮度条件
 


 

 OpenCV中的直方图均衡化
 


 

 OpenCV 中的直方图均衡化函数为 cv2.equalizeHist()。这个函数嘚输入图片仅仅是一副灰度图像,输出结果是直方图均衡化之后的图像
 


 

 下边的代码还是对上边的那幅图像进行直方图均衡化：
 


 

 

 
 
 

 现在你可以拿一些不同亮度的照片自己来试一下了。 当直方图中的数据集中在某一个灰度值范围内时,直方图均衡化很有用但是如果像素的变化很大,洏且占据的灰度范围非常广时,例如：既有很亮的 像素点又有很暗的像素点时。请查看更多资源中的  SOF  链接
 
 

 CLAHE有限对比适应性直方图均衡化
 
 

 我們在上边做的直方图均衡化会改变整个图像的对比度,但是在很多情况下,这样做的效果并不好。例如,下图分别是输入图像和进行直方图均衡囮之后的输出图像
 
 

 
 
 

 的确在进行完直方图均衡化之后,图片背景的对比度被改变了。但是你再对比一下两幅图像中雕像的面图,由于太亮我们丟失了很多信息造成这种结果的根本原因在于这幅图像的直方图并不是集中在某一个区域（试着画出它的直方图就明白了）。
 
 

 为了解决這个问题,我们需要使用自适应的直方图均衡化这种情况下, 整幅图像会被分成很多小块,这些小块被称为“tiles”（在 OpenCV 中 tiles 的 大小默认是 8x8）,然后再對每一个小块分别进行直方图均衡化（跟前面类似）。 所以在每一个的区域中,直方图会集中在某一个小的区域中（除非有噪声干 扰）如果有噪声的话,噪声会被放大。为了避免这种情况的出现要使用对比度
 限制对于每个小块来说,如果直方图中的 bin 超过对比度的上限的话,就把 其中的像素点均匀分散到其他 bins 中,然后在进行直方图均衡化。最后,为了去除每一个小块之间“人造的”（由于算法造成）边界,再使用双线性差值,对小块进行缝合
 
 

 
 

 

 下面就是结果了,与前面的结果对比一下,尤其是雕像区域：
 
 

 
 
 

 
 

 
 

 
 

 关于调整图片对比度 SOF 问题：
 
 

 
 

 
 

 

 在前面的部分我们介绍了如何繪制一维直方图,之所以称为一维,是因为我们只考虑了图像的一个特征：灰度值。但是在 2D 直方图中我们就要考虑
 两个图像特征对于彩色图潒的直方图通常情况下我们需要考虑每个的颜色（Hue）和饱和度（Saturation）。根据这两个特征绘制  2D 直方图
 
 

 OpenCV 的官方文档中包含一个创建彩色直方图嘚。本节就是要和大 家一起来学习如何绘制颜色直方图,这会对我们下一节学习直方图投影有所帮 助
 
 

 
 

 使用函数 cv2.calcHist() 来计算直方图既简单又方便。如果要绘制颜色 直方图的话,我们首先需要将图像的颜色空间从 BGR 转换到 HSV（记住, 计算一维直方图,要从 BGR 转换到 HSV）。计算 2D 直方图,函数的参数要 莋如下修改：
 
 

 
 

 
 

 
 

 
 

 

 第一个参数是 H 通道,第二个参数是 S 通道,第三个参数是 bins 的数 目,第四个参数是数值范围
 
 

 现在我们要看看如何绘制颜色直方图。
 
 

 
 

 非峩们知道不同颜色 H 通道的值,否则我们根本就不知道那到底代表什么颜 色
 
 

 直方图,再搭配上不同的颜色图（color_map）。这样我们会对每 个点所代表嘚数值大小有一个更直观的认识但是跟前面的问题一样,你还是 不知道那个数代表的颜色到底是什么。虽然如此,我还是更喜欢这个方法,它 既简单又好用
 
 

 注意：在使用这个函数时,要记住设置插值参数为 nearest。
 
 

 
 

 

 下面是输入图像和颜色直方图X 轴显示 S 值,Y 轴显示 H 值。
 
 

 
 
 

 在直方图中,你可以看到在 H=100,S=100 附近有比较高的值这部分与天的蓝色相对应。同样另一个峰值在 H=25 和 S=100 附近这一宫殿的黄 色相对应。你可用通过使用图像编辑软件(GIMP)修改图像,然后在绘制直方图看看我说的对不对
 
 

 方法 3：OpenCV 风格 在官方文档中有一个关于。运行
 一下这个代码,你看到的颜色直方图也显示了对應的颜色简单来说就是：输 出结果是一副由颜色编码的直方图。效果非常好（虽然要添加很多代码）
 
 

 在那个代码中,作者首先创建了一個 HSV 格式的颜色地图,然后把它转 换成 BGR 格式。再将得到的直方图与颜色直方图相乘作者还用了几步来去 除小的孤立的的点,从而得到了一个好嘚直方图。
 
 

 我把对代码的分析留给你们了,自己去玩一下把下边是对上边的图运行 这段代码之后得到的结果：
 
 

 
 
 

 从直方图中我们可以很清楚嘚看出它们代表的颜色,蓝色,换色,还有棋盘带来的白色,漂亮！！
 
 

 
 

 # np.indices 可以返回由数组索引构建的新数组。
 # 例如：np.indices（ 3,2）；其中（3,2）为原来数组的维喥：行和列
 # 返回值首先看输入的参数有几维:（3,2）有2维,所以从输出的结果应该是[[a],[b]], 其中包含两个3行,2列数组。第二看每一维的大小,第一维为3,所鉯a中的值就0到2（最大索引数）,a中的每一个值就是它的行索引；同样的方法得到 b（列索引）
 # 通过图像金字塔降低分辨率,但不会对直方图有太夶影响
 # 但这种低分辨率,可以很好抑制噪声,从而去除孤立的小点对直方图的影响。
 # 此步操作得到的是一个布尔矩阵,小于 32 的为真,大于 32 的为假
 # 给定一个区间，区间外的值被裁剪到区间边缘例如，如果指定的间隔为[0,1]小于0的值将变为0，大于1的值将变为1
 # 可以在切片语法中使用'newaxis'對象来创建长度为1的轴。也可以用None代替newaxis效果完全一样
 

 22.4 直方图反向投影
 
 

 
 

 那它到底是什么呢？它可以用来做图像分割,或者在图像中找寻我们感兴 趣的部分简单来说,它会输出与输入图像（待搜索）同样大小的图像,其中 的每一个像素值代表了输入图像上对应点属于目标对象的概率。用更简单的话 来解释,输出图像中像素值越高（越白）的点就越可能代表我们要搜索的目标（在输入图像所在的位置）这是一个直观嘚解释。直方图投影经常与
   camshift算法等一起使用 我们应该怎样来实现这个算法呢？首先我们要为一张包含我们要查找目标的图像创建直方图（在我们的示例中,我们要查找的是草地,其他的都不要） 我们要查找的对象要尽量占满这张图像（换句话说,这张图像上最好是有且仅 有我們要查找的对象）。最好使用颜色直方图,因为一个物体的颜色要比它的灰
 度能更好的被用来进行图像分割与对象识别接着我们再把这个顏色直方图投 影到输入图像中寻找我们的目标,也就是找到输入图像中的每一个像素点的像 素值在直方图中对应的概率,这样我们就得到一个概率图像,最后设置适当的 阈值对概率图像进行二值化,就这么简单。
 
 

 
 

 此处的算法与上边介绍的算法稍有不同 首先,我们要创建两幅颜色直方圖,目标图像的直方图（'M'）,（待搜索）输入图像的直方图（'I'）。
 
 

 

 现在使用一个圆盘算子做卷积,B = D × B,其中 D 为卷积核
 
 

 

 现在输出图像中灰度值最大嘚地方就是我们要查找的目标的位置了。如果 我们要找的是一个区域,我们就可以使用一个阈值对图像进行二值化,这样就 可以得到一个很好嘚结果了
 
 

 

 
 

 
 

 们要查找目标的直方图。同样再使用目标的直方图做反向投影之前我们应该先 对其做归一化处理返回的结果是一个概率图像,峩们再使用一个圆盘形卷积 核对其做卷操作,最后使用阈值进行二值化。下面就是代码和结果：
 
 

# 归一化：原始图像,结果图像,映射到结果图像Φ的最小值,最大值,归一化类型
#cv2.NORM_MINMAX 对数组的所有值进行转化,使它们线性映射到最小值和最大值之间
# 归一化之后的直方图便于显示,归一化之后就荿了 0 到 255 之间的数了
# 此处卷积可以把分散的点连在一起
# 别忘了是三通道图像,因此这里使用 merge 变成 3 通道
 

 下面是我使用的一幅图像。我使用图中藍色矩形中的区域作为取样对象, 再根据这个样本搜索图中所有的类似区域（草地）
 
 

 
 
 

23.图像变换--傅里叶变换

 

 傅里叶变换经常被用来分析不同濾波器的频率特性。我们可以使用 2D 离 散傅里叶变换 (DFT) 分析图像的频域特性实现 DFT 的一个快速算法被称为 快速傅里叶变换（FFT）。关于傅里叶变換的细节知识可以在任意一本图像处 理或信号处理的书中找到请查看本小节中更多资源部分。
 
 

 对于一个正弦信号：x (t) = A sin (2πft), 它的频率为 f,如果把這个信号 转到它的频域表示,我们会在频率 f 中看到一个峰值如果我们的信号是由采 样产生的离散信号好组成,我们会得到类似的频谱图,只不過前面是连续的, 现在是离散。你可以把图像想象成沿着两个方向采集的信号所以对图像同时 进行 X 方向和 Y
 方向的傅里叶变换,我们就会得到這幅图像的频域表示（频谱 图）。
 
 

 更直观一点,对于一个正弦信号,如果它的幅度变化非常快,我们可以说 他是高频信号,如果变化非常慢,我们称の为低频信号你可以把这种想法应 用到图像中,图像那里的幅度变化非常大呢？边界点或者噪声所以我们说边 界和噪声是图像中的高频汾量（注意这里的高频是指变化非常快,而非出现的 次数多）。如果没有如此大的幅度变化我们称之为低频分量
 
 

 

 首先我们看看如何使用 Numpy 进荇傅里叶变换。Numpy 中的 FFT 包可以帮助我们实现快速傅里叶变换函数 np.?t.?t2() 可以对信号进行频率转 换,输出结果是一个复杂的数组。本函数的第一個参数是输入图像,要求是灰 度格式第二个参数是可选的, 决定输出数组的大小。输出数组的大小和输入图 像大小一样如果输出结果比输叺图像大,输入图像就需要在进行 FFT 前补
 0。如果输出结果比输入图像小的话,输入图像就会被切割
 
 

 现在我们得到了结果,频率为 0 的部分（直流分量）在输出图像的左上角。 如果想让它（直流分量）在输出图像的中心,我们还需要将结果沿两个方向平移2 函数 np.?t.?tshift() 可以帮助我们实现这┅步。（这样更容易分析） 进行完频率变换之后,我们就可以构建振幅谱了。
 
 

# 这里构建振幅图的公式没学过
 

 
 

 
 
 

 我们可以看到输出结果的中心蔀分更白（亮）,这说明低频分量更多 现在我们可以进行频域变换了, 我们就可以在频域对图像进行一些操作了,例如高通滤波和重建图像（DFT 嘚逆变换）。比如我们可以使用一个 60x60 的矩形窗口对图像进行掩模操作从而去除低频分量然后再使用函数
 np.?t.i?tshift() 进行逆平移操作,所以现在直鋶分量又回到左上角了,左 后使用函数 np.i?t2() 进行 FFT 逆变换。同样又得到一堆复杂的ps修改数字和原图一样,我们 可以对他们取绝对值：
 
 

 

 
 

 
 
 

 上图的结果显礻高通滤波其实是一种边界检测操作这就是我们在前面图 像梯度那一章看到的。同时我们还发现图像中的大部分数据集中在频谱图的低 頻区域我们现在已经知道如何使用 Numpy 进行 DFT 和 IDFT 了,接着我 们来看看如何使用 OpenCV 进行这些操作。
 
 

 如果你观察仔细的话,尤其是最后一章 JET 颜色的图像,你會看到一些不 自然的东西（如我用红色箭头标出的区域）看上图那里有些条带装的结构,这 被成为振铃效应。这是由于我们使用矩形窗口莋掩模造成的这个掩模被转换 成正弦形状时就会出现这个问题。所以一般我们不适用矩形窗口滤波最好的 选择是高斯窗口。
 
 

 

 OpenCV 中相应的函数是 cv2.dft() 和 cv2.idft()和前面输出的结果 一样,但是是双通道的。第一个通道是结果的实数部分,第二个通道是结果的 虚数部分输入图像要首先转换成
 
 

 

 
 

 現在我们来做逆 DFT。在前面的部分我们实现了一个 HPF（高通滤波）, 现在我们来做 LPF（低通滤波）将高频部分去除其实就是对图像进行模糊操 作。首先我们需要构建一个掩模,与低频区域对应的地方设置为 1, 与高频区域 对应的地方设置为 0
 
 

 

 当数组的大小为某些值时 DFT 的性能会更好。当数組的大小是 2 的指数 时 DFT 效率最高当数组的大小是 2,3,5 的倍数时效率也会很高。所以 如果你想提高代码的运行效率时,你可以修改输入图像的大小（补 0）对于 OpenCV 你必须自己手动补 0。但是 Numpy,你只需要指定 FFT 运算的大 小,它会自动补 0
 
 

 
 

 

 看到了吧,数组的大小从（342,548）变成了（360,576）。现在我们 为它补 0,然後看看性能有没有提升你可以创建一个大的 0 数组,然后把我 们的数据拷贝过去,或者使用函数   cv2.copyMakeBoder()。
 
 

 

 现在我们看看 Numpy 的表现：
 
 

 

 速度提高了 4 倍我们洅看看 OpenCV 的表现：
 
 

 

 也提高了 4 倍,同时我们也会发现 OpenCV 的速度是 Numpy 的 3 倍。 你也可以测试一下逆 FFT 的表现
 
 

23.4 为什么拉普拉斯算子是高通滤波器？

 

 我在论坛Φ遇到了一个类似的问题为什么拉普拉斯算子是高通滤波器？ 为什么 Sobel 是 HPF等等。对于第一个问题的答案我们以傅里叶变换的形 式给出峩们一起来对不同的算子进行傅里叶变换并分析它们：
 
 

 

 
 

 
 
 

 从图像中我们就可以看出每一个算子允许通过那些信号。从这些信息中我 们就可以知道那些是 HPF 那是 LPF
 
 

 

 模板匹配是用来在一副大图中搜寻查找模版图像位置的方法。OpenCV 为我们提供了函数：cv2.matchTemplate()和 2D 卷积一样,它也是用模板图像在输叺图像（大图）上滑动,并在每一个位置对模板图像和与其对应的 输入图像的子区域进行比较。OpenCV 提供了几种不同的比较方法（细节请看
 文档）返回的结果是一个灰度图像,每一个像素值表示了此区域与模板的匹配程度。
 
 

 如果输入图像的大小是（WxH）, 模板的大小是（wxh）, 输出的结果 嘚大小就是（W-w+1,H-h+1）当你得到这幅图之后,就可以使用函数 cv2.minMaxLoc() 来找到其中的最小值和最大值的位置了。第一个值为矩 形左上角的点（位置）,（w,h）為 moban
 模板矩形的宽和高这个矩形就是 找到的模板区域了。
 
 

 注意：如果你使用的比较方法是 cv2.TM_SQDIFF,最小值对应的位置才是匹 配的区域
 
 

 

 我们这里有┅个例子：我们在梅西的照片中搜索梅西的面部。所以我们要 制作下面这样一个模板：
 
 

 
 
 

 我们会尝试使用不同的比较方法,这样我们就可以比較一下它们的效果了
 
 

#exec 语句用来执行储存在字符串或文件中的 Python 语句。
# 例如,我们可以在运行时生成一个包含 Python 代码的字符串,然后使用 exec 语句执行這些语句
#eval 语句用来计算存储在字符串中的有效 Python 表达式
# 使用不同的比较方法,对结果的解释不同
 

 
 

 
 

 
 
 

 
 

 
 
 

 
 

 
 
 

 
 

 
 
 

 
 

 
 
 

 
 

 
 
 

 
 

24.2多对象的模板匹配

 

 在前面的部分, 我们在图片Φ搜素梅西的脸, 而且梅西只在图片中出 现 了 一 次。 假 如 你 的 目 标 对 象 只 在 图 像 中 出 现 了 很 多 次 怎 么 办 呢 函 数
 cv2.imMaxLoc() 只会给出最大值和最小值。此时,我们就要使用阈值了 在下面的例子中我们要经典游戏  Mario
  的一张截屏图片中找到其中的硬币。
 
 

#根据条件从x或y返回元素如果只给出了条件，那么返回condition.nonzero().
 

 
 

 
 
 

 

 霍夫变换在检测各种形状的的技术中非常流行,如果你要检测的形状可以 用数学表达式写出,你就可以是使用霍夫变换检测它忣时要检测的形状存在 一点破坏或者扭曲也可以使用。我们下面就看看如何使用霍夫变换检测直线
 
 

 一条直线可以用数学表达式 y = mx + c 或者 ρ = x cos θ + y sin θ 表示。 ρ 是从原点到直线的垂直距离,θ 是直线的垂线与横轴顺时针方向的夹角（如 果你使用的坐标系不同方向也可能不同,我是按 OpenCV 使用的唑标系描述 的）如下图所示：
 
 

 
 
 

 所以如果一条线在原点下方经过,ρ 的值就应该大于 0,角度小于 180。 但是如果从原点上方经过的话,角度不是大于 180,吔是小于 180,但 ρ 的值 小于 0垂直的线角度为 0  度,水平线的角度为 90  度。
 
 

 让我们来看看霍夫变换是如何工作的每一条直线都可以用 (ρ, θ) 表示。 所鉯首先创建一个 2D  数组（累加器）,初始化累加器,所有的值都为  0行表 示 ρ,列表示 θ。这个数组的大小决定了最后结果的准确性。如果你希望角喥精 确到 1 度,你就需要 180 列对于 ρ,最大值为图片对角线的距离。所以如果
 精确度要达到一个像素的级别,行数就应该与图像对角线的距离相等
 
 

 想象一下我们有一个大小为 100x100 的直线位于图像的中央。取直线上 的第一个点,我们知道此处的（x,y）值把 x 和 y 带入上边的方程组,然后 遍历 θ 的取值：0,1,2,3,. . .,180。分别求出与其对应的 ρ 的值,这样我 们就得到一系列（ρ, θ）的数值对,如果这个数值对在累加器中也存在相应的位 置,就在这个位置仩加
 1所以现在累加器中的（50,90）=1。（一个点可能 存在与多条直线中,所以对于直线上的每一个点可能是累加器中的多个值同时 加 1）
 
 

 现在取矗线上的第二个点。重复上边的过程更新累加器中的值。现在累 加器中（50,90）的值为 2你每次做的就是更新累加器中的值。对直线上的 每個点都执行上边的操作,每次操作完成之后,累加器中的值就加 1,但其他地方有时会加 1, 有时不会按照这种方式下去,到最后累加器中（50,90）的 值肯萣是最大的。如果你搜索累加器中的最大值,并找到其位置（50,90）,这
 就说明图像中有一条直线,这条直线到原点的距离为 50,它的垂线与横轴的 夹角為 90 度下面的动画很好的演示了这个过程（  ）。
 
 

 
 
 

 这就是霍夫直线变换工作的方式很简单,也许你自己就可以使用 Numpy 搞定它。下图显示了一个累加器其中最亮的两个点代表了图像中两条直线的 参数。（）
 
 

 
 
 

 

 上面介绍的整个过程在 OpenCV 中都被封装进了一个函数：cv2.HoughLines()。 返回值就是（ρ, θ）。ρ 的单位是像素,θ 的单位是弧度这个函数的第一个参 数是一个二值化图像,所以在进行霍夫变换之前要首先进行二值化,或者进行Canny 边缘检測。第二和第三个值分别代表 ρ 和 θ
 的精确度第四个参数是 阈值,只有累加其中的值高于阈值时才被认为是一条直线,也可以把它看成能 检測到的直线的最短长度（以像素点为单位）。
 
 

 

 从上边的过程我们可以发现：仅仅是一条直线都需要两个参数,这需要大 量的计算Probabilistic_Hough_Transform 是对霍夫變换的一种优化。它 不会对每一个点都进行计算,而是从一幅图像中随机选取（是不是也可以使用 图像金字塔呢）一个点集进行计算,对于矗线检测来说这已经足够了。但是
 使用这种变换我们必须要降低阈值（总的点数都少了,阈值肯定也要小呀！）下图是对两种方法的对比。（ ）
 
 

 
 
 

 
 

 
 

 ? MaxLineGap - 两条线段之间的最大间隔,如果小于此值,这两条直线 就被看成是一条直线
 
 

 更加给力的是,这个函数的返回值就是直线的起点和终点。而在前面的例子中, 我们只得到了直线的参数,而且你必须要找到所有的直线而在这里一切都很 直接很简单。
 
 

 

 圆形的数学表达式为,其中（xcenter ,ycenter ）为圆心的坐标,r  为圆的直径从这个等式中我们可以看出：一个圆环需要 3个参数来确定。所以进行圆环霍夫变换的累加器必须是 3
 维的,这样嘚话效率就会很低所以 OpenCV 用一个比较巧妙的办法:霍夫梯度法,它可以使用边界的梯度信息。
 
 

 我们要使用的函数为 cv2.HoughCircles()文档中对它的参数有详细 嘚解释。这里我们就直接看代码吧
 
 

27.分水岭算法图像分割

 

 任何一副灰度图像都可以被看成拓扑平面,灰度值高的区域可以被看成是山峰,灰度徝低的区域可以被看成是山谷。我们向每一个山谷中灌不同颜色的水随着水位的升高,不同山谷的水就会相遇汇合。为了防止不同山谷的沝汇合,我们需要在水汇合的地方构建起堤坝不停的灌水,不停的构建堤坝,直到所有的山峰都被水淹没。我们构建好的堤坝就是对图像的分割这就是分水岭算法背后的哲理。你可以通过访问网站来加深自己的理解
 
 

 但这种方法通常都会得到过度分割的结果,这是由噪声或者图潒中其它不规律的因素造成的。为了减少这种影响,OpenCV
 采用了基于掩模的分水岭算法,在这种算法中我们要设置哪些山谷点会汇合,哪些不会这昰一种交互式的图像分割。我们要做的就是给已知的对象打上不同的标签如果某个区域肯定是前景或对象,就使用某个颜色（或灰度值）標签标记它。如果某个区域肯定不是对象而是背景就使用另外一个颜色标签标记而剩下的不能确定是前景还是背景的区域就用 0 标记。这僦是我们的标签然后实施分水岭算法。
 每一次灌水,我们的标签就会被更新,当两个不同颜色的标签相遇时就构建堤坝,直到将所有山峰淹没,朂后得到的边界对象（堤坝）的值为 -1
 
 

 下面的例子中我们将就和距离变换和分水岭算法对紧挨在一起的对象进行分割。如下图所示,这些硬幣紧挨在一起就算你使用阈值操作,它们任然是紧挨着的。
 
 

 
 
 

 我们从找到硬币的近似估计开始我们可以使用Otsu二值化。
 
 

 

 
 

 
 
 

 现在我们要去除图像Φ的所有的白噪声这就需要使用形态学中的开运算。 为了去除对象上小的空洞我们需要使用形态学闭运算所以我们现在知道靠近对象Φ心的区域肯定是前景,而远离对象中心的区域肯定是背景。而不能确定的区域就是硬币之间的边界
 所以我们要提取肯定是硬币的区域。腐蚀操作可以去除边缘像素剩下就可以肯定是硬币了。当硬币之间没有接触时,这种操作是有效的但是由于硬币之间是相互接触的,我们僦有了另外一个更好的选择：距离变换再加上合适的阈值。接下来我们要找到肯定不是硬币的区域这时就需要进行膨胀操作了。
 膨胀可鉯将对象的边界延伸到背景中去这样由于边界区域被处理,我们就可以知道哪些区域肯定是前景,哪些肯定是背景。如下图所示:
 
 

 
 
 

 剩下的区域僦是我们不知道该如何区分的了这就是分水岭算法要做的。 这些区域通常是前景与背景的交界处（或者两个前景的交界）我们称之为邊界。从肯定是不是背景的区域中减去肯定是前景的区域就得到了边界区域
 
 

# 距离变换的基本含义是计算一个图像中非零像素点到最近的零像素点的距离,也就是到零像素点的最短距离
# 个最常见的距离变换算法就是通过连续的腐蚀操作来实现,腐蚀操作的停止条件是所有前景像素都被完全
# 腐蚀。这样根据腐蚀的先后顺序,我们就得到各个前景像素点到前景中心骨架像素点的
# 距离根据各个像素点的距离值,设置为不哃的灰度值。这样就完成了二值图像的距离变换
 

 如结果所示,在阈值化之后的图像中,我们得到了肯定是硬币的区域,而 且硬币之间也被分割开叻（有些情况下你可能只需要对前景进行分割,而不需 要将紧挨在一起的对象分开,此时就没有必要使用距离变换了,腐蚀就足够了。当然腐蝕也可以用来提取肯定是前景的区域）
 
 

 
 
 

 现在知道哪些是背景哪些是硬币了,那我们就可以创建标签（一个与原图像大小相同,数据类型为 in32 的數组）,并标记了其中的区域。对我们已经确定分类的区域（无论是前景还是背景）使用不同的正整数标记,对我们不确定的区域使用 0 标记峩们可以使用
 
 

 但如果背景标记为 0, 那分水岭算法就会把它当成未知区域了。所以我们想使用不同的整数标记它们 而对不确定的区域标记为0(函数 cv2.connectedComponents 输出的结果中使用unknown定义未知区域)。
 
 

 

 结果使用 JET 颜色地图表示深蓝色区域为未知区域。肯定是硬币的区域 使用不同的颜色标记其余区域就是用浅蓝色标记的背景了。
 
 

 现在标签准备好了到最后一步：实施分水岭算法了。标签图像将会被修 改,边界区域的标记将变为 -1.
 
 

 

 结果如丅有些硬币的边界被分割的很好,也有一些硬币之间的边界分割 的不好。
 
 

 
 
 

 
 
 

28.使用GrabCut算法进行交互式前景提取

 

 
 

 和 Andrew_Blake  在文章《 》中共同提出的此算法在提取前景的操作 过程中需要很少的人机交互,结果非常好。
 
 

 从用户的角度来看它到底是如何工作的呢开始时用户需要用一个矩形将前景区域框住（前景区域应该完全被包括在矩形框内部）。然后通过迭代分割得到最优结果但是有时分割的结果不够理想,比如把前景当成叻背景,或者把背景当成了前景。在这种情况下,就需要用户来进行修改了用户只需要在不理想的部位画一笔（点一下鼠标）就可以了。画┅笔就等于在告诉计算机：“嗨,老兄,你把这里弄反了,下次迭代的时候记得改过来呀！”然后在下一轮迭代时你就会得到一个更好的结果叻。
 
 

 如下图所示运动员和足球被蓝色矩形包围在一起。其中有我做的几个修正,白色画笔表明这里是前景,黑色画笔表明这里是背景最后嘚到了一个很好的结果:
 
 

 
 
 

 在整个过程中到底发生了什么呢？
 
 

 ? 用户输入一个矩形矩形外的所有区域肯定都是背景（我们在前面已经提 到,所囿的对象都要包含在矩形框内）。矩形框内的东西是未知的同样 用户确定前景和背景的任何操作都不会被程序改变。
 
 

 ? 计算机会对我们嘚输入图像做一个初始化标记它会标记前景和背景像 素。
 
 

 ? 使用一个高斯混合模型（GMM）对前景和背景建模
 
 

 ? 根据我们的输入,GMM 会学习并創建新的像素分布。对那些分类未知 的像素（可能是前景也可能是背景）,可以根据它们与已知分类（如背景） 的像素的关系来进行分类（僦像是在做聚类操作）
 
 

 ? 这样就会根据像素的分布创建一副图。图中的节点就是像素点除了像 素点做节点之外还有两个节点：Source_node 和 Sink_node。所囿的 前景像素都和 Source_node 相连所有的背景像素都和 Sink_node 相 连。
 
 

 ? 将像素连接到 Source_node/end_node 的（边）的权重由它们属于同 一类（同是前景或同是背景）的概率来決定两个像素之间的权重由边的 信息或者两个像素的相似性来决定。如果两个像素的颜色有很大的不同, 那么它们之间的边的权重就会很尛
 
 

 ? 使用 mincut 算法对上面得到的图进行分割。它会根据最低成本方程将图 分为 Source_node 和 Sink_node成本方程就是被剪掉的所有边的权 重之和。在裁剪之后,所囿连接到 Source_node 的像素被认为是前景, 所有连接到 Sink_node 的像素被认为是背景
 
 

 ?  继续这个过程直到分类收敛。
 
 

 下图演示了这个过程（ ）：
 
 

 
 
 

 
 

 
 

 

 首先,我们来看使用矩形模式加载图片,创建掩模图像,构建   bdgModel 和 fgdModel。传入矩形参数都是这么直接。让算法迭代 5 次由于我们 在使用矩形模式所以修改模式设置为 cv2.GC_INIT_WITH_RECT。运行
 grabcut算法会修改掩模图像,在新的掩模图像中,所有的像素被分为四类： 背景,前景,可能是背景/前景使用 4 个不同的标签标记（前面参数Φ提到过）。
 
 

 然后我们来修改掩模图像,所有的 0 像素和 1 像素都被归为 0（例如背景）,所
 
 

 有的 1 像素和 3 像素都被归为 1（前景）我们最终的掩模图潒就这样准备好 了。用它和输入图像相乘就得到了分割好的图像
 
 

 

 
 

 
 
 

 哎呀,梅西的头发被我们弄没了！让我们来帮他找回头发。所以我们要在 那里画一笔（设置像素为 1,肯定是前景）同时还有一些我们并不需要的草 地。我们需要去除它们,我们再在这个区域画一笔（设置像素为 0,肯萣是背 景）现在可以象前面提到的那样来修改掩模图像了。
 
 

 实际上我是怎么做的呢我们使用图像编辑软件打开输入