opencv python 基础入门(4): 图像缩放、平移、旋转等

1、图像形状变换

cv2.resize() 放大和缩小图像
    参数:
        src: 输入图像对象
        dsize:输出矩阵/图像的大小,为0时计算方式如下:dsize = Size(round(fx*src.cols),round(fy*src.rows))
        fx: 水平轴的缩放因子,为0时计算方式:  (double)dsize.width/src.cols
        fy: 垂直轴的缩放因子,为0时计算方式:  (double)dsize.heigh/src.rows
        interpolation:插值算法
            cv2.INTER_NEAREST : 最近邻插值法
            cv2.INTER_LINEAR   默认值,双线性插值法
            cv2.INTER_AREA        基于局部像素的重采样(resampling using pixel area relation)。对于图像抽取(image decimation)来说,这可能是一个更好的方法。但如果是放大图像时,它和最近邻法的效果类似。
            cv2.INTER_CUBIC        基于4x4像素邻域的3次插值法
            cv2.INTER_LANCZOS4     基于8x8像素邻域的Lanczos插值
                     
    cv2.INTER_AREA 适合于图像缩小, cv2.INTER_CUBIC (slow) & cv2.INTER_LINEAR 适合于图像放大

官方代码示例,图像放大2倍

import cv2
import numpy as np

img = cv2.imread('C://path/to/image/doge.jpg')

res = cv2.resize(img,None,fx=2, fy=2, interpolation = cv2.INTER_CUBIC)

#OR

height, width = img.shape[:2]
res = cv2.resize(img,(2*width, 2*height), interpolation = cv2.INTER_CUBIC)

仿射变换(从二维坐标到二维坐标之间的线性变换,且保持二维图形的“平直性”和“平行性”。仿射变换可以通过一系列的原子变换的复合来实现,包括平移,缩放,翻转,旋转和剪切)

仿射变换的本质:即一个矩阵A和向量B共同组成的转变矩阵,和原图像坐标相乘来得到新图像的坐标,从而实现图像移动,旋转等。如下矩阵A和向量B组成的转变矩阵M,用来对原图像的坐标(x,y)进行转变,得到新的坐标向量T

cv2.warpAffine()   仿射变换(从二维坐标到二维坐标之间的线性变换,且保持二维图形的“平直性”和“平行性”。仿射变换可以通过一系列的原子变换的复合来实现,包括平移,缩放,翻转,旋转和剪切)
    参数:
        img: 图像对象
        M:2*3 transformation matrix (转变矩阵)
        dsize:输出矩阵的大小,注意格式为(cols,rows)  即width对应cols,height对应rows
        flags:可选,插值算法标识符,有默认值INTER_LINEAR,
               如果插值算法为WARP_INVERSE_MAP, warpAffine函数使用如下矩阵进行图像转dst(x,y)=src(M11*x+M12*y+M13,M21*x+M22*y+M23)
        borderMode:可选, 边界像素模式,有默认值BORDER_CONSTANT 
        borderValue:可选,边界取值,有默认值Scalar()即0
常用插值算法

了解了仿射变换的概念,平移变换只是采用了一个如下的转变矩阵(transformation matrix): 从(x,y)平移到(x+tx, y+ty

平移变换矩阵演示
import cv2
import numpy as np

img = cv2.imread('C://path/to/image/doge.jpg',0)
rows,cols = img.shape

M = np.float32([[1,0,100],[0,1,50]])
dst = cv2.warpAffine(img,M,(cols,rows))

cv2.imshow('img',dst)
cv2.waitKey(0)
cv2.destroyAllWindows()
放大和缩小
旋转变化
cv2.getRotationMatrix2D()  返回2*3的转变矩阵(浮点型)
    参数:
        center:旋转的中心点坐标
        angle:旋转角度,单位为度数,证书表示逆时针旋转
        scale:同方向的放大倍数

# 通过getRotationMatrix2D()能得到转变矩阵

仿射变换矩阵的计算:通过上述的平移,缩放,旋转的组合变换即实现了仿射变换,上述多个变换的变换矩阵相乘即能得到组合变换的变换矩阵。同时该变换矩阵中涉及到六个未知数(2*3的矩阵),通过变换前后对应三组坐标,也可以求出变换矩阵,opencv提供了函数getAffineTransform()来计算变化矩阵

    1> 矩阵相乘:将平移,旋转和缩放的变换矩阵相乘,最后即为仿射变换矩阵

    2> getAffineTransform():根据变换前后三组坐标计算变换矩阵  

cv2.getAffineTransform()  返回2*3的转变矩阵
      参数:
          src:原图像中的三组坐标,如np.float32([[50,50],[200,50],[50,200]])
          dst: 转换后的对应三组坐标,如np.float32([[10,100],[200,50],[100,250]])
img = cv2.imread('C://path/to/image/doge.jpg')
rows,cols,ch = img.shape

pts1 = np.float32([[50,50],[200,50],[50,200]])
pts2 = np.float32([[10,100],[200,50],[100,250]])

M = cv2.getAffineTransform(pts1,pts2)

dst = cv2.warpAffine(img,M,(cols,rows))

plt.subplot(121),plt.imshow(img),plt.title('Input')
plt.subplot(122),plt.imshow(dst),plt.title('Output')
plt.show()

2、透视变换(persperctive transformation)

仿射变换都是在二维空间的变换,透视变换(投影变换)是在三维空间中发生了旋转。需要前后四组坐标来计算对应的转变矩阵,opencv提供了函数getPerspectiveTransform()来计算转变矩阵,cv2.warpPerspective()函数来进行透视变换。

cv2.getPerspectiveTransform()   返回3*3的转变矩阵
        参数:    
            src:原图像中的四组坐标,如 np.float32([[56,65],[368,52],[28,387],[389,390]])
            dst: 转换后的对应四组坐标,如np.float32([[0,0],[300,0],[0,300],[300,300]])

            
        cv2.warpPerspective()
        参数:    
            src: 图像对象
            M:3*3 transformation matrix (转变矩阵)
            dsize:输出矩阵的大小,注意格式为(cols,rows)  即width对应cols,height对应rows
            flags:可选,插值算法标识符,有默认值INTER_LINEAR,
                   如果插值算法为WARP_INVERSE_MAP, warpAffine函数使用如下矩阵进行图像转dst(x,y)=src(M11*x+M12*y+M13,M21*x+M22*y+M23)
            borderMode:可选, 边界像素模式,有默认值BORDER_CONSTANT 
            borderValue:可选,边界取值,有默认值Scalar()即0

cv2.perspectiveTransform(src, matrix) 
    参数:      
        src:坐标点矩阵,注意其格式. 如src=np.array([[589, 91],[1355, 91],[1355, 219],[589, 219]], np.float32).reshape(-1, 1, 2), 表示四个坐标点,size为(4, -1, 2)
        matrix:getPerspectiveTransform()得到的透视变换矩阵 返回值:变换后的坐标点,格式和src相同
img = cv2.imread('C://path/to/image/doge.jpg')
rows,cols,ch = img.shape

pts1 = np.float32([[56,65],[368,52],[28,387],[389,390]])
pts2 = np.float32([[0,0],[300,0],[0,300],[300,300]])

M = cv2.getPerspectiveTransform(pts1,pts2)

dst = cv2.warpPerspective(img,M,(300,300))

plt.subplot(121),plt.imshow(img),plt.title('Input')
plt.subplot(122),plt.imshow(dst),plt.title('Output')
plt.show()

若变换前坐标点src(x, y),变换后坐标点为dst(X, Y), 其内部计算过程如下

坐标点变化
#matrix
matrix = np.float32([[ 8.06350904e-01 -1.67497791e-02 -4.34096149e+01]
 [ 2.85178118e-02  8.29440456e-01 -6.26063898e+01]
 [ 2.41877972e-05  1.99790270e-05  1.00000000e+00]])

rect = np.array([[589, 91], [1355, 91], [1355, 219], [589, 219]], np.float32)
rect = rect.reshape(-1, 1, 2)
newRect = cv2.perspectiveTransform(rect, matrix)



def test(rect, matrix):
    rect_fill = np.ones((4, 3), dtype=np.float32)
    rect_fill[:, :2] = rect
    mid_rect = np.dot(matrix, rect_fill.T)
    mid_rect = mid_rect.T
    mid_rect[:, :2] = mid_rect[:, :2]/mid_rect[:, 2:]
    print("TEST", mid_rect)

opencv python 基础入门(3): 图像阀值-(二值化) Image Binarization

什么叫图像的二值化?二值化就是让图像的像素点矩阵中的每个像素点的灰度值为0(黑色)或者255(白色),也就是让整个图像呈现只有黑和白的效果。在灰度化的图像中灰度值的范围为0~255,在二值化后的图像中的灰度值范围是0或者255。

  • 黑色:二值化后的R = 二值化后的G = 二值化后的B = 0
  • 白色:二值化后的R = 二值化后的G = 二值化后的B = 255

一个像素点在灰度化之后的灰度值怎么转化为 0 或者255呢?比如灰度值为120,那么在二值化后到底是0还是255? 这就涉及到取一个阀值的问题。

图像二值化效果图

1、灰度化和二值化的区别

图像的二值化是将图像上的像素点的灰度值设置为0或255

图像的灰度是指在RGB模型中,如果R=G=B时,则彩色表示一种灰度颜色,其中R=G=B的值叫灰度值,因此,灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值),灰度范围为0-255。一般常用的是加权平均法来获取每个像素点的灰度值。

一般先将图像灰度化,然后再二值化,然后在进行边缘处理等操作

2、常用二值化方法

方法一: 取阀值为127(相当于0~255的中数),让灰度值小于等于127的变为0(黑色),灰度值大于127的变为255(白色),这样做的好处是计算量小速度快,但是缺点也是很明显的,因为这个阀值在不同的图片中均为127。但是不同的图片,他们的颜色 分布差别很大,所以用127做阀值,效果肯定是不好的。

方法二: 取阀值为计算像素点矩阵中的所有像素点的灰度值的平均值
(像素点1灰度值+…+像素点n灰度值)/ n = 像素点平均值avg
然后让每一个像素点与像素点平均值比较,小于等于avg的像素点就为0(黑色),大于avg的 为255(白色)

方法三: 使用直方图方法(也叫双峰法)来寻找阀值,直方图是图像的重要特质。直方图方法认为图像由前景和背景组成,在灰度直方图上,前景和背景都形成高峰,在双峰之间的最低谷处就是阀值所在。取到阀值之后再一 一比较就可以了。

3、自适应阀值 (adaptive thresholding)

之前文章中的部分我们使用是全局阈值,整幅图像采用同一个数作为阈值。当时这种方法并不适应与所有情况,尤其是当同一幅图像上的不同部分的具有不同亮度时。这种情况下我们需要采用自适应阈值。此时的阈值是根据图像上的每一个小区域计算与其对应的阈值。因此在同一幅图像上的不同区域采用的是不同的阈值,从而使我们能在亮度不同的情况下得到更好的结果。

cv2.adaptiveThreshold() 自适应阈值处理,图像不同部位采用不同的阈值进行处理
参数:
    img: 图像对象,8-bit单通道图
    maxValue:最大值
    adaptiveMethod: 自适应方法
        cv2.ADAPTIVE_THRESH_MEAN_C     :阈值为周围像素的平均值
        cv2.ADAPTIVE_THRESH_GAUSSIAN_C : 阈值为周围像素的高斯均值(按权重)
    threshType:
        cv2.THRESH_BINARY:     小于阈值的像素置为0,大于阈值的置为maxValuel
        cv2.THRESH_BINARY_INV:  小于阈值的像素置为maxValue,大于阈值的置为0
    blocksize: 计算阈值时,自适应的窗口大小,必须为奇数 (如3:表示附近3个像素范围内的像素点,进行计算阈值)
    C: 常数值,通过自适应方法计算的值,减去该常数值
(mean value of the blocksize*blocksize neighborhood of (x, y) minus C);我们提供一个简单的叫做C的参数。这个值是一个从平均值中减去的整数,使我们可以微调我们的阈值

一般来说,在平均自适应阈值和高斯自适应阈值之间进行选择需要在您的最后进行一些实验。要改变的最重要的参数是邻域大小和C,即从平均值中减去的值。通过试验这个值,你将能够显着地改变你的阈值的结果。

代码示例:

def adaptive_demo():
    image = cv.imread("C:/path/to/image/doge.png")
    image = cv.cvtColor(image, cv.COLOR_BGR2GRAY)
    blured = cv.GaussianBlur(image, (5, 5), 0)
    cv.imshow("Image", image)

    thresh = cv.adaptiveThreshold(blured, 255, cv.ADAPTIVE_THRESH_MEAN_C, cv.THRESH_BINARY_INV, 11, 4)
    cv.imshow("mean thresh", thresh)

    thresh = cv.adaptiveThreshold(blured, 255, cv.ADAPTIVE_THRESH_GAUSSIAN_C, cv.THRESH_BINARY_INV, 15, 3)
    cv.imshow("GAUSSIAN thresh", thresh)
    cv.waitKey(0)

图像自适应阀值效果图

4、奥斯二值化(Otsu’s Binarization)

在使用全局阈值时,我们就是随便给了一个数来做阈值,那我们怎么知道
我们选取的这个数的好坏呢?答案就是不停的尝试。如果是一副双峰图像(简
单来说双峰图像是指图像直方图中存在两个峰)呢?我们岂不是应该在两个峰
之间的峰谷选一个值作为阈值?这就是Otsu 二值化要做的。简单来说就是对
一副双峰图像自动根据其直方图计算出一个阈值。(对于非双峰图像,这种方法
得到的结果可能会不理想)。

代码示例:

def otsu_demo():
    img = cv.imread('C:/path/to/image/doge.png', 0)
    cv.imshow("init", img)
    # global thresholding
    ret1, th1 = cv.threshold(img, 127, 255, cv.THRESH_BINARY)
    cv.imshow("global thresh", th1)
    # Otsu's thresholding
    ret2, th2 = cv.threshold(img, 0, 255, cv.THRESH_BINARY + cv.THRESH_OTSU)
    cv.imshow("Otsu's  thresh", th2)
    # Otsu's thresholding after Gaussian filtering
    blur = cv.GaussianBlur(img, (5, 5), 0)
    ret3, th3 = cv.threshold(blur, 0, 255, cv.THRESH_BINARY + cv.THRESH_OTSU)

    cv.imshow("GAUSSIAN thresh", th3)
    cv.waitKey(0)
奥斯二值化对比效果图

5、Riddler-Calvard阈值法

Riddler-Calvard阈值法是基于直方图的二值化算法,是经典的全局阈值法,可惜OpenCV的全局阈值只支持 OTSU大律法与Triangle两种,不支持Riddler-Calvard阈值法,其实Riddler-Calvard跟OTSU与Triangle一样都是基于直方图计算得到阈值的二值化分割算法,唯一个不同的是Riddler-Calvard是基于迭代查找实现。我们可以利用Mahotas (计算机视觉和图像处理 Python 库)

Mahotas安装: pip install mahotas

代码示例:

def Riddler_demo():
    import mahotas
    image = cv.imread('C:/path/to/image/doge.png')
    cv.imshow("init", image)
    image = cv.cvtColor(image, cv.COLOR_BGR2GRAY)
    blurred = cv.GaussianBlur(image, (5, 5), 0)
    T = mahotas.thresholding.rc(blurred)
    # 另一种方法找到最优值T 时要牢记Riddler-Calvard方法。
    # 使用mahotas.thresholding中的rc函数
    print("Riddler-Calvard:{}".format(T))
    thresh = image.copy()
    thresh[thresh > T] = 255
    thresh[thresh < 255] = 0
    thresh = cv.bitwise_not(thresh)
    cv.imshow("Riddler-Calvard", thresh)
    cv.waitKey(0)
#  Console 输出结果
#  Riddler-Calvard:142.24748359210108
Riddler-Calvard阈值法

opencv python 基础入门(2): 图像阀值-Image Thresholding

图像阈值分割是一种广泛应用的分割技术,利用图像中要提取的目标区域与其背景在灰度特性上的差异,把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合,选取一个比较合理的阈值,以确定图像中每个像素点应该属于目标区域还是背景区域,从而产生相应的二值图像。

阈值分割法的特点是:适用于目标与背景灰度有较强对比的情况,重要的是背景或物体的灰度比较单一,而且总可以得到封闭且连通区域的边界。我们在之前的文章中简单介绍了OpenCV的基础知识,此篇进一步介绍OpenCV关于图像阈值的知识点。

1、常用的阈值方法:

2、OpenCV-Python Image Thresholding 图像阈值函数:

Python: cv2.threshold(src, thresh, maxval, type[, dst]) → retval, dst
参数:
    img:图像对象,必须是灰度图
    thresh:阈值
    maxval:最大值
    type:
        cv2.THRESH_BINARY:     小于阈值的像素置为0,大于阈值的置为maxval
        cv2.THRESH_BINARY_INV: 小于阈值的像素置为maxval,大于阈值的置为0
        cv2.THRESH_TRUNC:      小于阈值的像素不变,大于阈值的置为thresh
        cv2.THRESH_TOZERO       小于阈值的像素置0,大于阈值的不变
        cv2.THRESH_TOZERO_INV   小于阈值的不变,大于阈值的像素置0
返回两个值
    ret:阈值
    img:阈值化处理后的图像

注: INV 表示的是取反

3、阈值类型1:二进制阈值化 cv2.THRESH_BINARY

OpenCV Image Thresholding 二进制阈值化表达式

释义: 在运用该阈值类型的时候,先要选定一个特定的阈值量,比如:125,这样,新的阈值产生规则可以解释为大于125的像素点的灰度值设定为最大值(如8位灰度值最大为255),灰度值小于125的像素点的灰度值设定为0。

4、阈值类型2:反二进制阈值化 cv2.THRESH_BINARY_INV

OpenCV Image Thresholding 反二进制阈值化

释义: 该阈值化与二进制阈值化相似,先选定一个特定的灰度值作为阈值,不过最后的设定值相反。(在8位灰度图中,例如大于阈值的设定为0,而小于该阈值的设定为255)。

5、阈值类型3:截断阈值化 cv2.THRESH_TRUNC

OpenCV Image Thresholding 截断阈值化

释义: 同样首先需要选定一个阈值,图像中大于该阈值的像素点被设定为该阈值,小于该阈值的保持不变。(例如:阈值选取为125,那小于125的阈值不改变,大于125的灰度值(230)的像素点就设定为该阈值)。

6、阈值类型4:阈值化为0 cv2.THRESH_TOZERO

OpenCV Image Thresholding 阈值化为0

释义: 先选定一个阈值,然后对图像做如下处理:1 像素点的灰度值大于该阈值的不进行任何改变;2 像素点的灰度值小于该阈值的,其灰度值全部变为0。

7、阈值类型5:反阈值化为0 cv2.THRESH_TOZERO_INV

OpenCV Image Thresholding 反阈值化为0

释义: 原理类似于0阈值,但是在对图像做处理的时候相反,即:像素点的灰度值小于该阈值的不进行任何改变,而大于该阈值的部分,其灰度值全部变为0。

8、代码示例

import cv2.cv2 as cv
#全局阈值
def OpenCV_threshold(image):
    gray = cv.cvtColor(image, cv.COLOR_RGB2GRAY)  #把输入图像灰度化
    #直接阈值化是对输入的单通道矩阵逐像素进行阈值分割。
    ret, binary = cv.threshold(gray, 0, 255, cv.THRESH_BINARY | cv.THRESH_TRIANGLE)
    print("threshold value %s".format(ret))
    cv.namedWindow("binary0", cv.WINDOW_NORMAL)
    cv.imshow("binary0", binary)