模板匹配Template Matching本身cv::matchTemplate()得到的是整数像素坐标要实现亚像素级定位Sub-pixel Template Matching通常是在匹配峰值附近进行插值或曲面拟合。常用的方法有以下几种其中二次曲面拟合是工业视觉中应用最广泛的方法。方法一二次曲面拟合推荐★★★★★原理假设模板匹配得到的最大值位置为(x0, y0)取其周围 3×3 的匹配结果f(-1,-1) f(0,-1) f(1,-1) f(-1, 0) f(0, 0) f(1, 0) f(-1, 1) f(0, 1) f(1, 1)拟合二次函数zax2by2cxydxeyfzax^2by^2cxydxeyfzax2by2cxydxeyf然后求极值点∂z∂x0\frac{\partial z}{\partial x}0∂x∂z0 ∂z∂y0\frac{\partial z}{\partial y}0∂y∂z0即可得到dx dy最终subpixel integer (dx,dy)一般精度可达到0.05 pixel甚至0.01 pixelOpenCV实现Step1 找最大值double maxVal; cv::Point maxLoc; cv::minMaxLoc(result, nullptr, maxVal, nullptr, maxLoc);假设maxLoc(100,80)Step2 提取3×3cv::Mat patch result( cv::Rect(maxLoc.x-1, maxLoc.y-1, 3, 3) ).clone();Step3 一维抛物线插值其实很多情况下不用完整二维拟合。x方向af(-1) bf(0) cf(1)亚像素偏移dxa−c2(a−2bc)dx\frac{a-c}{2(a-2bc)}dx2(a−2bc)a−c同理dya−c2(a−2bc)dy\frac{a-c}{2(a-2bc)}dy2(a−2bc)a−c代码float left patch.atfloat(1,0); float center patch.atfloat(1,1); float right patch.atfloat(1,2); float dx (left-right)/ (2*(left-2*centerright));y方向float up patch.atfloat(0,1); float down patch.atfloat(2,1); float dy (up-down)/ (2*(up-2*centerdown));最后cv::Point2f pt( maxLoc.xdx, maxLoc.ydy );工业软件很多都是这么做。方法二二维二次曲面拟合推荐★★★★☆建立fax2by2cxydxeyffax^2by^2cxydxeyffax2by2cxydxeyf未知数6个。利用3×3共9个点建立方程AxbOpenCVsolve(A,b,x,DECOMP_SVD);得到a b c d e f然后[2acc2b][xy]−[de]\begin{bmatrix} 2a c\\ c 2b \end{bmatrix} \begin{bmatrix} x\\ y \end{bmatrix} - \begin{bmatrix} d\\ e \end{bmatrix}[2acc2b][xy]−[de]即可得到真正峰值。优点x、y同时优化比一维插值更稳定可达到0.01 pixel方法三高斯拟合推荐★★★★★很多模板匹配结果近似Gaussian Peak可以拟合Ae−(x−x0)2(y−y0)22σ2Ae^{-\frac{(x-x_0)^2(y-y_0)^2}{2\sigma^2}}Ae−2σ2(x−x0)2(y−y0)2求x0 y0这是很多HalconVisionProMatrox都采用的方法。优点非常稳定。缺点计算稍慢。方法四Lucas-Kanade优化推荐★★★★★把模板匹配得到的位置作为初值然后最小化∑(I(xΔ)−T(x))2\sum(I(x\Delta)-T(x))^2∑(I(xΔ)−T(x))2不断优化dx dyOpenCV已有calcOpticalFlowPyrLK()以及ECCfindTransformECC()本质就是亚像素模板配准。精度通常0.01 pixel方法五图像放大例如ROI放大8倍resize( roi, roi2, Size(), 8, 8, INTER_CUBIC);再模板匹配。最后位置/8简单有效。方法六FFT相位相关推荐★★★★★如果模板只是平移直接使用cv::phaseCorrelate()返回Point2d就是亚像素坐标精度很高。工业视觉中最常见的实现如果参考Halcon、VisionPro、Matrox MIL等商业视觉库其亚像素模板匹配通常采用以下流程金字塔粗匹配快速确定目标的大致位置。高分辨率模板匹配在原始图像局部区域获得整数像素峰值。亚像素优化对相关性峰值进行二次曲面或高斯曲面拟合得到亚像素偏移。几何优化可选使用高斯-牛顿Gauss-Newton或类似的非线性优化方法进一步估计平移、旋转和尺度参数。这种方案兼顾了速度和精度也是工业检测中最常见的实现方式。如果你需要实现接近 Halcon 的亚像素模板匹配效果我建议采用cv::matchTemplate() 二维二次曲面拟合或高斯拟合。这种方法实现难度适中速度快在图像质量较好的情况下通常能达到0.020.05 pixel的定位精度若结合 Gauss-Newton 或 ECC 进行局部优化在高信噪比条件下可进一步提升到0.01 pixel左右。
