数字摄影测量编程与实习

又是编程作业。

工程文件请见：数字摄影测量

影像匹配

相关系数+最小二乘匹配

Mat相关知识

行列与坐标的对应关系，经常容易混

opencv影像矩阵Mat的rows对应y方向，cols对应x方向。

构造Mat时，rows在前，cols在后：
```
c++
Mat(int rows, int cols, int type);
```
使用Mat::at<_Tp>时，rows在前，cols在后：
```
c++
intereMat.at<int>(row, col);//也就是(y,x)
```
使用坐标时，顺序是正常的：
```
c++
Point2f point=Point2f(x,y);
```

数据类型

变量类型	大小	范围	Mat中对应的数据类型
uchar	8bits	0~255	CV_8U
char	8bits	-128~127	CV_8S
ushort	16bits	0~65535	CV_16U
short int	16bits	-32768~32767	CV_16S
int	32bits	-2147483648~2147483647	CV_32S
float	32bits	1.18e-38~3.40e38	CV_32F
double	64bits	2.23e-308~1.79e308	CV_64F

表格不全，但基本上可以看出类型的规律，数据类型以CV_+位数+有无符号(+波段数)组成。使用Mat::at<_Tp>时变量类型要与Mat的数据类型对应。

在数据类型后加上C1，C2，C3，可以指明Mat存储数据的波段数，此时变量类型使用对应的向量类型，源码如下。

c++
 typedef Vec<uchar, 2> Vec2b;
 typedef Vec<uchar, 3> Vec3b;
 typedef Vec<uchar, 4> Vec4b;

 typedef Vec<short, 2> Vec2s;
 typedef Vec<short, 3> Vec3s;
 typedef Vec<short, 4> Vec4s;

 typedef Vec<ushort, 2> Vec2w;
 typedef Vec<ushort, 3> Vec3w;
 typedef Vec<ushort, 4> Vec4w;

 typedef Vec<int, 2> Vec2i;
 typedef Vec<int, 3> Vec3i;
 typedef Vec<int, 4> Vec4i;
 typedef Vec<int, 6> Vec6i;
 typedef Vec<int, 8> Vec8i;

 typedef Vec<float, 2> Vec2f;
 typedef Vec<float, 3> Vec3f;
 typedef Vec<float, 4> Vec4f;
 typedef Vec<float, 6> Vec6f;

 typedef Vec<double, 2> Vec2d;
 typedef Vec<double, 3> Vec3d;
 typedef Vec<double, 4> Vec4d;
 typedef Vec<double, 6> Vec6d;

特征提取

采用的是 Moravec 特征提取算法，为了使经验阈值能不受窗口大小变化的影响，算法中计算兴趣值时进行了归一化（除以了窗口大小）。

最小二乘匹配

最小二乘匹配的前提是要有近似的匹配点作为初值。因此，需要先进行相关系数匹配之后，才能开始最小二乘匹配。

几点需要注意的地方
- $\cfrac{\partial g_2}{\partial x_2},\cfrac{\partial g_2}{\partial y_2}$ 要怎么求？
  
  虽然是对 $x_2,y_2$ 求偏导，但实际上要理清楚，求导是在 $g2$ 的影像上直接通过 $\cfrac{g_2(x+1,y)-g_2(x-1,y)}{2}$ 计算，与 $x_2,y_2$ 是无关的，更不要用 $g_2$ 几何纠正之后的图计算偏导数。
- 插值公式
  
  课件上的插值公式图中的 $x$ 轴和 $y$ 轴与 opencv 上的是相反的。
- 未知数更新的式子很奇怪
  
  和正常情况下的线性化然后更新的过程不一样，但是实际上确实收敛了。
代码太乱，不放上来了

核线重采样

使用"水平"影像法制作核线影像，卫星摄影测量中讲得很仔细。

水平影像纠正关系

在解析摄影测量中，我们学习过倾斜影像与水平影像的关系，这种关系是基于共线条件方程建立的

\begin{equation} \begin{bmatrix}X-X_S \\\ Y-Y_S \\\ Z-Z_S\end{bmatrix} =\lambda R \begin{bmatrix}x \\\ y \\\ -f\end{bmatrix} \end{equation}

若要建立与水平影像的关系，就应该找到两者之间的联系——倾斜影像和水平影像对应的像点具有相同的地面坐标。

需要注意的是水平影像与倾斜影像的外方位线元素是相同的（纠正前后投影中心位置是不变的）

\begin{equation} \begin{bmatrix}X-X_S \\\ Y-Y_S \\\ Z-Z_S\end{bmatrix} =\lambda_n R_n \begin{bmatrix}x_n \\\ y_n \\\ -f_n\end{bmatrix} \end{equation}

两式联立，求得

\begin{equation} \lambda_nR_n\begin{bmatrix}x_n \\\ y_n \\\ -f_n\end{bmatrix} = \lambda R\begin{bmatrix}x \\\ y \\\ -f\end{bmatrix} \end{equation}

对于水平影像，其 $R_n$ 是单位矩阵。

\begin{equation} \begin{aligned} x_n&=-f_n\cfrac{a_1x+a_2y-a_3f}{c_1x+c_2y-c_3f}\\\ y_n&=-f_n\cfrac{b_1x+b_2y-b_3f}{c_1x+c_2y-c_3f} \end{aligned} \end{equation}

平行于基线的影像纠正关系

课本中所谓的“水平”影像实际上指平行于基线的影像。关系式依然是式（3），但是 $R_n$ 不能简单地用单位矩阵表示。而是应该根据基线计算出一个旋转矩阵，使得经这个旋转矩阵旋转后，影像恰好能平行于基线。

\begin{equation} \begin{aligned} x_n&=-f_n\cfrac{m_{11}x+m_{12}y-m_{13}f}{m_{31}x+m_{32}y-m_{33}f}\\\ y_n&=-f_n\cfrac{m_{21}x+m_{22}y-m_{23}f}{m_{31}x+m_{32}y-m_{33}f} \end{aligned} \end{equation}

卫星摄影测量课程中这种核线重采样方法讲得很详细，但是具体如何计算旋转矩阵，还是要靠自己理解，否则计算的角度可能正负会反。

建立了关系之后，利用间接法，对原始影像进行内插，灰度赋值，完成核线重采样工作。

目录