协方差

协方差定义

$X,Y$是两个随机变量，$X,Y$的协方差covarianxe定义为

$$cov(X,Y) = \mathbb{E}[(X-\mu_x)(Y-\mu_y)]$$

其中，$\mathbb{E}[X]=\mu_x$

协方差矩阵定义

这里默认每一行是一个观测值，每一列是一个随机变量

$$\mathbf{X} = \begin{bmatrix} a_{11} & a_{12} & \dots & a_{1n} \\ a_{21} & a_{22} & \dots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \dots & a_{mn} \\ \end{bmatrix}_{m \times n} = \begin{bmatrix} \mathbf{x_{1}} & \mathbf{x_{2}} & \dots & \mathbf{x_{n}} \\ \end{bmatrix}$$

协方差矩阵为

$$cov = \frac{1}{m-1} \begin{bmatrix} cov(x_1,x_1) & cov(x_1,x_2) & \dots & cov(x_1,x_n) \\ cov(x_2,x_1) & cov(x_2,x_2) & \dots & cov(x_2,x_n) \\ \vdots & \vdots & \ddots & \vdots \\ cov(x_m,x_1) & cov(x_m,x_2) & \dots & cov(x_m,x_n) \\ \end{bmatrix}$$

从这里也可以看出

• 协方差矩阵是对称矩阵
• 对角元素就是随机变量的方差variance $$cov(x_i, x_i) = var(x_i) = \mathbb{E}[(x_i-\mathbb{E}[x_i])(x_i-\mathbb{E}[x_i])]$$

例子：

$$\mathbf{X} = \begin{bmatrix} 1 & 2 & 3 \\ 3 & 1 & 1 \\ \end{bmatrix} = \begin{bmatrix} \mathbf{x_{1}} & \mathbf{x_{2}} & \mathbf{x_{3}} \\ \end{bmatrix}$$

• 求每个随机变量的均值

$$\mathbf{\bar{x}} = \begin{bmatrix} \bar{x}_{1} & \bar{x}_{2} & \bar{x}_{3} \\ \end{bmatrix} = \begin{bmatrix} 2 & 1.5 & 2 \\ \end{bmatrix}$$

• $\mathbf{X}$的每一列减去均值

$$\mathbf{X} = \begin{bmatrix} -1 & 0.5 & 1 \\ 1 & -0.5 & -1 \\ \end{bmatrix}$$

• 计算协方差矩阵

$$cov = \frac{1}{m-1}\mathbf{X}^T \mathbf{X} = \frac{1}{2} \begin{bmatrix} 2 & -1 & -2 \\ -1 & 0.5 & 1 \\ -2 & 1 & 2 \\ \end{bmatrix}$$

协方差的意义

在图中的区域（1）中，有$X > \mathbb{E}[X], Y > \mathbb{E}[Y]$，所以$(X - \mathbb{E}[X])(Y - \mathbb{E}[Y]) > 0$
在图中的区域（2）中，有$X < \mathbb{E}[X], Y > \mathbb{E}[Y]$，所以$(X - \mathbb{E}[X])(Y-\mathbb{E}[Y]) < 0$
在图中的区域（3）中，有$X > \mathbb{E}[X], Y>\mathbb{E}[Y]$，所以$(X - \mathbb{E}[X])(Y - \mathbb{E}[Y]) > 0$
在图中的区域（4）中，有$X > \mathbb{E}[X], Y > \mathbb{E}[Y]$，所以$(X - \mathbb{E}[X])(Y - \mathbb{E}[Y]) > 0$

• 当$X$与$Y$正相关时，它们的分布大部分在区域（1）和（3）中，小部分在区域（2）和（4）中，所以平均来说，有$\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])] > 0$

• 当$X$与$Y$负相关时，它们的分布大部分在区域（2）和（4）中，小部分在区域（1）和（3）中，所以平均来说，有$\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]< 0$

• 当$X$与$Y$不相关时，它们在区域（1）和（3）中的分布，与在区域（2）和（4）中的分布几乎一样多，所以平均来说，有$\mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])] = 0$

所以，我们可以定义一个表示$X, Y$相互关系的数字特征，也就是协方差

$$cov(X,Y) = \mathbb{E}[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])]$$

• $cov(X, Y) > 0$时，表明$X$与$Y$正相关
• $cov(X, Y) < 0$时，表明$X$与$Y$负相关
• $cov(X, Y) = 0$时，表明$X$与$Y$不相关

这就是协方差的意义