向量投影是线性代数中很重要的应用,它用于找到向量到目标投影空间中的投影向量。以三维空间为例,目标投影空间可以是线,也可以是面。线性回归是常用的数据统计分析手段,用于分析自变量与因变量的关系。线性回归求解过程与统计基本上没有关系,可以用线性代数的向量投影计算系数。当变量的系数计算完后,系数的显著性检验与统计相关。

投影矩阵推导

设向量b投影到C(A),这里很有必要假设A的列向量线性独立,因为如果A的列向量线性相关,投影的结果实质上是不受影响的,但是线性依赖的列向量会很大程度的影响计算,所以假设A的列向量线性依赖,后面会看到为什么需要这样假设。

p=Pb=Ax^是向量bC(A)中的投影,P是投影向量,x^b投影到C(A)中的A列向量的线性组合。那么e=bAx^属于C(A)的正交补里面,也就是属于N(AT),所以

ATe=0AT(bAx^)=0ATbATAx^=0ATb=ATAx^(ATA)1ATb=x^p=A(ATA)1ATb=Ax^

令投影向量P=A(ATA)1AT,此公式中包含(ATA)1,由于之前已假设A的列向量线性独立,所以ATA的逆必存在

投影矩阵性质

  • 如果A是方正,且满秩,那么P=I。推导:P=A(ATA)1AT=(AA1)((AT)1AT)=I。如果C(A)可以支持整个空间,那么任何向量自身就是C(A)的投影。
  • P2=P。推导:P2=A(ATA)1ATA(ATA)1AT=A(ATA)1(ATA)(ATA)1AT=A(ATA)1AT=P。投影一次后,再次投影不会有加成效果。
  • PT=P,对称。推导:直接利用转置与逆的互换性质。