一个讲的很好的线性代数关于矩阵空间的视频链接
hello
大家好
今天我们再来讲一期
关于线性代数的基础内容的串讲
串讲的内容呢还是基于mit的gilbert rain教授
他的经典的线性代数的课程
gill在他的一个introduction to linear
algebra的一个经典教材中呢
它使用了四种空间作为它的一个封面
我们今天主要的目标呢就是说从零基础开始
尽可能的去理解这四种空间之间的一个关系
本次视频的一个参考核心呢
就是给他在网上给出的一个只有几页的一个
pdf的讲义
但是这篇论文呢他写的非常的简略
对于初学者来说有一点难懂
我们今天的目标就是来对它进行一个解读
one one one one one one
首先我们来看向量
我在这里有两个向量
a与b在一个二维的空间中
它的做它的坐标是x1 y一与x2 y2
一般在线性代数中
向量默认都是列向量
我们可以使用右上角标
大写的t将这个列向量进行转置成一个行向量
然后对于两个向量之间
我们有最基本的操作
就是向量的内积啊
它也可以写成一个行向量
与一个列向量之间相乘
或者就是干脆就是两个向量相乘这样的形式
它们的结果都是一样的
对于线性代数向量的长度是可变的
我们可以将长度从二拓展到一个不确定的数n
对于长度为n的两个n维向量
它的一个内积的代数形式也是不变的
虽然我们人类无法直观理解高于三维的空间
但是很多的代数运算在低位中成立
在高位中也是可以证明成立的
在高中物理中
我们接触到两个向量的内积呢
其实就是他们两个的长度的乘积
再乘以他们的一个夹角的余弦值
也就是说对于a与b的内积
它也相当于a的长度
再乘以b在a方向上的一个投影的长度
一般来说
如果两个向量的内积为零
并且它们的长度都是不为零的
那就说明这个夹角是90度
也就是说两个向量是垂直的
这个结论也被拓展到了高维的向量运算之中
进一步的在线性代数中
我们一般默认规定向量都是从原点出发
指向一个坐标点啊
这样我们就可以很方便地把向量的箭头
简化为空间中的一个点
也就是说在这个二维空间中
向量a它一定是处于xy两个实数轴构成的
一个平面之中
对于高维的向量
我们也可以用一个高维的空间来表示
所有向量的一个集合
而所谓的矩阵
它不过就是将向量并排的摆在一起
构成了一个二维的数组结构
我们下面以矩阵a
一个三行四列的矩阵来进行举例
对于这个矩阵你有两种理解它的方法
它可以是四个列向量横向的进行排布
也可以是三个行向量竖向的一个堆叠
对于第一种方式
四个列向量的排布呢
我们可以研究ax等于b的问题
x跟b都是一个列向量
所以根据定义x是4x1的
而b是3x1的向量
我们这里可以把向量与矩阵的乘法
看成是这样的
相当于x一倍的100加上s2 倍的010
加上x3 倍的240
加上x4 倍的350
其中的每一项x我们都可以认为它是一个时
任意一个实数变量
所以这个矩阵a它的实际作用就相当于
你输入了一个长度为四的列向量
得到了一个长度为三的列向量
你可以理解为矩阵a在这里是一个线性映射
将一个四维空间映射到了三维空间
假设a与b是已知的
你也可以将ax等于b理解为一个方程组
求解的问题
下面的问题就是说如何对x进行求解
x是否真的有解
为了研究这个问题
我们首先要来理解什么是线性生成空间
幸运的是
我们这里的列都是长度为三的
它是在三维空间之中可以可视化的
假设这个三维的坐标系是w1 w2 w3
我在这个示意图中依次画出了这个列向量
它的大小与方向
可以看到他们只是在w1 w2 这个平面中
而与纸面垂直的这个w3 平面的
他们是无论如何也不可能通过线性组合到达的
所以说这四个向量
它的线性组合的一个表达是这样的
它只能处于w1 w2
并且过零点的这个平面中
我们可以叫它列向量组成的线性生成空间
这个空间我们命名为column space
列空间简写是c
括号a我们也可以知道它的维度是二
简写为dem c a等于二
它这个子空间本身是处于一个三维空间之中
所以我们也可以表达为
ca是属于r3 的空间之中
作为一个抽象的示意图
我们可以画出这个倾斜的方块
来代表这个裂空间
也就是说
列空间包含了所有可行的
b的一个值的一个集合
下面我们来看行空间y乘以a乘以c
其中外语c是行向量
这个乘法可以理解为y一倍的第一个行向量
乘以y2 倍的第二个行向量
乘以y3 倍的第三个行向量
这个时候的a呢相当于你输入一个y
一个三维的向量
得到了一个c4 维的向量
它相当于从三维映射到了一个四维
而这三个行向量的线性生成空间呢
因为y3 对应的是一个零向量
所以很容易知道它的线性空间
是一个四维中的一个二维空间
这里你通过观察a矩阵的转置的一个列空间
就等于原来a的行空间
所以我们在记录的时候
只需要将它简写为ca的转置
也就是说它等于转置的列空间
同样的它的维度也是属于二
而它是属于一个四维的空间之中
我们可以在示意图的左边标上另外一个方块
写上c a的转置
也就是行空间
它是处于四维空间之中
我们之前的航空间与列空间
他们都没有充满整个三维与四维的空间
也就是说还存在着一些方向
是这个子空间相垂直的
我们来研究这种情况
首先我们来研究ax等于零的问题
对于ax等于零
通过这里观察非常好理解
x乘以第一个行向量等于零
x乘以第二个行向量等于零
2x乘以第三个行向量等于零
这三个内积都等于零
也就是说
如果x不是零向量
则它必须与这三个行向量相垂直
进一步的它与整个航空间也相垂直
而对于ax等于零的问题
x构成的所有的解
这些所有的解它也构成了一个自己的空间
相当于它是以行向量空间相垂直的一个空间
我们把它叫做零空间
no space简记为n a这里的行空间与零空间
它构成了在这个四维空间中
互相垂直的两个空间
且他们的维度之和为四
同样的我们来研究这个y乘以a等于零的问题
y乘以a等于零
也就是说y是垂直于每一个列向量的
我们把列向量标上颜色
并且把它画在示意图中
所以说y只能到一个与列空间相垂直的空间
我们在这里把它叫做左零空间
left no space
通过简单的运算
可以看到
a的左零空间
其实相当于a的转置的一个裂空间
所以我们把它记为n a的转置
它与列空间一起构成了一个三维的向量空间
所以说
一般我们在求解一个ax等于b的方程的时候
我们把它理解为ax等于b加上零
其中ax等于b的部分
可以有一个x一的一个解
而ax等于零的话
可以写成拉姆达加上x2
我们可以把这个列向量x的解
分成一个落在零空间中的部分
以及落在航空件中的部分
只要x在航空间中
它的投影是x1
那ax一定是等于b的
而最好的情况就是拉姆达等于零的话
x等于x1
他这个解是长度最小的
一般可能也是最有意义的一个解
所以说我们通过观察ax等于b
x向量落在零空间的部分呢
不会参与到这个乘法之中
而只有落在航空间的部分
会参与到这个乘法之中
也就是他在航空间上的投影会参与到乘法之中
下面我们来看s v d single value deconversation
也就是其值分解
一般我们可以写成这样的形式
m乘n的矩阵a乘以一个n乘n的正交矩阵
v等于一个m乘m的正交矩阵
u再乘以一个m乘n的一个对角线矩阵
它只有在对角线上数字是可以不为零的
它的非对角线位置上的数字都为零
对于这样一个矩阵
我们是可以把它拆开来看的
也就是说a乘以v一就等于u乘以sigma 1
r a乘以v2
就等于u乘以sigma 2
以此类推
一直到a乘以vr等于u乘以sigma r
其中这个r也是它这个矩阵的秩
从r加一到n的列矩阵呢
它的乘积都等于零
怎么来说呢
我们来看这个v一的矩阵
它其中包含了n个列向量
他这些立项要多满足一个性质
首先它们的长度都为一
其次他们两两的内积都为零
也就是他们是互相垂直的
所以这样构成的一个正交矩阵
它的每一个列向量它都相当于一个呃
相当于类似于一个单位的坐标系
所以说矩阵a构成了一个n维空间中的一个
类似于单位坐标系的概念
我们管它叫做止音哦
不我们管它叫做基basis
你可以类比为一个单位的坐标系
我们可以将v的v中的列向量与u中的列向量
把它列到我们之前的这个示意图中
可以看到v一到v r是在行向量之中的
而v r加e到vn它会落在零向量之中
u向量呢对于u一到u r
它会列落在列向量之中
而u2 加一到它会落到左零向量之中
通过矩阵a呢作用于v1
它一定会到达这个u一的方向
而sigma一只不过是一个乘积的个数
也就是说
a乘以v一的结果的方向是在u一上的
以此类推
一直到a乘以vr
它的方向会到ur上
这就是非常神奇的
它相当于矩阵a作用到了一个g上
完成了一个从航空间的机映射到列空间的基上
它是一个一一独立的一个映射的关系的过程
他也说明了
为什么行空间与列空间的它的维度是相同的
在我参考的这个gilbert string
他写的这个小论文中
他在这里也引入了一个修doinverse matrix
也就是记录为a的加号
它是一个伪逆矩阵的概念
它要满足a乘以a加号
再乘以b等于b这样的一个条件
也就是说针对ax等于b呢
我们求解的x的结果是a加号b
也就是说我们在这个示意图中
首先通过a从v一向量到达u一向量
而逆矩阵的作用呢是从u一向量
再反推至v一向量
所以说不难发现
我们可以给a的伪逆矩阵的一个条件进行列出
就是像这个样子
其中a加号乘以u的r加一
因为落在子左零空间
它进行逆运算的话
他不应该落到行空间
所以等于零
所以说svd分解呢
它也对你进行逆矩阵的运算
提供了一个很好的一个线索
如果你知道这个伪逆矩阵的值
它是非常有用的
所以说我们在这里结论有三个性质
首先是原来a的左零空间呢
它应该是它应该是a加矩阵的一个零空间
我们可以把这个图反过来看
我们通过这个方法求解出来的x等于a加上b
它应该是a as等于b的一个呃
最短的一个解
它没有落到宇航空间垂直的这个零空间之中
所以说就相当于我们刚刚的
拉姆达等于零的情况
第三点呢就是很有意思
就是我们用a加乘以a再乘以b
先从mv空间映射到n维空间
再从n维空间映射回mv空间
通过这个操作作用在这个相当b之中呢
我们相当于是完成了向量b在这个列
向量n a上的一个投影
如果a是一个3x4的矩阵
它的伪逆矩阵应该是一个4x3的形状
它不必拘泥于普通的逆矩阵
就是必须是一个方阵
你只需要理解他每一步操作的一个含义即可
你最不需要关心的就是说
它具体是如何用什么样的算法去球的a加号
因为有很多的计算机程序来完成这个操作
而且这是很多的一个数学家
进行了一个研究的内容
而对于百分之90 95%的人员来说
你只需要知道这个运算的物理含义就可以了
所以说在这里
他提出的伪逆矩阵有很多优秀的运算性质
所以说呢我在这个视频中
已经把这个论文的主要的
所有的论点都总结进来了
你可以自己去读这篇论文
然后也欢迎你把你自己的所思所想
分享到评论区
希望这个视频对你的线性代数学习有所帮助
谢谢大家
我们下期再见