原视频地址
OK那么接下来呢我想向大家逐一介绍一下
在预测模块这个prediction pipeline整个框架里
我们一般会涉及到啊哪几个呃
model呢一般是可以被分为四个模块
第一个模块是agent的图
Agent interaction model
第二个模块是agent to learn intellection model
然后第三个模块呢是temple protest module
第四个模块是umadam a model
Future out to put the model
呃
我们刚刚有提到过
鬼畜和轨迹预测的输入由啊哪些组成
就是那么我们接下来所要思考的就是
我们如何要我们
我们如何在我们的这个prediction模型中呃
据构建啊
呃这些模块来去学啊
对构建哪些模块来学习
我们刚刚提到过的那些输入啊
以及这些输入啊背后潜在的啊隐私的信息了
那么第一个模块呢
呃我们可以把它叫做agent agent introduction module
呃
就是为什么我们需要这个模块呢
首先它这个模块是用来学习啊
呃交通参与者之间啊
和各个物体之间的一个交互信息的
然后为什么要有这个模块呢
呃我们可以举个例子
比如说我们在啊知行的道路上
执行的一个交通场景里啊
前后有两辆车啊
比如说后面那辆车想要换到超过啊
前面那辆车
那么这时候两辆车它各自的啊
决策和规划都可能会受到另外一辆车的
决策和规划的影响
那么我们怎么去提取这个啊影响的特征呢
我们就要去设计这样一个啊
agent to agent的这个啊interaction的模块了
然后它的作用呢就是用来捕获交通场景中啊
不同的物体之间的相互作用
比如说物体间的相对位置呀啊相对运动啊
都有可能影响到他们未来的危机
那么呃这个模块通常会呃
有有有有有什么神经网络构成的啊
比较经典的模块啊
有比如说graphy and i was是图神经网络
还有一些我们非常熟悉的
比如说啊attention mechanism
就是那个呃对立机制
那么我们来看看第二个模块
第二个模块呢是agent to learn ink lution model
这个模块呢它是嗯用来学习物体和车道线之间
这个潜在的一个交互的道路线
对我们之前有提到过
道路2hd map中的道路线和道路线
对于物体来说是有一个非常重要的物
物体的未来国际是一个非常重要的影响的
因为道路线他对啊
嗯对道路线对物体的啊行为的影响
大概可以体现在以下几个方面
第一呢我们可以啊根据社会车
他当前所处的一个啊得到来
大致对大致来判断他未来会同哪些车道呃
对他未来走的这些车道进行一个推理
比如说啊我们的我们向光而观测的一辆预测车
好像在路口的一个右转道
那么它在未来是不是就比较有可能进行一个
右转的行为
第二点
道路线呢也在一定程度上会约束啊
社会车的行为
比如说啊一辆社会车
它现在是在一个直行的单行道上
那么它呃
大概率就是不太可能进行一个U转来逆行
然后第三点呢
比如说嗯背景预测车当前所处的
抽到它的前面有一个啊红绿灯
然后刚好在他行驶到这个车道的时候
红绿灯还变红了
那么我们这个预测
他大概率是会在路口前停下来的
就他不会去闯红灯
所以说呃哦大海的还有比如说还有一个第四点
第四点嗯
比如说啊我们的预售车里的司机
如果他不喝酒的话
他开的这个就说呃
他开的这个车通常是不会穿越障碍物
或者一个花坛啊
绿地啊等等
因为这些其实是啊一个不可行驶的区域嘛
所以呃道路线呃
抱歉
地图这对啊
车辆的行为是有很强的形影信息的
那么这个模块我们可以用哪些
经典的模型去学习呢
嗯首先它这个地图它是一个非常复杂的一个
集合的结构吧
但是呢如果我们可以把嗯
这个地图变成一个BV视角下的图片
那么我们就可以用很多呃卷积神经网络啊
邪N去学习那个地图的拓扑信息啊
直线卷积神经网络是呃各类的卷积网
卷神经网络已经是个非常成熟的技术了
那么此外呃除了道道路拓扑信息
我们要如何去学习啊
这个交通参与者中
交通交通参与者在这个呃地图啊
在这个交通场景中与地图的交互呢
那么我们而agent agent这个model一样
我们也可以使用
二图个跟跟他一样的图层
经网络以及注意力极致
接下来我们来看个第三个模块
就是MLO啊
不tech model
那么这个模块呢它也很好地理解
我们需要用它来护理每个物体
比如说车辆啊
行人啊
它的一个持续的数据来学习他们的
历史运动轨迹并进行一个编码
从而来获得物体的DYNAMIX的一个动态性呃
因为物体的运动历史轨迹一定程度上呢
它就会约束且暗示他未来的一个走向的
比如说一辆社会车
他啊
过去的国际是在右转
且他当前的右脚是朝左的
其他的ELLA也是朝左的
那么它在未来其实就很大概率会嗯
继续继续左转啊
那么
也就是说物物体的未来的状态
它通常是和它的历史状态有一定有很强的
呃关系的
然后我们我们可以用哪些模块去学习啊
这个TEEMPEROR的一个depend on型呢
我觉得大家可能很快又会想到啊
比如说有STM啊
或者说最爱油
他们就他们两个是会被很经常的使用到啊
持续任务中的啊
一个两个二
两个安N模型
那么第四个模块呢
它是一个啊多模态的未来输出模块
这个部分呢我在最开始有和大家提到过
就是一个物体
它在未来有可能呈现出多种模态呃
再举个例子
比如说一辆车
它现在行驶在车道上
然后他看到他前面有辆车开的很慢
所以那么他其实有两种选择
一他也埃德尔曼
然后和前面这辆车保持一定的距离
也就是说他在做一个LGP的这样的一个啊行为
或者说他实在觉得前面那辆车开的太慢
他不想跟在他后面
那么他就要啊进行一个换道
来超过它前面那辆慢车
然后他这时候的行为其实就是一个人劝阻
所以他其实这时候就体现出来了
两种不同的模态
再比如说一辆车
他在路口
那么当它靠近路口的时候呢
如果德字路口啊
那么假设没有红绿灯约束
它
在未来就有可能进行左转啊
右转啊
自信啊
或者右转就会有更多的啊
我太了
所以我们需要一个按
我们需要用一个模块来表征一个物理物体
它在未来可能呈现的多种模态
然后比较经典的模型啊
所以说这个的过程
其实我们一般会用一个呃概率分布来混合的
概率分布来表现
和一个混合的概率分布来表现
这个呃这种多模态
然后比较经典的模型呢
就比如说有啊
追mm就是高阶misha model的一个混合高斯的模型
然后呃在这里我给大家画了四个示意图
然后第一个图呢它就代表了呃
agent到agent的一个交互
然后第二个图呢
它就展示了一个gent到他旁边的
练的像这么的一个交互
然后第三个图呢
它代表这蓝色的线呢
代表的是物体在过去的轨迹
然后第四个图呢就是啊呃呃每个物体呢
它在它代表它在未来有可能啊展现出来的
Former time
呃
这么画出来我觉得大家会更好
应该会更容易的去理解每个模块
它具体代表的是一个啊怎么样的一个含义
当然我这里只是和大家笼统的讲了一下
这些模块呃
为什么要有这些模块
那么这些模块它具体啊是什么
然后具体可以用哪些呃呃哪些新的方法
哪些更先进的方法啊
然后具体是怎么实现的
我会在后续的课程里跟呃给大家更详细的介绍