YOLO-实例分割头
记录
介绍实例分割头的 网络结构，以及在推理阶段后处理流程
1.对三个特征图P3,P4,P5的处理及输出
对于目标检测头Detect 和 实例分割头Segment 其输入都是一样，三个不同通道数，不同长宽的特征图输入。
即三个输入为：
分割头部分
最后得到分割头的输出（上图最右边）
在拿到分割结果后，使用该结果进行后处理，得到最终输出结果
1.特征层输入
输入三个特种层P3,P4,P5
P3 （1,64,80,80）
P4 （1,128,40,40）
P5 （1,256,20,20）
期间经过一条转置卷积上采样 HW从 80x80 变为160x160
第二条支路，输出掩码系数
内部包含三条小支路，
将三个输入的特征图通道数转换为
P3： 64 --》32
P4: 128--》32
P5: 256--》32
第三条支路，原来目标检测任务中的检测头 Detect
将Detect Head结果进行后处理 输出为 （1,84,8400），以及原来的三个输出结果
将三个支路的输出进行整合，输出两个结果
结果1
x[0],mc
x[0]=116= 80个类别+4bbox+32mc (原型掩码·）
结果2
x[1],mc,p
检测头输出、原型掩码、掩码系数
上述图：左图代表第一条支路，右图代表 第二条支路
2.后处理
一组掩码系数为32个， 表示对于32个通用形状基底的权重， 每个实例掩膜是32个通用形状的加权和
针对分割头（有两个输出）的第一个输出，使用NMS， 将8400检测实例 剔除部分后，仅保留5个（这里是举例子，具体结合实际），38表示 x1,y1,x2,y2,confidence,class, 32个掩码系数
将32个原型掩码 乘以 掩码系数（160x160=25600）, 进行加权和操作 @ -->得到（5,25600），再经过view得到 （5,160,160）， 至此得到5个实例（object）的mask
（这个有些晕了，不清楚是否正确）
将 5个实例的bbox (5,4) 与 5个实例的mask (5,160,160)
进行crop_mask操作
crop_mask
将落在bbox的mask进行保留， 落在bbox以外的maks进行去除
然后对bbox里面的mask进行 阈值截断，bbox内部mask的数值：0~0.5的置0， 0.5~1置1
效果如下：
白色对图像右下角的人的一部分像素
原来mask尺寸为160x160,经过双线性插值上采样，得到mask为640x640
个人：
看完了，但是比较疑惑？
1.原图如果为1280x720, 是不是实例分割效果会比 原图为640x720会差一些，因为将1280x720压缩到640x640， 则1280x720中的小像素目标可能会有信息丢失，
2.该怎么改进分割头呢？加上深度可分离卷积吗？ 类似yolo11的detect head
问题后续看看，查看是否有答案？（）
参考资料：
bup-Enzo-Mi
yolo 实例分割 ｜ Segmentation Head 结构 与 推理阶段后处理流程_哔哩哔哩_bilibili
