Reproduce LD in yolov8?

[wangtao2668129173]

感谢您的工作，在这里我有几个问题想和您交流以下：
①我目前在yolov8上采用VOC数据集分别训练学生和老师模型，分别选择pos位置的cls和reg distribution分别为main kd,main ld，如果按照原论文设置会导致kd loss特别大，因此我设置kd参数为weight: 0.25,T=2,ld依然是0.25，T10，模型只涨了0.6%
②yolov8由于适用TAL，对于valuable region loss不太好选择
问题1我尝试调了几次参数就是不太work
请问大佬有啥意见吗

[wangtao2668129173]

大佬，最近又反复调了下，之前选择学生模型并没有学习能力，现在换了大一点模型，目前是涨一个点，发现一个奇怪的问题，学生模型太关注老师模型的精准度，召回率我这边考虑将剩下的负样本带进去蒸馏看看，不知道还有哪些可借鉴

[HikariTJU]

1. 试下coco， VOC本身在我们的实验里提升就不是很大
2. 脱离科研太久了没怎么看新论文，TAL是什么？一种类似ATSS的Assign方式吗，如果是Assigner,那不就应该有正负样本么？
3. 你说的可借鉴是指什么？

[wangtao2668129173]

好的 我准备在VOC试了有效再搞COCO，tal是正负样本匹配的方式主要没有阈值概念，可能时半会还没有想出获取valuable negtive region办法，我们只蒸馏正样本区域，并没有考虑到怎么召回更多的围绕再gt周围的anchor

[HikariTJU]

1. 有一个东西叫minicoco，训练也挺快的。VOC和COCO很有可能最佳的参数不一样，导致最后还是需要在coco调参
2. 最简单的办法是用全部的负样本， 也就是下图=0的情况，也能有不少的提升
   

PS: 说一个无关的小技巧：蒸馏的时候把DFL关了可能会有惊喜

[wangtao2668129173]

hhh 这么刺激，我试一下

[wangtao2668129173]

大佬，我最近复现特征蒸馏非常不顺利（yolov8上），能加个微信聊聊吗，我发过您邮箱

[HikariTJU]

没收到你的邮件， 2668129173是你的qq吗

[wangtao2668129173]

大佬有空的适合加一下，我的微信号wangtao2668129173

[aowuaaa]

大佬我最近也在v8上搞蒸馏，能否参考下是如何添加蒸馏部分的 代码

[blue-q]

@wangtao2668129173 大佬，您现在yolov8蒸馏搞得咋样，想跟您学习下

[wangtao2668129173]

@wangtao2668129173 大佬，您现在yolov8蒸馏搞得咋样，想跟您学习下
实验结果在VOC 数据集非常有效，但是coco 只对精准度有用，整体指标提升没有VOC明显。还有就是目前yolov8 检测器参数量比起mmdetection 检测模型还不太够，能起效的方法其实并不多。以及rtmdet 、damoyolo 有些蒸馏方法为啥起效其实迁移到yolov8基本上会不起效，这里面我觉得是哪些前提鲜有人闻。总之，检测蒸馏有好用的论文，欢迎大家都推一推，目前检测蒸馏现有方法都不太理想。

[blue-q]

@wangtao2668129173 大佬，您现在yolov8蒸馏搞得咋样，想跟您学习下
实验结果在VOC 数据集非常有效，但是coco 只对精准度有用，整体指标提升没有VOC明显。还有就是目前yolov8 检测器参数量比起mmdetection 检测模型还不太够，能起效的方法其实并不多。以及rtmdet 、damoyolo 有些蒸馏方法为啥起效其实迁移到yolov8基本上会不起效，这里面我觉得是哪些前提鲜有人闻。总之，检测蒸馏有好用的论文，欢迎大家都推一推，目前检测蒸馏现有方法都不太理想。

大佬我加你微信了