PromptDet: Towards Open-vocabulary Detection using Uncurated Images


使用image-text pair数据+anation数据训练的2阶段检测模型FastRCNN,具有开集检测能力

1、动机

引入image-text pair LAION-400M数据集,训练开集检测模型

2、模型

2阶段检测模型Fast RCNN,分类层换成CLIP模型text encoder生成分类器
针对image-text pair数据集LAION-400M利用方式的问题,区别于OVRCNN,使用self-training方式,为image-text pair 数据生成box伪标签,然后进行训练

2.1 RPL(Region Prompt Learning)

分类使用CLIP的text encoder生成的text encoding, 由于CLIP预训练text encoder对齐的image是场景为中心的,不是目标检测需要对齐的object为中心的,因此使用Prompt方式进行微调

2.2 训练过程

  • 1、RPL:LVIS base 类别数据训练Prompt,train prompt by crop image from LVIS base 类别,注意这里的crop不是按照gt的wigth和heigh直接crop,而是都放大了3倍,而且每类取200组。
  • 2、sourcing:按照PRL得到的prompt和knn索引从LAION-400M构造LAION-novel数据集,该数据集每novel类选择300张图片作为训练集用于后续self-training(数据筛选方式是通过 CLIP计算image embedding和每个类别的RPL的text embedding,每个类别去相似度得分最高的Top K,实验证明K越大效果越好,最终选300.注意这里是用RPL和CLIP image encoder在整图的image embedding去计算相似度,通过这种方式选出以object为中心的那些图片)
  • 3、迭代执行第1和第2步(实验表明迭代提点),第二步需要找到base 类别的图片,然后用LVIS base类别+第二步新找到的base类别图片,有会到第一步做RPL,更新prompt,继而继续更新LAION-novel数据集
  • 4、一个learning schedule:LVIS-base image训练Fast RCNN 6 epoch,然后用LVIS-base+LAION-novel训练6 epoch,然后训练6 x learning schedule

3、效果

LVIS:
PromptDet: Towards Open-vocabulary Detection using Uncurated Images
COCO:
PromptDet: Towards Open-vocabulary Detection using Uncurated Images

4、消融实验

4.1、RPL

文本prompt有用,RPL更有用,这里应该是RPL和souring迭代后的RPL,从下面第二个表格看不迭代性能比原来还差
PromptDet: Towards Open-vocabulary Detection using Uncurated Images
PromptDet: Towards Open-vocabulary Detection using Uncurated Images

4.2、Proposal选择

proposal框的选择方式,框的置信度最高的选择方式最好
PromptDet: Towards Open-vocabulary Detection using Uncurated Images

4.3、LAION-novel每张图片生成伪box个数

按照以上置信度选择top20最好
PromptDet: Towards Open-vocabulary Detection using Uncurated Images

4.3、LAION-novel每类图片个数

结论是每类图片越多越好
PromptDet: Towards Open-vocabulary Detection using Uncurated Images

4.4、self-training组件是否训练

RPN和bbox head都需要训练
PromptDet: Towards Open-vocabulary Detection using Uncurated Images

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/279992.html

(0)
上一篇 2022年8月11日
下一篇 2022年8月11日

相关推荐

发表回复

登录后才能评论