使用image-text pair数据+anation数据训练的2阶段检测模型FastRCNN,具有开集检测能力

1、动机

引入image-text pair LAION-400M数据集，训练开集检测模型

2、模型

2阶段检测模型Fast RCNN，分类层换成CLIP模型text encoder生成分类器
针对image-text pair数据集LAION-400M利用方式的问题，区别于OVRCNN，使用self-training方式，为image-text pair 数据生成box伪标签，然后进行训练

2.1 RPL(Region Prompt Learning)

分类使用CLIP的text encoder生成的text encoding, 由于CLIP预训练text encoder对齐的image是场景为中心的，不是目标检测需要对齐的object为中心的，因此使用Prompt方式进行微调

2.2 训练过程

• 1、RPL:LVIS base 类别数据训练Prompt，train prompt by crop image from LVIS base 类别,注意这里的crop不是按照gt的wigth和heigh直接crop，而是都放大了3倍，而且每类取200组。
• 2、sourcing：按照PRL得到的prompt和knn索引从LAION-400M构造LAION-novel数据集，该数据集每novel类选择300张图片作为训练集用于后续self-training(数据筛选方式是通过 CLIP计算image embedding和每个类别的RPL的text embedding，每个类别去相似度得分最高的Top K，实验证明K越大效果越好，最终选300.注意这里是用RPL和CLIP image encoder在整图的image embedding去计算相似度，通过这种方式选出以object为中心的那些图片)
• 3、迭代执行第1和第2步（实验表明迭代提点），第二步需要找到base 类别的图片，然后用LVIS base类别+第二步新找到的base类别图片，有会到第一步做RPL,更新prompt,继而继续更新LAION-novel数据集
• 4、一个learning schedule：LVIS-base image训练Fast RCNN 6 epoch，然后用LVIS-base+LAION-novel训练6 epoch，然后训练6 x learning schedule

3、效果

LVIS：

COCO:

4、消融实验

4.1、RPL

文本prompt有用，RPL更有用，这里应该是RPL和souring迭代后的RPL，从下面第二个表格看不迭代性能比原来还差

4.2、Proposal选择

proposal框的选择方式，框的置信度最高的选择方式最好

4.3、LAION-novel每张图片生成伪box个数

按照以上置信度选择top20最好

4.3、LAION-novel每类图片个数

结论是每类图片越多越好

4.4、self-training组件是否训练

RPN和bbox head都需要训练