腾讯优图开源业界首个3D医疗影像大数据预训练模型MedicalNet

雷锋网(公众号：雷锋网) AI 开发者按：近日，腾讯优图首个医疗 AI 深度学习预训练模型 MedicalNet （https://github.com/Tencent/MedicalNet）正式对外开源，这也是全球第一个提供多种 3D 医疗影像专用预训练模型的项目。

MedicalNet具备以下特性：

1. MedicalNet 提供的预训练网络可迁移到任何 3D 医疗影像的 AI 应用中，包括但不限于分割、检测、分类等任务；

2. 尤其适用小数据医疗影像 AI 场景，能加快网络收敛，提升网络性能；

3. 通过简单配置少量接口参数值，即可进行微调训练；

4. 项目提供多卡训练以及测试评估代码，接口丰富，扩展性强；

5. 提供不同深度 3D ResNet 预训练模型，可供不同数据量级应用使用。

为了产生 3D 医疗影像的预训练模型，MedicalNet 聚集多个来自不同 3D 医疗领域的语义分割小规模数据集，并提出了基于多分支解码器的多域联合训练模型来解决数据集中的标注缺失问题。

整个系统的工作流程如下图所示：

腾讯团队将 MedicalNet 模型迁移到预训练时未接触过的 Visceral 和 LIDC 数据集中，完成全新的肺部分割和肺结节分类任务，并与目前常用的从零训练（train from scratch）以及 Kinetics 视频 3D 预训练模型在性能以及收敛速度上做了比较。

在肺部分割应用上，相比于 Train from Scratch，MedicalNet 在 Dice 上有 16% 到 33% 幅度的提升，相比于 Kinetics 有 4% 到 7% 幅度的提升。在肺结节良恶性分类应用上，相比于 Train from Scratch，MedicalNet 有 6% 到 23% 幅度的预测正确率（Acc）提升，相比于 Kinetics 有 7% 到 20% 幅度的提升。

在收敛速度上，实验证明，无论是在肺分割任务还是肺结节分类任务上，MedicalNet 均能为模型提供一个较低的初始化损失值，明显加快损失下降速度，下图为 MedicalNet 性能的一个简单示例，展示了在全器官分割应用中，不同预训练方式在一定训练迭代次数下的测试结果。可以看出，基于腾讯预训练模型（MedicalNet）的结果最接近标签（ground truth），且远优于从零训练（train from scratch）的结果。

更多细节请参考论文：Transfer Learning for 3D Medical Image Analysis（arXiv preprint arXiv:1904.00625 (2019).

雷锋网版权文章，未经授权禁止转载。详情见。