科大讯飞陶晓东：智能影像技术如何解决临床问题？ | CCF-GAIR 2017

2017年7月9日，由中国计算机学会（CCF）主办，雷锋网与香港中文大学（深圳）承办的第二届CCF-GAIR 2017全球人工智能与机器人峰会进入第三天的议程。在下午的未来医疗专场上，科大讯飞智慧医疗事业部总经理陶晓东发表了主题演讲。

雷锋网了解到，陶晓东在演讲中表示，人工智能取代人类工作的说法并不准确，人工智能有所能、有所不能。医疗里面有很多东西不是简单的科学，有很多东西是个人经验，没有办法表示成一个知识让机器学习，至少目前的技术水平上是这样的。

陶晓东认为，通常我们都是片面地去看影像信息，而忽略检查检验的结果，心电图的信息、体温信息等等因素，怎么把这些信息和影像信息结合起来，产生最终的诊断结果，我觉得这是现在人工智能的算法发展遇到的挑战。我们应该更好的利用专家的知识，把机器学习和人工智能建立建立在医学体系上而不是离散的板块上，让这个技术上更有效的解决各种临床问题，去服务于医生。

以下是陶晓东的演讲全文，雷锋网(公众号：雷锋网)做了不改变原意的整理和编辑：

陶晓东：谢谢主持人，谢谢大家！我们听了田教授非常有干货的演讲，下面我给大家的汇报基于我个人在医学影像方面的研究经历，以及在科大讯飞智慧医疗事业部的实践，总共分为三个部分：一是人工智能的大背景；二是医学影像解决临床问题；三是人工智能时代的医学影像应该是往哪些方向发展。

人工智能的三次高峰和两次寒冬

回顾人工智能的三次浪潮，大家都知道人工智能从1956年开始是经历了三次高峰，现在正在处在第三次高峰，同时也有两次冬天。

第一次高峰来源于Perceptron的提出，它解决一些1956年、1957年看来非常难的问题。在这之后，由于计算能力的限制和各种各样数据的限制，大家觉得70年代能实现的人工智能的技术，并没有按照大家的希望到来。1980年左右是第一个冬天。

第二个浪潮的来临是随着Hopfield网络&BP算法的提出，大量计算能力和存储能力得到提升。90年代左右，日本推广做第五代计算机。但第五代计算机的失败，把我们引入第二个冬天。

现在我们身处第三次浪潮，它的起点是2009年提出的深度学习的概念，而且深度学习的概念在今天有很多延伸的算法，而且在不同的领域也有成功的案例，包括最近的AlphaGo。有很多新闻媒体说人工智能是不是真的要取代人类30%、50%、70%的工作。从我个人，包括科大讯飞在这个领域做了很多年人工智能的工作，实际上我们应该有一个比较清醒的认识，人工智能有所能、有所不能。圆桌会议上周院长提出区分医学和医疗，这个观点我非常同意。医疗里面有很多东西不是简单的科学，有很多东西是个人经验，没有办法表示成一个知识让机器学习，至少目前的技术水平上是这样的。

人工智能发展的三个阶段，刚才发布xHealth的时候讲到创业图谱，里面有感知智能、认知智能和运算智能。大家的观点有可能不同，但是很早以前运算智能已经超过人类，感知智能，包括无人驾驶技术和感知器的技术，计算器可以看到我们看不到的东西。从CT的历史，我们也简单回顾一下，核磁成像的发展历程，我们都可以把它归为感知智能方面。认知智能更多是我们今天谈的人工智能，不光是能看到一些信息，看到一些数据，收集一些数据，并且要基于专家知识的层面上理解思考，做出推理，协助人们做诊断治疗。

智慧医疗的“三驾马车”

大家对智慧医疗都有不同的理解，在我们看来智慧医疗离不开以下几点。

行业大数据。这个数据一定要标准化、完整、准确，而且一定要和应用相关。如果没有这些发展，这个数据相对来讲用途会小很多。

行业专家。我们需要有行业专家来指导我们在哪些领域、哪些应用上做，哪些应用对行业是有用的，包括刚才田教授讲的，我们从临床应用出发指导医疗技术的发展。另外在专家的指导下建立知识库，有些知识可以用计算机理解的方式表达出来，有些不可以，我们要把这个东西分清楚。另外应用建立之后，怎么样验证它，这需要专家来协助我们做。

核心技术。从技术开发者的角度看，我们需要更多考虑怎么做到智能化。二是实用，三是留存机制，我们要尽可能少的改变行业专家或者医生的工作流程，真正帮助医生提高效率、提高工作水平。

在这个水平上有不同的用户，基于完整数据、行业专家的支持和先进的核心技术，我们可以服务政府机构，去做政策决策。可以服务医院，做到医院的运营管理；服务医生，通常来讲我们更为关心，尤其像医学影像领域，通常来讲更多是和医生打交道，但是这里面又有更多细分。对三甲医院的顶级医生来讲，这可能是锦上添花的事。基层放射科医生，每天只看四个片子，经验比较少，这就是雪中送炭。大家可以上网查各种各样的信息，管理自己的健康。从体检角度来讲，健康人的一部分医疗影像数据，怎么理解这些影像，从哪个节点开始从健康人变到病人，怎么干预，这是在过去的实践中总结出来的人工智能推动智慧医疗。

影像技术如何解决临床问题？

我想稍微回顾从我个人从业经验还有实践中总结出来的，医学影像怎么解决临床问题，在什么情况下更有效帮助医生解决临床需求。

刚才田教授讲的影像技术要服务于临床需求，有各种各样不同的临床领域，临床医生看到病人要做确定的诊断或者治疗计划，他可能要借助影像手段。这样，临床领域的需求会被转换为影像需求，各种各样的定量分析、历史图像的比较，这是医生所关注的，而且是他们的专业。而这部分影像需求再传递给工程技术人员，包括从事医学影像方面的技术开发人员。我把临床医生、影像医生、工程技术人员放在不同的层级，因为他们三者的专业知识之间有差别。交流过程中，怎么把临床医生的需求转换为影像需求，怎么把影像需求转换为工程技术需求，这是怎样把技术变成服务于临床应用里面非常重要的点。冠状动脉的狭窄程度，这决定怎么治疗，需不需要放支架还是用药物治疗改变生活习惯。从这个角度，影像需求能够非常清楚的显示冠脉，体现斑块和血管的对比，这样就可以看到斑块在血管里面有多大，可以判断需要采取什么样的治疗手段。接着转换为技术需求，需要高分辨率的CT成像。在解决成像的问题之后，怎么完成冠状动脉的分割，冠状动脉分割之后，怎么做斑块检出，这里面有信息化手段。

下面两部分用CT的发展来回顾我们在感知智能领域做的事情。CT的发展，70年代到90年代，从第一代CT到现在大家用的CT，从单层、重建成像24小时到10毫秒以下，把CT影像从实验室里的设备搬到临床可用的设备，这部分是临床驱动。临床需求是影像进步的驱动力，它使CT影像更为广泛应用在临床里面。90年代之后，如果做影像方面的工作，肯定听说过Slice War的说法，这里面有更多的临床需求。16排或者64排一定做不了心脏吗？不完全是，有各种各样的方式做。所以临床应用虽然得到拓展，但是技术需求驱动比临床需求驱动更明显一些，从这个角度来讲，我们可以看到临床驱动对技术发展的巨大推动作用。

智能影像应该解决什么问题？

智能影像应该解决什么问题，智能影像的技术，包括模式识别、成像分析，实际上要解决三类问题：

一是医生没有时间完成的任务。现在成像越来越容易，分辨率越来越高，医生要看越来越多的影像，但是医生需要的不是数据，医生需要的是信息，怎么把这些信息更好的呈现给医生？这是智能影像需要解决的问题。这里面需要更多的自动图像分析工具以及利用人工智能的病灶检出和分析。

二是帮助医生进行定量分析。影像科医生擅长定性分析，看到片子，他在这个片子停留1秒以下就能大致判断是什么问题，但是医生需要一些工具做更精准的判断。定量分析，这是靠眼睛很难做到的，这其中多模态分析，历史图像的比较，包括病人人群的分析，不是简单用眼睛完成的。所以需要田教授讲到的图像分割、图像配置还有功能图像分析。现在越来越多，包括核磁里面有很多序列，每个病人都有多个序列，怎么把不同序列得到的图像放到同一个空间分析，这是影像可以解决的问题。

三是基于图象识别的智能成像，这两个步骤很多年前被分开，成像停留在成像，图像分析是帮助医生解决临床问题。这两个过程，只有结合起来才能更有效的优化系统，帮助医生提供有效服务。高水平的技师缺乏，尤其是基层医院，有重复的成像造成影像资源浪费。还有高级成像的功能使用复杂，包括我们的核磁里面有很多参数需要调整，非常多的序列选择。这些序列和参数，通常给工程技术人才设计，包括你说TR、TE、医生或者技师很难反应出来把TE改变一下，对图像质量有什么影响。影像科的医生有专业知识，从这个角度来讲怎么把这些参数用更好的方式呈现给技师，这是智能成像设备需要考虑的问题，也是智能影像可以解决的工作。

下面有些简单的例子，像CT肺结节的筛查，大家知道体检是在大量的数据人群里面找少量阳性，怎么帮助医生把真正没有阳性，100%确定的数据排出掉，让医生从1万个片子里面找到真正有问题的、需要随访的病人，变成1万个病人里面只需要看5000个片子，这就是50%的选择。还有三维重建，还有可视化，让医生在很短的时间内，不是翻1000张平片，而是从三维图像里快速找到我要的信息。医生需要的工具辅助的任务，包括自动的病灶检出、自动的分析。

像比较小的病灶，刚才田教授讲到，现在很多机器学习人工智能的算法是用医生标注的数据，刚才田教授讲到标注的客观性。当时我们做项目的时候，多发性硬化的标准我们采取传统算法，让医生标注这些记号。因为这个点很小，他们标注的点差别很大，医生标注之后来训练我们的模型。我们对医生的要求很低，只要告诉我这里面有东西，画一个框，我自己找，这就是把很难的问题进行简化，把自动的多发性硬化的病灶自动检出的准确率提高到比医生还要高。自动检出的结果和医生检出的结果，比两个医生的层级都要高。像脑卒中离散的图像分析，判断哪部分脑组织已经坏死，这部分是相对比较定量的分析，机器更擅长这一部分。还有三维超声的情况下怎么精确的测量胎儿的腿骨，从而判断胎龄。还有冠状动脉的分割、分析，这里面实际上有很多智能影像可以解决的问题。

第三部分，基于图像分析的智能成像。高水平技师的缺乏，怎么把相对复杂的成像过程简单化。更多的智能改变和智能定位让成像更规范，让成像质量得到保证。还有智能指控，怎么在病人离开机房的时候，判断是否需要重新扫描某个序列。标准化、个性化，看似很矛盾的成像，但是标准化是指得到的图像需要有一个标准化的质量，但是个性化是根据不同的人，根据他的情况，像CT的图像对于BMI很高和很低的人，它的成像参数有调整、剂量有调整，所以这部分是个性化，通过个性化来实现图像质量的标准，通过智能的手段来帮助医生和技师选择成像的参数，各种各样的在线帮助，帮助相对没有经验的基层医生成和三甲医院一样的影像。

把机器学习和人工智能建立在医学体系上

人工智能时代，到底医学影像有什么样的变化？医学影像的分析和成像到底有什么变化？我们简单梳理一下。影像在临床诊断的过程，左边是临床医生和病人问诊的过程，通过临床信息、病史采集、检查检验的结果，发现需要做影像，这个影像的需求会到影像科，技师通过影像手段呈现出来各种各样的图像，影像科的医生会出影像的报告。影像报告需要和临床医生讨论，这里面要从影像信息和临床信息做交换，产生最终的临床报告。传统的影像角度里，我们关注的是橙色的Box里的步骤，我只关注order满足他的影像，到底用什么参数去成像，保证图像做得好。我辅助放射科的医生读片，帮助他更有效的在短时间内出高质量的影像报告。但是智能影像在圆桌会议的时候，大家想把医疗向两端延伸，我们也需要两端延伸，首先理解临床医生为什么要做这个order，临床医生和他沟通的时候，到底怎么把临床的信息解读出来，不仅是更高效的影像报告，而且是更高效的临床报告，对后面的治疗有指导意义的临床报告。所以这里面需要有影像信息和各种各样其他信息的整合，不光是看影像。

田教授讲到影像标准化做得比较好，但是通常我们停留在影像信息上，而忽略其他信息，包括病例信息、检查检验的结果，心电图的信息，体温的信息等等，怎么表示这些信息和影像信息结合起来，产生最终的诊断结果。我觉得这是现在人工智能的算法发展遇到的挑战，怎么把这些信息表示出来，让计算机在这些信息中学习。

框图示意，从海量影像数据、大量临床信息怎么表示出来，用专家的知识通过学习算法，中间的这部分算法不一定非常重要，因为很多算法在不同的应用场景里都有很多不同。左下角的医生的专业知识，目前大家仍然是用标注的图像，我最后得到系统的输出是你告诉我这是肺结节，我找到看到很像，但实际也是肺结节，基于图像，没有太大区别。它可能达到95%、90%的检出率，但是没有办法解释给你听这为什么是肺结节，他没有告诉你这个肺应该长成这样，在CT的影像表现下是这样。这里面怎么更好的利用专家的知识，而不是把整个机器学习和人工智能建立在离散的板块上，而是建立在医学体系上。让这个技术上更有效的解决各种临床问题去服务于医生。

在座的除了专业的摄像师，大概都是用自己的手机在照相，而且成像一样非常清楚。我们要思考怎么把成像设备的操作简化到任何一个基层医生和技师都可以做。另外要将深度学习和人工智能建立在医学知识的体系上，而不是简单、离散的训练数据上。在目前的情况下，一个是自下而上的模型，一个是自上而下的模型，我们仍然需要一些知识体系去把他们更好地结合起来。

另外需要更深入的临床导向，我们要非常清楚的定义临床的应用，这部分需要和行业专家和临床专家磨合，才能做好这部分。只有定义清楚问题，我们才能想到好的方法解决这个问题。怎么把影像和临床信息结合起来。临床信息在某种意义更杂乱无章，标准化程度也相对比较低，各个医院之间的差距比较大，怎么结合这些东西，清洗各种各样的大数据，在这种基础上做学习，更好的服务医生的诊断治疗的过程。

我的汇报就到这里。谢谢大家！

。