对话码隆科技 CTO 码特：应对商品识别独有挑战，技术研发实力是根本

雷锋网(公众号：雷锋网) AI 科技评论按：随着人工智能的发展步入加速期，以计算机视觉为代表的人工智能技术也逐渐落地到行业场景中，开始在安防、教育、金融、物流等行业大显身手，并从中衍生出一批新的应用场景，如新零售、无人驾驶等等，在科技巨头以及人工智能初创企业中都激起了千波浪。

然而，行业应用场景中的一系列计算机视觉底层技术，仍存在较大的挑战，就比如说商品识别技术，相较于人脸识别、场景识别等技术相比，它因其特殊属性而面临着其独有的挑战，比如商品包装雷同问题、商品上新问题等等，对于该细分行业的玩家在技术实力以及技术产品化方面都提出了更高的要求。

作为一家在商品识别领域深耕四年多的创业公司，码隆科技凭借其在行业内深厚的技术积累以及丰富的产品商业化经验，业已成为该细分领域的领先者。本次，雷锋网 AI 科技评论聚焦 AI 商品识别技术这一主题，与该公司的 CTO 码特（Matt Scott）进行了一次对话，码特也从码隆科技在技术研发、产品化方面积淀下来的经验出发，为大家分享了在商品识别这一细分领域中的一些思路。

应对商品识别的独有难题，技术研发实力是根本！

码隆科技成立于 2014 年，在当时无论是科技巨头还是人工智能创业公司纷纷青睐人脸识别、自动驾驶等领域的背景下，创立之初便另辟蹊径，选择了商品识别这一赛道，而这一开始也为码隆科技此后在该领域的发展赢得了先机。

对于公司成立之初的这一决定，码特回忆道：「当四年前我们刚刚成立并做出这个决定时，还没有其他公司完全专注于人工智能商品识别这一领域。在这五年的时间里，我们专注技术研发，并同时兼顾核心科研成果的实际场景落地，可以说，如今即便在世界范围内，我们都是将深度学习技术应用于商品识别这一领域的引领者。虽然在该领域，我们目前也面临着一些竞争对手，但是码隆在研发、工程、数据和国际客户、合作伙伴方面，都有着先天优势。」

而实际上，相比于一般场景中所用到的人脸识别、场景识别而言，商品识别技术存在许多其独有的难题，在场景落地中面临着更大的挑战，对此，码特详细介绍道：「例如，商品有海量的库存单位（SKU, Stock Keeping Unit），其中有很多都是细粒度的，存在的差异是很难分辨出来的。不仅如此，即使是同一种商品或者库存单位，在不同的情境下也有可能呈现出非常不同的外观，比如针对同一种商品的电商卖家秀和买家秀，往往外观效果大有不同。此外，商品识别技术还需要解决的一个基本问题是：因为商品外部包装经常更新，需要保证高效的库存单位更新能力，也就是上新的问题。」

对此，码隆科技倚靠扎实的技术研发实力，从不同的技术路径来解决这些问题。「比如针对商品上新问题，我们自主研发了弱监督学习算法 CurriculumNet，能够有效处理有噪音数据和数据不均衡的情况，让我们仅需 20 张图像数据进行训练就能取得与训练成百上千张图像相同的效果，从而极大地减轻了其数据收集和标注的压力和成本。另外对于不同商品的包装相似问题，我们研究的细粒度分类（Fine-grained Classification）技术能够让 AI 系统做出判断达到与人类根据视觉观察做出正确判断同样的水准，在某些场景中，机器识别的正确率甚至更高。」

零售是最优先落地商品识别技术的行业

作为一家注重商品识别技术研发和商业化并驾齐驱的公司，码隆在技术产品化方面也是不遗余力地投入。自创立以来，码隆科技打造了一系列 AI 商品识别产品，其中就包括其最早大众化的产品——商品识别基础技术平台 ProductAI®️。

据介绍，ProductAI® 集成了包括商品图像的搜索、检测、分类、分析、标注以及色彩分析和文字识别等多种基础技术，涉及弱监督学习、课程学习、目标跟踪、细粒度分类、物体检测等等的计算机视觉核心算法。「同时，码隆科技也正在进行前沿深度度量学习（Deep Metric Learning）的研究，作为细粒度分类、检测和追踪技术的补充。现在这些算法都已应用于图像或视频处理的商品识别场景。」

在场景中的实际落地情况，以智能货柜为例，其在整个流程中充当的角色是：对消费者来说，该技术主要用于自动结算这一环节，可以根据消费者的拿取商品前后的变化识别出消费者具体购买了哪些商品，并以此为依据进行结算；对商户来说，一是商品识别技术能够使商家实时了解智能货柜的运营状态，二是后台会有销售大数据分析系统，可以为商家提供一些销售洞察作为决策参考，如哪些商品在什么样的布点位置销售情况更好等等。

对于码隆的商品识别技术的整个落地情况，码特介绍道：「线上和线下零售是我们最优先落地的场景。在线下零售方面，我们目前将智能货柜作为实体零售的主要落地场景，此外还有商超资产保护、智能称重等应用场景。而在线上零售方面，我们的商品识别技术也已经通过 API 调用的形式赋能了很多电商平台和时尚应用。」

作为在该行业有着合作伙伴积累的码隆来说，在 AI 商品识别技术的场景落地合作伙伴的选择上，也有着自己的考量点 ：「我们的策略是选择那些垂直行业的龙头玩家去进行合作，他们能在更宏观的角度看待产业发展，深知行业痛点，同时对新技术的布局意识也更胜一筹。比如，在将商品识别与智能货柜结合的探索中，我们选择和世界顶级冰柜制造商海尔进行合作。在 AI 技术落地的过程中，一定是有很多困难的，这就需要行业内的厂商相互配合、各自发挥优势进行一点一点地打磨。」

不断用现有的学术基准来测试、挑战自己的技术

作为一家以技术研发为长的公司，码隆科技也时刻关注着学术界在该领域的动态，比如包括细粒度分类、弱监督学习、深度度量学习以及检测追踪算法等等。同时，码隆也会紧随学术动态，将自己的研究成果搬到学术界去进行测试：一方面是通过学术界一系列商品识别评估标准进行自我检验；另一方面，码隆科技也乐于向 CVPR、ICCV 和 ECCV 等计算机视觉世界顶级行业会议投递论文，去接受该领域的国际权威评审。

例如，在 CVPR 2019，码隆科技就发表了一篇关于多相似度损失的论文：「Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning」。据码特介绍，该论文提出使用 GPW（General Pair Weighting）框架来从底层来理解图像检索中的损失函数，并在该框架下提出了多相似度损失（Multi-similarity Loss, MS Loss）函数，显著提高了图像搜索的性能——该损失函数在世界上所有主要的图像检索基准上都获得了领先的结果。

不仅如此，码隆科技甚至还创建了自己的评估标准。「今年，我们举办了一项有关商品识别的比赛 iMaterialist Challenge on Product Recognition，截至目前，全球已有近一百支代表队参赛，比赛结果将在 CVPR 研讨会上公布。在比赛中，我们开放了史上数据量最大，商品种类最多元的数据库，比赛涵盖 2019 个 SKU 超过一百万张图像数据，每个 SKU 都有超过 200 张图片，是 CVPR 迄今数据规模最大、种类最多的商品识别竞赛。同时，我们也和谷歌研究院一起合作将该挑战赛列入了谷歌 CVPR 研讨会『the Sixth Annual Workshop on Fine-Grained Visual Categorization』的一部分。」

商品识别技术未来发展的期望

作为前微软亚洲研究院高级研发主管、现任码隆科技 CTO 的码特，在其学生时代就已在计算机视觉领域勤耕，如今选择聚焦商品识别领域展开研究，对于这项技术未来的发展自然充满了期待：「与计算机视觉其他相关任务一样，我们同样也期待机器能够在这一细分领域以超越人类的水平实现持续学习和推理。未来，这项核心技术将会对零售等行业带来变革性的影响，在让商业更加高效运营、提升利润的同时，也改变和优化人们购物和生活的方式。」

而具化到码隆科技上，码特表示，现在和未来，码隆科技依旧会聚焦于商品识别这一领域，同时会不断开发和优化相关的底层算法，并以此为基础推动技术与更多行业的结合，最终落地到实际场景中给人们带来便利。此外，码隆科技也从研究层面去探索该技术在其他行业应用中更多的可能性，而具体的细节，也将会在不久后对外公布。 雷锋网

。