微信「扫一扫识物」 的背后技术揭秘

微信邦

作者：breezecheng，腾讯 WXG 应用研究员

微信扫码已经深入人心， 微信扫物 12.23 日 ios 版本正式上线，从识别特定编码形态的图片(二维码/小程序码/条形码/扫翻译)，到精准识别自然场景中商品图片(鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他商品)，有哪些难点需要去克服? 扫物以图片(视频)作为媒介，聚合微信内部有价值的生态内容如电商，百科，资讯进行展示， 会催生哪些新的落地场景?本文将细细道来.

一. 扫一扫识物概述1.1 扫一扫识物是做什么的?

扫一扫识物是指以图片或者视频(商品图：鞋子/箱包/美妆/服装/家电/玩具/图书/食品/珠宝/家具/其他商品)作为输入媒介来挖掘微信内容生态中有价值的信息（电商+百科+资讯，如图 1 所示），并展示给用户。这里我们基本覆盖了微信全量优质小程序电商涵盖上亿商品 SKU，可以支持用户货比 N 家并直接下单购买，百科和资讯则是聚合了微信内的搜一搜、搜狗、百度等头部媒体，向用户展示和分享与该拍摄商品相关的资讯内容。

微信「扫一扫识物」 的背后技术揭秘

图1. 扫一扫识物功能示意图

百闻不如一试，欢迎大家更新 ios 新版本微信 → 扫一扫 → 识物自行体验，也欢迎大家通过识物界面中的反馈按键向我们提交体验反馈。图 2 即为扫物实拍展示。

2. 扫一扫识物实拍展示

1.2 扫一扫识物落地哪些场景?

扫一扫识物的目的是开辟一个用户直达微信内部生态内容的一个新窗口，该窗口以用户扫图片的形式作为输入，以微信生态内容中的百科、资讯、电商作为展示页提供给用户。除了用户非常熟悉的扫操作，后续我们会进一步拓展长按识图操作，将扫一扫识物打造成用户更加触手可及的运用。扫一扫识物的落地场景如下图所示，主要涵盖 3 大部分：

a.科普知识。用户通过扫物体既可以获得微信生态中关于该物体相关的百科、资讯等小常识或者趣闻，帮助用户更好的了解该物体；

b.购物场景。同款搜索功能支持用户对于见到的喜爱商品立即检索到微信小程序电商中的同款商品，支持用户扫即购；

c.广告场景。扫一扫识物可以辅助公众号文章、视频更好的理解里面嵌入的图片信息，从而更好的投放匹配的广告，提升点击率。

1.3 扫一扫识物给扫一扫家族带来哪些新科技?

对于扫一扫，大家耳熟能详的应该是扫二维码、扫小程序码，扫条形码，扫翻译。无论是各种形态的码还是文本字符，都可以将其认为是一种特定编码形态的图片，而识物则是识别自然场景图片，对于扫一扫家族来说是一个质的飞跃，我们希望从识物开始，进一步拓展扫一扫对自然场景图片的理解能力，比如扫酒，扫车，扫植物，扫人脸等等服务，如下图 3 所示。

微信「扫一扫识物」 的背后技术揭秘

图3. 扫一扫家族
二. 扫一扫识物技术解析2.1 扫一扫识物整体框架

下面我们为大家重点介绍扫一扫识物的完整技术实现方案，图 4 展示的是扫一扫的整体框架示意图。该框架主要包含 4 大部分：

1）用户请求环节；

2）商检离线入库环节；

3）同款检索+资讯百科获取环节；

4）模型训练部署环节。

四大环节抽取核心技术模块可以总结为三个，即为数据构建、算法研发、平台建设，我们将一一道来。

微信「扫一扫识物」 的背后技术揭秘

图4. 扫一扫识物整体框架

数据构建

AI 时代数据为王，数据构建的目的就是为了更好的服务于 AI 算法，比如对于用户请求图、商家入库图都需要进行主体检测、类目预测、特征提取，都需要有高质量的训练数据来支撑检测模型、分类模型以及检索模型。一言以蔽之，数据决定了整个扫一扫识物性能上限。

算法研发

算法研发是为了充分的利用已有的数据，为识物的每一个环节如检测、类目预测，检索特征提取都在精度、速度上到达最优的折中，从而实现用户任意商品请求都能获得精准的同款召回，以及更加相关的资讯展示。算法研发的好坏决定了扫一扫识物的性能下限。

平台建设

无论是数据建设，算法研发，模型上线都离不开一个好的平台支持，我们为扫一扫识物从数据清洗，模型训练，部署，上线打造了一个完整的平台。可以说，平台建设关乎研发效率，决定了扫一扫识物能否实现上线。

2.2 扫一扫识物数据建设

扫一扫识物数据构建分为两大块，一大块是用于模型训练的训练数据建设，另一大块则是支撑用户任意商品检索请求的线上检索库构建。