吆喝科技-柏利锋：以AB测试发现真实的用户体验

用最小的代价试验你想改进的方法是否真的有效，从而抓住用户体验，这就是A/B测试带给我们的最大价值。小流量用户试错、快速迭代、实现互联网业务确定性增长，4月13日，在由中国金融集中采购网和金融科技创新学院联合主办的“2018中国金融科技创新发展论坛“上，来自吆喝科技的专家为大家带来了无数个AB测试提升APP用户转化的案例，就“如何利用AB测试发现真实用户体验”做了深度解析。

以下内容为柏利锋先生本次演讲实录：

留住用户的关键是用户体验

对于银行等金融行业的零售业务，先天就有数字化、线上化的特征。但今天，我们互联网或移动互联网业务面临发展的天花板。整体互联网流量趋于饱和，没有那么多互联网的新用户了，流量成本越来越高、获取越来越难。广告的点击与APP下载的成本比越来越大，现在一个金融类App的下载成本要近300元。那么今天看一下互联网明星公司在这种形式下有什么高效的方法？

现在互联网用户大部分是年轻人，他们是互联网的原住民，他们喜欢玩、娱乐，喜欢尝试新鲜事物，还很自我，很个性化。“他们根本不在乎你，他们只在乎他自己”是他们鲜明的标签。作为银行也好，证券、保险也好，为了更好要服务好他们，我们金融行业也开始尝试各类创新：社区、个性化的推荐、积分、商城、智能化客服，甚至加入视频、直播等娱乐场景，我们试图通过这些方法吸引并留住用户。相信在座多数企业也或多或少在这些道路上进行着探索。但我们花那么多成本投入，这些尝试有效吗？它对你的拉新、留存用户，交易的促成带来实质的增长了吗？

我们从用户的视角看一下，下面是从几个银行、证券的App截屏的有关用户的评价。

我们付出了很大的成本、花了很长的时间，在很多创新的场景，构建了很多创新的应用。但当我们满心期待这些创新为我们业务带来增长时，用户却因为功能缺陷，如“西联汇款更新之前很好用，更新之后消失了，现在回来了但每次提交都提示收款人信息不全……”和技术技术缺陷而要离开我们；因不愉悦的使用经历，而去寻找更有愉悦使用感的友商……

而优秀的友商，却因一个“右滑返回”的功能，获得用户赞赏的极佳的用户体验赢得客户的点赞。

怎样做好用户体验？

有什么有效的手段能做好用户体验？我们看一下互联网是怎么做的？做一个产品，过去的做法是轮子、底盘、车棚、样式都是设计完后直接造出来，当发现车不好卖时就重新来过。互联网产品的迭代是先最小可用，再快速试错、不断迭代。
互联网产品的一个核心的能力是根据用户反馈，要快速拿到用户反馈、要能低成本低风险拿到用户反馈。

怎么拿？这里有一个典型的场景：一个证券类的App，上一个股票市场的手动刷新功能，因为这个APP日活跃用户大概在70、80万，这个刷新上去第一天很多人喜欢用，如果我们准备的计算及网络不够，点击会出现卡顿、死锁等糟糕的体验；如果我们准备了很大的计算及网络资源，但发现上线的很少人用，造成我们投入成本的巨大浪费。面临这样的困境，我们一般会怎么去处理？我们自己的APP上线以后总还能不断发生用户说体验不好，有缺陷。

l  互联网明星公司的APP，我们为什么很少感受过他们的APP有bug，他们是怎么做到的？

l  Aribnb登录界面上，谷歌和Facebook的账号，那个放在上面？我们平时会关注这样的细节吗，这样的区别对用户体验与登录通过率指标有影响吗？真实的情况是把Facebook的帐号放到上面，登陆率提高了60%。

l  墨迹天气，通过更改分享图标使分享点击率提升20%

l  Expedia，交易结算环节，去掉一个公司名称的输入框，每年多实现超过1200万美金定单；

这些互联网公司，找到这些优化点的方法就是A/B测试。

我简单跟大家说一下AB测试：为解决一个问题，我们设计A方案和B方案，当然还可以有C、D、E方案，让有代表性小量用户分成不同组、 在不知情的情况下让不同的组使用A、B、C等方案，收集各群组的用户体验数据和指标数据，找出优秀的方案，再发布给全量用户，保证确定性的指标增长。
这就是A/B测试。所以我们可以把它看作一个线上实验室，让你用最小的代价试验你想改进的方法是否真的有效，从而抓住用户体验。A/B测试已经是很多互联网公司的公司策略和企业标准。今日头条通过大量A/B测试持续找出最优秀的推荐算法，携程的无A/B测试，不调整的企业文化；有AB测试，实现确定性增长。

AB测试在金融领域的应用

AB测试应用在两个领域，一个是解决技术的bug、功能、逻辑错误等App发版安全问题；另外一个是服务业务，服务用户获取、激活、留存、交易、传播各个环节的转化率。A/B测试在金融界也开始广泛使用，如果去网上搜的话，看到汇丰在数据分析、运营的有些岗位的招聘，要求必须具备AB测试的能力。国内金融行业，也逐渐开始研究和应用AB测试。比如平安证券、泰康在线等已经大量在做这方面的工作。

下面介绍一些A/B测试的应用案例：

1，刚才讲过的证券App手动刷新功能的灰度发布

2，某个风控模型的AB测试。因为他们要做小额贷款，原来大额贷款的风控模型非常复杂，团队希望简化，但是简化以后，又不知道会带来怎样的影响。
于是他们跑了个A/B测试，试验的结果发现简化后的风控模型，在逾期率、违约率的指标上简化的试验版本出人意料的降低了。这就是A/B测试的价值。

3，还有一些看起来不太起眼改变，可能带来非常大效果。这是滴滴一个线上招募找车司机的A/B测试，实现20%左右的转化率优化。

4，证券App开户尾页交叉销售理财产品，横屏Banner与直接列表显示的A/B测试试验，对于获客转化的不同。

5，招商信诺，保险测算页，是否要增加一项“期望保障年限”的A/B测试，发现测算点击率降低了32%。

最后我还是跟大家讲一句话，这是无数人证明了这条实实在在的规律：我们不能只站在自己的立场，不能理所当然假设用户想要什么，我们应该想的是用户喜欢什么，而不是我们认为用户喜欢什么。AB测试是解决这个问题有效的方法。

为了改善一件事，我们采取行动，微软的总结是，这些行动中60%—90%是无效的。

我的分享就到这里，预祝各位金融行业的相关团队，通过A/B测试实现用户体验的持续优化和业务的持续增长！ 谢谢大家！