数据验收被领导挑战?推荐一套方法论助你顺利通关!

这是小狐的第3篇原创

新功能上线后,产品经理一般会对新功能进行数据验收及汇报,以验证数据效果及指导下一步的方向。

但是你有没有遇到数据验收被领导挑战的情况?比如领导说你得出来的数据结论不客观,因为没有排除XX变量的情况;比如你只分析了过程指标,缺少分析结果指标等。没关系,笔者总结了一套新功能上线的数据验收方法论,供你参考。希望能助你做到数据分析客观、全面、彻底,尽量减少被领导挑战。

一、上线前的准备

1.设计实验组与对比组

设计实验组与对比组的作用是控制变量,保证数据验收的客观性。

1)实验组要求

除了新功能这一个变量,其他的变量尽量与对比组保持一致,其他变量包括时间、渠道、用户状态等。客群数量方面,要足够说明效果(一般需要1万以上的客群);

2)对比组要求

没有新功能的变量,其他变量与实验组保持一致。客群数量方面,如果数据验收受客群数量影响,则实验组与对比组的数量要基本一致;

3)分组切量方法

如果仅是上线了一个新功能,需要新版与旧版进行对比,可采用灰度方法,通过控流开关实现控量分组;如果是要做多个方案的对比测试,则可采用A/B测试方法,通过接入吆喝科技实现(如果开发资源充足,当然可以自己开发A/B测试功能)。

4)案例

某产品为提升登录转化率,接入一键登录SDK,新功能是一键登录。实验组为可使用一键登录及传统登录的客群,对比组为只能使用传统登录的客群。实验组和对比组可按2:8的比例,按客户号尾号切量。(实际上新功能刚开始灰度时,需要先切小部分量测试,因为担心影响已有功能的数据)

2.指标体系建立

1)确定业务目标

比如提升某个功能的转化率、提升某个业务的收入、提升功能留存等

2)按用户路径拆解数据指标

用户数据:功能入口的流量、用户分群等

行为数据:每个环节的行为转化数和转化率,例如功能使用的用户数、功能点击率、付费率等

业务数据:付费人数、收入、千次曝光收入等

3)数据指标再次细分

以上拆解的数据指标,为方便后面的深入分析,还可以按用户属性或事件属性再次拆解。例如按用户属性拆解,借款产品则可区分授信通过户、授信拒绝户;按事件属性拆解,区分登录方式、区分渠道等。

4)案例

某借款产品为提高交易率,规划一个预约借款功能。业务目标是提高交易率,指标体系为:用户指标为预约借款曝光人数;行为数据为预约借款开启率、预约借款取消率、预约借款平台通过率、预约借款放款成功率等;业务数据为预约借款放款成功人数、预约借款额度等。

3.提供埋点

1)埋点规范确定:埋点组成是页面+操作+区分类型的字段

2)前端埋点和后端埋点:结果性事件一般前后端都埋,包括成功事件、失败事件(失败还要埋失败原因);过程性事件一般是前端埋点。

3)上报时机确定:大多数埋点的上报时机是比较显而易见的,所以文档里可以不用强调,比如曝光、点击的埋点。但是像上报时机有多个的情况,则需要跟开发明确。比如失败事件,是后台返回失败才算失败,还是前端抛出失败提示就算失败。

二、上线后的观察与分析

1.分析新功能效果

1)上线后对比数据是否符合预期

同期对比:实验组与对比组同期整体对比,看分组的重点业务数据提升或降低效果。比如看某个功能的转化率或某个业务的千次曝光收入等。基本上从同期对比就可以大概分析出数据结论,可以得出新功能对业务指标是起到正向还是负向的影响。

前后对比:已经有同期对比了,前后对比还需要吗?答案是某些场景下需要。因为同期对比一般来说,需要开发做灰度切量的功能支持,即在保留旧功能的基础上,新增新功能。所以如果新功能效果是显而易见的,且灰度功能做起来比较耗资源,大多数产品经理就会放弃灰度,选择上线后全覆盖,通过前后对比来看数据效果。

2)上线后分析新功能是否带来长期价值

一般来说,新功能只要看是否满足业务目标就足够了,但是这样我们就只关注到短期价值,没有关注长期价值。一个好产品需要具备对用户有效用、对企业有收益、可持续这三个属性。

所以我们还要放宽视角,关注新功能的精准留存。产品经理需要拉长时间周期,看用户对新功能有没有持续买单。如果用户有持续使用新功能,那说明新功能具备长期价值,值得继续深挖;如果用户只使用一次新功能,那说明产品经理对需求把控没有到位或新功能没有很好地满足用户需求。

3)上线后探索新功能的更多可能性

除了看新功能是否符合预期、是否具备长期价值,还可以详细分析新功能本身的数据,得到下一步优化的方向或获得需求洞察。比如用漏斗分析看每一步的转化率,分析漏损在哪里;比如分客群看使用新功能的情况,分析哪个客群是新功能的核心客群;比如看用户使用新功能的频率和时间分布,分析用户对新功能的使用习惯。

2.分析新功能带来效果的原因

一般来说,分析数据背后的原因,分为客观原因和主观原因。

1)客观原因

由于改变客观环境,带来的数据变化。比如缩短用户操作路径,减少用户操作;优化页面布局,使主要功能更聚焦;优化性能,提高接口返回数据速度,降低失败率;增加场景,提高曝光从而提高收入等;

2)主观原因

由于改变用户的主观意愿,带来的数据变化。比如增加奖励刺激,提高用户参与欲望;优化素材投放,提高用户点击欲望;客群本身的质量原因等。

3.制定后续规划

根据新功能的数据结论及原因,确定接下来是要继续优化还是改变方向。继续优化一般是继续保留新功能,下一步计划是放量或优化后放量;改变方向是现有功能没有符合预期,但是从现有数据获得新洞察,可以换个方向尝试。

大家好,我是狐檬,具有千万级互金产品和运营经验,微信号yll67816153,欢迎找我沟通

发表评论

登录后才能评论
联系客服
联系客服
分享本页
返回顶部