1. 自营销首页
  2. 文档

数据清洗:大数据取舍之道

  互联网产品是数据的产生者也是使用者,产品经理们更是大数据在商业应用中的执行者。

     无论在产品创新、预测推荐、营销推广、风险控制、管理运营,还是程序化交易,大数据在不同的产品经理手中都可以像“罗丹”的雕塑一样变得栩栩如生。

1.为什么取舍

     特别是在数字营销中,大数据得到最为明显的价值体现。为了实现互联网的免费模式,基于大数据的广告应用和收入是大多数互联网产品的一大商业模式,有了强有力的市场驱动,数字广告技术公司不断深挖数据的价值,通过将广告交易产品化,传统的广告位售卖模式正在逐步被基于受众定向技术的实时竞价模式所替代。

     广告主利用这种人群定向数据进行广告投放的效果非常好,可是在一段时间过后,虽然cookie仍然有效,但是广告效果却迅速降低。其主要原因就是历史数据的有效性在不断降低,用户要么已经完成了购买,要么购买意向已经转变了。

     而之前获取的用户访问行为数据已经无法对推荐做出贡献。如何让数据发挥最大价值、合理地优化标签模型,就要利用取舍的思想:人是会遗忘的,人会忘记对某类单品或者品牌的好感。虽然获得了用户的访问记录,但价值随着人的遗忘在不断降低。

2.怎么取舍

     产品经理要根据实际的产品来采取对历史数据的“遗忘”,术语一般叫作“衰减算法”。在衰减算法中,遗忘曲线(Forgetting curve或者叫Ebbinghaus curve)最为基础,也很常见。

    《心理学导论》里是这样描述的:“遗忘曲线由德国心理学家艾宾浩斯(H.Ebbinghaus)研究发现,描述了人类大脑对新事物遗忘的规律。人们可以从遗忘曲线中掌握遗忘规律并加以利用,从而提升自我记忆能力。该曲线对人类记忆认知研究产生了重大影响。”

     艾宾浩斯通过试验发现,人在刚刚记忆一组信息时有100%的准确记忆,而20分钟后就只能准确回忆起其中的58%,遗忘的部分不是被完全忘记,就是被错误地记忆了。

     过1小时后只能记忆起44%,9小时后36%,1天后33%,2天后28%,6天后25%,31天后21%。可以看出人们的遗忘是有规律的,遗忘的过程不是均衡的。

     在最初阶段遗忘的速度很快,后来逐渐平稳直到不再遗忘。这正是人与数据技术最大的不同,数据技术有着100%的记忆能力,只要不做任何删除,数据(记忆)就能长时间保存。

     但数据技术的发展是为人类提供服务而不是为了改变人类。除非数据技术具备人类的遗忘和抽象能力,否则提供的服务永远只能停留在存储能力上。

     在有了“数据需要遗忘”这个共识之后,我们利用艾宾浩斯的学术研究成果为理论假设,通过对兴趣标签的计分进行一定的加权处理,再结合商品的生命周期等因素做了一系列的回归实验,得出受众人群对各类兴趣和购买倾向的衰退曲线,利用有规律的时间变化有效地删除老数据,进而实现用户原有兴趣和新兴趣的交替。

     结果我们的模型效率成长迅速,无论是展示广告的点击率,还是商品的购买率,都有了大幅度的提升。

     放弃使用一些看似重要的数据并不会造成损失,反而删除才能带来收获。

     除了数据产品外,这一点和广义上的产品设计也是互通的,将一大堆流行的功能或内容堆砌出来,只会造成用户的困扰,并不会带来产品的提升。

     通过系统的数据挖掘,将功能或者内容进行有效的排序,叠加和收敛一定会很大程度地提高用户的体验。

     比如,微信中对于功能点的陈列,为什么使用率最高的朋友圈被放在第二屏。又如知乎,将回复按照算法排列,让用户优先看到认可度高的内容。

     58同城网更是通过自建模型来净化自身的生态环境,降低诈骗信息的展示机会。优秀的产品无一不进行了艰难的取舍。

总结分析

     有舍有得,不舍不得,大舍大得,小舍小得。舍得是一种人生智慧和态度,是拥有超越境界来对已得和可得的东西进行决断的情怀和智慧。

     如果数据技术或数据的使用者不把数据的“删除”作为提升数据价值的重要途径而一味地采集数据,这将是大数据行业的悲哀,更是人类的灾难。

     有时候尝试舍去一些看似重要的数据,反而能得出意想不到的收获。因为只有了解人性,才能为人更好地服务。

     对于产品经理来说,数据的取舍是一份沉重的思考。在这个数据时代,无论为恶者,还是为善者,都希望获取更多的信息,产品经理们肯定不希望用户删除、屏蔽自己所有的行为,因为产品缺少了数据获取渠道,用户体验会降低,产品的迭代速度会变慢,市场调查会倒退,免费产品数量更会爆减,没有精准广告作为收入支撑,小开发者的动力也会削弱。

     其实,大家不必惧怕隐私的泄露,正因为数据技术的发展,善与恶也更加清晰。越来越多有情怀的产品经理一定会把大数据取舍的艺术发扬光大,从而更好地理解用户和模仿用户的思维。在保护好用户隐私的同时,为用户提供更好的服务。

来源:风如澈,本文观点不代表自营销立场,网址:https://www.zyxiao.com/p/39030

发表评论

电子邮件地址不会被公开。 必填项已用*标注

侵权联系
分享本页
返回顶部