指标不是用户

为什么优化指标会阻止你看见用户

指标不是用户插图

概要： 古德哈特定律和坎贝尔定律表明，指标如何逐渐偏离现实。当团队过于追逐某个数字时，这个信号不再代表用户，而是开始奖励那些让仪表盘发生变化的行为。

在某个时刻，你的团队决定用某个指标来判断产品是否运转良好。也许是日活跃用户数，也许是留存率、NPS（净推荐值）、会话时长，或某种参与度评分。这个选择是合理的。这个数字看起来足够接近你所关心的东西。然后它成了目标。人们开始朝着它努力。我见过这种情况在冷静、理性的会议中发生，而这正是问题的一部分。

在这个过程中，没有人宣布，那个数字不再是信号，而是开始驱动工作。

没有一个清晰的失败点可以在事后圈出来。它发生在冲刺评审、路线图会议和 A/B 测试汇报中。没有人说他们想停止关心用户。这个度量慢慢变成了目标本身，而背后的人开始从对话中淡出。仪表盘看起来很健康。产品可能并非如此。

数字不再显示用户

经济学对此有一个清晰的名称。当一个度量变成目标时，它就不再是一个好的度量。经济学家 查尔斯·古德哈特 在 1975 年研究货币政策时发现了这一点。一旦一个度量被用来指导决策，人们就开始针对度量本身进行优化。他们不再关注它曾经指向的事物。联系开始松动，然后断裂。

社会科学家 唐纳德·坎贝尔 对此有更精辟的表述：

任何用于社会决策的量化社会指标，越容易受到腐败压力的影响。

— 唐纳德·T·坎贝尔

坎贝尔当时在写政府项目和教育政策。这也同样适用于许多季度评审。

这个模式比软件更早出现。当英国殖民当局在印度悬赏蛇头以减少眼镜蛇数量时，当地企业家开始养殖眼镜蛇来领取赏金。当政府发现后取消了这个项目，养殖者释放了他们现在一文不值的蛇。眼镜蛇的数量最终比之前更多了。指标被完美地优化了。目标却变得更糟。

这种偏离不需要作弊。它靠的是正常工作。设计师推动界面追求点击量，因为点击量被追踪了。工程师发布那些拉长会话时长的功能，因为那条线在仪表盘上。产品经理推掉了那些对用户有帮助但不会推动目标的工作，因为目标是衡量进步的标准。每个人都在做他们面前的工作。几个冲刺之后，使用产品的人几乎不在对话中了，而仪表盘仍然是绿色的。

杰里·穆勒用一整本书来讨论这个问题。《指标的暴政》 记录了同样的模式出现在医院、学校、警察局和大学中。数字代替了它曾经追踪的东西。大多数人没有注意到，直到差距变得太大而无法隐藏。

Facebook 也发现了这个问题

2018 年，Facebook 的内部研究团队制作了一份演示文稿，警告说新闻推送算法正在利用他们所称的"人类大脑对分裂性的吸引"。

Facebook 一直在优化参与度：反应、评论、分享。那是目标。它奏效了。参与度上升了。愤怒的内容也增加了，因为愤怒能快速引发反应。虚假信息也因为同样的原因传播开来。研究团队提出了修复方案。公司没有以解决根本问题的方式采纳这些改变，同时参与度仍然是业务运作的核心。

这在 2021 年被揭露出来，当时 弗朗西斯·豪根 向《华尔街日报》分享了内部文件。这些文件显示，Facebook 的研究人员理解这个问题，并用清晰的语言将其记录下来。但指标仍然继续获胜。

古德哈特定律不仅扭曲了指标，它也可能扭曲那些长期将其视为事物运作证明的人的判断。

问最坏的情况

指标是有用的。当团队把指标当作用户时，问题就开始了。

在任何指标作为目标放到仪表盘上之前，问一个问题：某人达成这个数字的最坏方式是什么？有什么能让数字上升，同时让产品对那些不盯着图表的人来说变得更差？

如果你能回答这个问题，你就找到了等待你的失败模式。如果团队继续追逐这个数字，它迟早会出现。这是关于尽早看到差距，在你还能做点什么的时候。我喜欢这个问题，因为它让团队在发布之前大声说出丑陋的版本。

指标不是用户

当团队停止与用户交谈时，指标会更快地偏离现实。当数字看起来不错时，人们就不太有压力去检查了。仪表盘创造了一种安静的信心。事情看起来很好，所以人们就假设它们确实很好。

与此同时，用户在适应。他们建立了变通办法。他们忍受着没有人修复的摩擦。有些人已经接近离开了。图表可能看起来很健康，而支持工单却一直在积累同样的投诉。你在图表上看不到这些，直到下降出现时已经太晚了。

避免这种情况的团队并没有神奇的指标。他们在数字看起来不错时进行可用性测试。他们在留存率看起来健康时阅读支持工单。不是因为他们讨厌数据。而是因为他们知道数字和实际体验可能会长时间偏离。当仪表盘告诉他们可以放松时，他们仍然继续观察，我对这样的团队更有信心。

指标最初是一个信号。然后它取代了用户的位置。

参考资料与来源

← 上一篇 下一篇 →