研究作为托词

团队如何用研究来支撑他们已有的信念

研究作为托词插图

TL;DR： 动机性推理是将研究变成托词的根源。一旦团队对某个方向产生了依赖，确认偏差就会帮助他们收集、信任并呈现那些能让该方向得以延续的证据。

你告诉自己，你做研究是为了了解用户想要什么。但事情并不总是如此。有时候，在研究开始之前，答案就已经被决定了，而研究只是为了让这个答案拥有足够的分量，以便在会议上没有人会提出质疑。筛选问卷过滤掉了"不合适"的受访者。访谈问题偏向于预期的发现。综合分析将数据分组，直到故事自圆其说。没有人需要撒谎。人们只是在获得足够支持他们想要的答案之后，就停止了探寻。

这是一种常见的偏见。它出现在那些有着良好意图的优秀团队中。

确认偏差保护了故事

这种机制有一个名字：动机性推理。心理学家 Dan Kahan——他在耶鲁法学院的研究关注聪明人如何在事实问题上得出错误结论——用平实的语言定义了它。动机性推理是

将信息评估与准确性之外的某个目标保持一致的倾向。

—— Dan Kahan

在设计领域，那个与准确性无关的目标，通常就是你已经构建的产品或你的团队已经承诺的方向。结论先行。研究紧随其后，直到找到某个东西来证实它。

Raymond Nickerson 1998 年对确认偏差的全面综述涵盖了数十个领域，研究表明问题不在于愚蠢或不诚实。大脑会很早地过滤信息。支持已有信念的证据会更快地被接受。威胁该信念的证据则会受到更严苛、更持久的质疑。在 Peter Ditto 和 David Lopez 的一项实验中，被要求评估不利医学检测结果的参与者，在接受该结果之前需要的证据比获得有利结果的参与者更多。数据没有改变。改变的是他们相信它的意愿。这种不对称是自动的，而非刻意的。

你不需要特别想要某个研究结果才会破坏研究过程。你只需要在乎你正在研究的东西。

有偏见的研究看起来是什么样的

它看起来不像是欺诈。它看起来像是一系列合理的决定逐一做出。

你招募"对产品类别有参与度"的用户，也就是那些已经对类似产品感兴趣的用户。你撰写访谈问题，询问现有解决方案的痛点，因为你的产品解决的就是这些痛点。你用代表你设想中的客户而非整个市场的参与者来运行可用性测试。在复盘中，你记下了三段支持该方向的引述，而将两段矛盾的引述归入"边缘案例"。每个决定听起来都很专业。没有哪个决定是中立的。

Dan Lovallo 和 Daniel Kahneman 在《哈佛商业评论》上关于项目规划中高管乐观主义的分析，在组织内部展现了同样的模式。领导者委托进行研究，但将问题框定为"我们如何执行这个？"而不是"我们应该执行这个吗？"研究变成了对交付的支持，而非对这个东西是否值得构建的检验。

Google+ 就是一个例子

Google 于 2011 年 6 月在内部研究的基础上推出了 Google+。用户希望在网上分享内容时拥有更多控制权。这部分是真实的。但 Google+ 通过一个围绕"圈子"构建的新社交网络来满足这一需求，直接与 Facebook 竞争。研究支持了这个问题的存在。但它并未证明人们有足够的意愿去采用一个新的 Google 社交网络。

结果是一个在纸面上解决了真实发现的产品，却忽略了真正重要的行为。人们不仅想要更好的隐私控制。他们还需要一个离开 Facebook、从零开始构建第二个社交图谱、并学习新系统的理由。ComScore 估计，2012 年 1 月，Google+ 用户平均每月在该平台上花费约 3.3 分钟。Facebook 用户平均超过七小时。Google+ 于 2019 年 4 月关闭了消费者版本。

在信任研究之前先问这个问题

一个简单的检验方法是：在进行研究之前，写下哪些发现会导致你取消项目或改变方向。要具体。不要写"重大的可用性问题"——这太模糊了，总能解释过去。要写具体的：比如"如果少于 60% 的用户能在没有帮助的情况下完成核心任务，我们就重新考虑流程。"或者"如果用户不认为这个问题在他们的生活中有意义，我们就停止。"

如果你写不出那个句子，研究可能只是用来记录一个决定，而非检验一个决定。

这很重要，因为写下什么能证明你是错的，迫使你认真审视研究的真正目的。大多数团队跳过这一步，不是因为不诚实，而是因为没有人会大声提出这个问题。研究围绕执行假设来设计，却从未明确说明什么结果会改变项目的走向。这就是托词形成的地方。

研究作为托词不仅浪费时间和金钱。它还保护错误的决定免受纠正。会议室里有疑虑的人看到研究幻灯片就安静了。不确定的利益相关者被数据否决了。三周前发现真正问题的设计师永远没有机会说出它的名字，因为研究已经"发言"了。我见过研究在房间里被如此使用的场景，而房间真正想要的只是掩护。托词保护了这个想法，也压缩了可能纠正它的对话。

好的研究本应令人不安。它应该发现你之前不知道的东西。如果研究从未让你感到惊讶，它就是在以其他方式服务于项目。研究有时应该动摇计划。这是它工作的一部分。

参考文献与来源

← 上一篇 下一篇 →