数据骗子无处不在，教你拆穿所谓“万金油”

本文转载自公众号“读芯术”(ID：AI_Discovery)

数据分析师、机器学习/人工智能工程师、统计学家，这样的头衔是不是听起来很高大上?但小心别被骗了!高薪诱惑之下，不少数据骗子也隐藏在其中，这些骗子毁了遵纪守法的数据专业人士的好名声。

数据骗子非常善于在众目睽睽之下隐藏自己，你甚至可能都没有意识到他们的存在，他们有可能就藏身于你的公司当中、不过还好，如果你知道该找些什么线索，那么他们是很容易识别的。第一点线索就是，他们无法理解分析学和统计学是两个截然不同的学科。

不同的学科

统计学家接受的训练是推断数据之外的内容，而分析师接受的训练是探究数据集中的内容。换句话说，分析师根据数据中包含的内容得出结论，而统计学家根据未包含于数据中的内容得出结论。分析师帮助你提出好问题(假设生成)，而统计学家帮助你获得理想答案(假设测试)。

还有一些神奇的“混血”，会拥有两种身份……但他们不会同时扮演这两种角色。为什么呢?数据科学的一条核心原则是，如果要处理不确定性，则不能使用相同的数据点进行假设生成和假设测试。数据有限时，不确定性会迫使你在统计学和分析学之间做出选择。

没有统计学，就无法知道自己刚刚产生的观点是否站得住脚。没有分析学，就只能在摸索中前进，几乎无法掌握未知的未知。

这是一个艰难的选择!是睁开双眼接受灵感(分析学)，发誓放弃知道新发现是否能站住脚的满足感，还是冒着冷汗祈祷自己选择要问的(在没有任何数据的情况下，一个人在杂物室里冥思苦想出来的)问题值得自己即将得到的严密答案(统计学)?

“兜售”后见之明的小贩

骗子摆脱这种困境的方式是对其视而不见，发现一片薯片长得像猫王，然后假装对这一事实感到惊讶。(统计假设测试的逻辑可以归结为：我们的数据是否让我们惊讶到改变自己的想法。如果我们已经见过这些数据，我们又怎么会对它们感到惊讶呢?)

在你看来，图片中的云朵和薯片长得像兔子还是像猫王呢?亦或是像某一位总统?

骗子发现一个模式并从中得到启发，然后以相同的模式测试相同的数据，为的是用一到两个合理的p值生成可验证其理论的结果，他们这样做实际上是在欺骗你(可能也是在欺骗他们自己)。这样的p值没有任何意义，除非在查看数据之前对假设作出承诺。

骗子模仿分析师和统计学家的一举一动，却并不明白其中缘由，这为整个数据科学领域带来了不好的声誉。

真正的统计学家总是谨慎行事

由于统计学家在严密的推理方面享有近乎神秘的声誉，“万金油”在数据科学领域的出现频率创下了历史新高。这种骗术不易被人发觉，尤其是在那些毫无防备的受害者认为这正关系到方程和数据的时候。数据集就是数据集，对吗?错，要看你如何使用数据集。

这些骗子身上都带有冒牌货的标志，你只需要一个线索就可以识破他们的真面目：骗子只有后见之明——用数学重新发现他们已经知道的存在于数据中的现象，而统计学家提供的是具有先见之明的测试。

与骗子不同，优秀的分析师是思想开放的典范，总是将鼓舞人心的见解与提醒相结合，提醒人们观察到的某种现象可能有多种不同的解释，而优秀的统计学家则会谨慎地做出决定。

分析师带来灵感

分析师不必负责一切，他们要根据数据中包含的内容得出结论。如果他们想对没见过的事物提出观点，那他们担任的就是另一种工作了。他们应该摘下分析师的“帽子”，带上“统计学家”的头盔。毕竟，无论你的正式职位是什么，都没有这样一条规则说你不能投身两种行业。只要你想，就可以这么做，只是不要把它们弄混了。

骗子怎样测试假设

擅长统计并不意味着擅长分析，反之亦然。如果有人跟你说的与之相反，请自行思考。如果这个人告诉你，你可以对你研究过的数据进行统计推断，请再次问问自己。他很有可能是个骗子。

隐藏在天花乱坠的解释背后

如果你在现实生活中观察数据骗子，你会发现他们喜欢编造一些天花乱坠的故事来“解释”观察到的数据：故事听起来越学术越好，并不在乎它们只是(过分)符合事后的数据。

骗子这样做完全是胡扯。再多的方程甚至是夸夸其谈也无法弥补这样一个事实：他们没有证据表明他们知道自己谈论的内容超过了数据的范围。不要被他们天花乱坠的解释蒙骗了。如果是统计推断，他们就必须在看到数据之前谨慎做出决定。

这相当于炫耀他们的“通灵”能力，先瞄一眼你出的牌，然后预测你手上拿着什么牌……无论你拿着什么牌，他们都能预测出来。做好准备，听听他们的花言巧语：你的面部表情如何将你手中的牌泄露给他们。这是后见之明偏误，它在数据科学领域随处可见。

分析师说，“这是你刚才出的方块皇后。”统计学家说，“游戏开始之前，我把我的假设写在了这张纸片上。我们开始吧，观察一些数据，看我假设得对不对。”骗子说，“我早知道你要出方块皇后，因为……”

机器学习说，“我要一直提前调用它，看看我完成得如何。然后重复再重复。我可能会调整自己的反应，从而适应某个有效的策略。但我会用某个算法来完成这一过程，因为手动追踪这一切实在太烦人了，”

阻止骗子进入你的生活

要处理的数据不算太多时，你必须要在统计学和分析学之间做出选择。幸运的是，如果你有大量数据，那么你将有一个绝妙的机会来利用自己的分析和统计信息，而不会上当受骗。你还可以通过一个完美的计策来让自己免受骗子侵害，这叫做“数据拆分”，笔者认为这是数据科学中最强大的思想。

为保护自己免受骗子侵害，你要做的就是确保某些测试数据处于他们可窥探到的范围之外，然后将其他所有内容看作分析学(不要当真)。当你面对某种你可能会全盘接受的理论时，可以用它来替你做主，然后打开你的秘密测试数据，看看这个理论是不是一派胡言。

从人们习惯的时代到“小数据”时代，这是一个巨大的文化转变，你必须解释自己是如何知道自己所知道的东西，才能以一种轻松的方式-说服人们，你可能确实知道一些东西。

同样的道理也适用于机器学习/人工智能

一些伪装成机器学习/人工智能专家的骗子很容易被识破。你可以通过识破蹩脚工程师的方法来识破他们：他们反复尝试构建的“解决方案”无法交付。(较早的预警信号是他们缺乏行业标准编程语言和库的经验。)

但是那些构建出看上去可以正常运行的系统的人呢?你怎么知道事情是否有可疑之处?同样的道理也适用于此!骗子是阴险的，他会向你展示他们的模型有多好，用的是他们制作模型时使用的数据。如果你构建了一个极其复杂的机器学习系统，你怎么知道它能不能正常运行呢?你没法知道，除非你能证明它可以处理以前从未见过的新数据。

有足够的数据可以分割时，无需改变工整的公式即可证明项目的合理性(这仍然是一种老习惯，在任何地方都可以看到，不仅仅是在科学领域)。

进行统计工作或保持谦虚的态度

套用经济学家保罗·萨缪尔森(Paul Samuelson)的一句俏皮话：骗子成功预测了最近五次衰退中的九次衰退。

笔者对数据骗子没有耐心。“了解”一些长得像猫王的薯片又怎样?没人在乎你的观点是不是符合原来的“薯片”。解释再天花乱坠，笔者也不为所动。看看理论/模型能不能适用于(而且能够一直适用于)一大堆从未见过的新“薯片”，这才是对该观点的真正考验。

给数据科学专业人士的建议

数据科学专业人士，如果你想得到那些明白此处幽默的人的重视，请不要再用花哨的方程式来支持你的个人偏见。让我们看看你的真才实学。如果你想让那些“了解”你理论/模型的人将这些理论/模型看作是鼓舞人心的诗歌，那么就请大胆地在他们面前用全新的数据集进行一次伟大的展示吧!

给领导者的建议

领导者不愿认真看待任何与数据有关的“见解”，除非这些见解已经通过了新数据的测试。不想付出努力吗?要坚持利用分析学，但不要依赖于这些见解——它们站不住脚，而且其可信度尚未通过检查。

此外，公司拥有大量数据时，将分割数据作为科学文化的核心部分，甚至通过对专用于统计数据的测试数据的访问加以控制，从而将其应用于基础架构，这不会有任何坏处。这是一个将“万金油”扼杀于摇篮之中的好办法!

数据过少而无法分割时，只有数据骗子才会严格追随他们的灵感，用数学方法重新发现他们已知的存在于数据中的现象，宣称他们的惊人发现具有统计学意义，这便是后见之明。这让他们有别于思想开放的分析师和细心的统计学家。

数据充足时，要养成数据分割的习惯，一定要对原始数据堆的不同子集分别进行分析和统计。这样你就可以在不受骗的情况下占据双重优势了!