数据中的异常值，不应直接删除吗？

不少人曾问我：我的数据之中有间歇性绝对值，真的应该删掉？要反问这个问题，我们必须从间歇性绝对值的概念来谈起。可能时会有的人觉得间歇性绝对值很好理解，不就是“间歇性”的绝对值吗？关键是，怎样才算间歇性呢？唯：在10个数据之中（左图金色点）人为申请加入黑、绿、黄色的3个点，它们都是间歇性绝对值吗？间歇性绝对值其实是一个较为宽泛的概念，它数包括了三种情况：(1) 离群绝对值（outliner）离群绝对值是指从因变量y的尺度来看属于间歇性的绝对值，如图之中的黑色点和黑色点，拉长y的均绝对值较其它点更远。离群绝对值有时候采用许多学生所谓残差来辨别。(2) 高杠杆绝对值（high leverage）高杠杆绝对值是指从自变量x的尺度来看属于间歇性的绝对值，如图之中的黄色点和黑色点，在x轴上拉长x的均绝对值较远。高杠杆绝对值有时候采用杠杆绝对值来辨别。(3) 强于直接影响绝对值（influential observation）强于直接影响绝对值是指对数学方法直接影响相当大的绝对值，一般来说，如果删掉了该绝对值，时会导致数学方法暴发非常大变动（如值绝对值彻底改变相当大）。强于直接影响点有时候采用COOK'D绝对值、DFBETAS和DFFITS来辨别。左图比较了不尽相同间歇性绝对值对数学方法粗略效果的直接影响。图之中金色对角该线透露仅有这3个间歇性绝对值的粗略该线，黑色、黑色、黄色圆点分别透露含黑色点、黑色点、黄色点时的粗略该线。不难看出，掺入黑色点时，对数学方法粗略直接影响几乎不大（与金色对角该线几乎平行）；掺入黄色点时，粗略该线被向下拉较差，即重返值远较差于金色对角该线；掺入黑色点时，粗略该线也被拉较差。如果要辨别的话，黑色点虽然从x同方向和y同方向上都拉长均绝对值，但却不是强于直接影响点；黄色点和黑色点才是强于直接影响点，因为单独的任一点便可以导致值暴发非常大变动。我们过去已经明白了如何辨别一个点真的间歇性点，紧接着的问题就是，如果我发现了间歇性点，应该怎么处理事件？不少人常常简单粗暴的方法，即直接删掉。这并不是比较好的办法，有时甚至时会让你错过一些显然的规律。当你发现间歇性绝对值后，一定要先以而今是什么原因导致的间歇性绝对值，然后再考虑如何处理事件。如果是属于集成错误或研究室记录错误等，这很容易，几天后修改即可。如果不是集成错误，而是其实不存在这样的间歇性绝对值，这时必需根据不尽相同情况来分别对待。首先以，如果这一间歇性绝对值并不亦然一种规律性的，而是极其无意中的情况，或者说你并没法研究这种无意中的情况，这时可以将其删掉。唯如，你要研究身材矮小与血压的关系，但你的研究人群之中恰好确立了姚明，这种情况，可以将其删掉，用上其他人透过量所谓。因为这并不亦然一种规律性的情况，而且你可能时会也没法研究类似于的状况。其次，如果间歇性绝对值不存在且亦然了一种单纯不存在的情况，那就不可不对删掉。比如调查结果了100个村的胃癌存活率，可能时会其实有个别村庄的存活率远远高于其它村，这时就不可不对删掉，而是要把这些间歇性点确立，重新粗略数学方法，研究其规律。唯：某研究室检测了细菌培养芽孢为数与短时间的关系，试透过量所谓。很明显，左图之中的两个黑点是间歇性点，可以让一维重返的值暴发随之而来变动。那这种情况是否必需删掉这两个绝对值呢？首先以看一下这两个绝对值是否实验误差，如果这两个绝对值是准确的，那它很可能时会亦然了一种单纯状况。一般来说，在短期内增长比较慢，但是到了一个关键短时间点后（如30），生境为数就时会剧增。此时如果你直接删掉这两个点，就无法显然发现这种规律。所以我们可以确立这两个点，但是不可粗略一维重返，而是要根据其形状粗略非一维数学方法。如此处可以考虑对短时间time透过百分比微分，可以发现微分后数学方法更能有效地粗略数据。