Zscore的每组 Pandas 过滤异常 - python

我有一个数据框，其中的“组”列可以有50个不同的值，而“值”列是数字的。

例如:

pd.DataFrame({'group':['a','b','c','a','a','b','a','c','c'],'value':[2,123,4,2.3,2.5,127,128,4,0.003]})

group   value
0   a   2.000
1   b   123.000
2   c   4.000
3   a   2.300
4   a   2.500
5   b   127.000
6   a   128.000
7   c   4.000
8   c   0.003

我想从数据框中删除与其组异常的值，例如abs(zscore)> 3或类似的值。在该示例中，值a，128将被删除，因为它对于组a是异常的，值c，0.003也将被删除。 123和127是正常的，因为它们的组是“b”。

输出应类似于(带有z分数列):

group   value
0   a   2.0
1   b   123.0
2   c   4.0
3   a   2.3
4   a   2.5
5   b   127.0
6   c   4.0

什么是有效的方法？

谢谢!

参考方案

为z分数创建一个列，按特定组分组:

df['z_score'] = df.groupby('group')['value'].apply(lambda x: (x - x.mean())/x.std())

根据您的阈值过滤df:

df[abs(df['z_score']) > 3]

Python Pandas:按分组分组，平均？ - python

我有一个像这样的数据框:cluster org time 1 a 8 1 a 6 2 h 34 1 c 23 2 d 74 3 w 6 我想计算每个集群每个组织的平均时间。预期结果:cluster mean(time) 1 15 ((8+6)/2+23)/2 2 54 (74+34)/2 3 6 我不知道如何在熊猫中做到这一点，有人可以帮忙吗？ 参考方案 如…

Python Pandas:在多列上建立布尔索引 - python

尽管至少有关于如何在Python的pandas库中为DataFrame编制索引的two good教程，但我仍然无法在一个以上的列上找到一种优雅的SELECT编码方式。>>> d = pd.DataFrame({'x':[1, 2, 3, 4, 5], 'y':[4, 5, 6, 7, 8]}) >…

Python Pandas:选择索引范围 - python

datas = [['RAC1','CD0287',1.52], ['RAC1','CD0695',2.08], ['RAC1','ADN103-1',2.01], ['RAC3','CD0258',…

python pandas:按行对条件进行分组 - python

我有一个大的pandas数据框，试图从中形成一些行的对。我的df如下所示：object_id increment location event 0 1 d A 0 2 d B 0 3 z C 0 4 g A 0 5 g B 0 6 i C 1 1 k A 1 2 k B ... ... ... ... 对象ID描述特定的对象。增量是每次发生某事（跟踪订单）时…

python :安装 python 后，如何导入 Pandas - python

我已经安装了 python 。现在，当我尝试跑步时import pandas as pd 我收到以下错误Traceback (most recent call last): File "<pyshell#0>", line 1, in <module> import pandasFile ImportError: …