Выбор по сложным критериям из панд. DataFrame

235

Например, у меня есть простой DF:

import pandas as pd
from random import randint

df = pd.DataFrame({'A': [randint(1, 9) for x in xrange(10)],
                   'B': [randint(1, 9)*10 for x in xrange(10)],
                   'C': [randint(1, 9)*100 for x in xrange(10)]})

Могу ли я выбрать значения из «A», для которых соответствующие значения для «B» будут больше 50, а для «C» - не равны 900, используя методы и идиомы Панд?

Джилл Бейтс
источник
df.queryи, pd.evalкажется, хорошо подходит для этого варианта использования. Для получения информации о pd.eval()семействе функций, их функциях и сценариях использования, пожалуйста, посетите Dynamic Expression Evaluation в pandas, используя pd.eval () .
cs95
Можно также проверить ответ @Gecko в: stackoverflow.com/questions/13611065/…
Николас Хамфри

Ответы:

391

Конечно! Настроить:

>>> import pandas as pd
>>> from random import randint
>>> df = pd.DataFrame({'A': [randint(1, 9) for x in range(10)],
                   'B': [randint(1, 9)*10 for x in range(10)],
                   'C': [randint(1, 9)*100 for x in range(10)]})
>>> df
   A   B    C
0  9  40  300
1  9  70  700
2  5  70  900
3  8  80  900
4  7  50  200
5  9  30  900
6  2  80  700
7  2  80  400
8  5  80  300
9  7  70  800

Мы можем применять операции со столбцами и получать объекты логической серии:

>>> df["B"] > 50
0    False
1     True
2     True
3     True
4    False
5    False
6     True
7     True
8     True
9     True
Name: B
>>> (df["B"] > 50) & (df["C"] == 900)
0    False
1    False
2     True
3     True
4    False
5    False
6    False
7    False
8    False
9    False

[Обновить, чтобы перейти на новый стиль .loc]:

И затем мы можем использовать их для индексации объекта. Для доступа на чтение вы можете связать индексы:

>>> df["A"][(df["B"] > 50) & (df["C"] == 900)]
2    5
3    8
Name: A, dtype: int64

но вы можете столкнуться с проблемами из-за разницы между видом и копией, делающими это для доступа на запись. Вы можете использовать .locвместо:

>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"]
2    5
3    8
Name: A, dtype: int64
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"].values
array([5, 8], dtype=int64)
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"] *= 1000
>>> df
      A   B    C
0     9  40  300
1     9  70  700
2  5000  70  900
3  8000  80  900
4     7  50  200
5     9  30  900
6     2  80  700
7     2  80  400
8     5  80  300
9     7  70  800

Обратите внимание, что я случайно набрал == 900и нет != 900, или ~(df["C"] == 900), но мне лень это исправить. Упражнение для читателя. : ^)

DSM
источник
5
Об .locобновлении - было бы хорошо, если бы вы уточнили, где мы получаем копию, а где просмотр.
Джилл Бейтс
3
Можно ли отфильтровать кадр данных Pandas и использовать оператор ИЛИ? Например, если в столбце был месяц, могли бы вы сказать: df = data ['month' == JAN ИЛИ 'month' == FEB]? И, возможно, включить второй столбец, делающий запрос более сложным, newdf, где col_month = jan ИЛИ feb AND col_day = MONDAY или WENDNESDAY
yoshiserry
7
@yoshiserry: пожалуйста, задайте это как отдельный вопрос. Никто не увидит это здесь в комментариях к старому ответу.
DSM
2
Не забывайте скобки - вы получите странные ошибки, такие как{TypeError}cannot compare a dtyped [int64] array with a scalar of type [bool]
Mr_and_Mrs_D
Не приводит ли это использование скобок к вычислениям по всей серии? Что, если мы хотим повторно подгруппировать для эффективности?
ifly6
56

Другое решение заключается в использовании метода запроса :

import pandas as pd

from random import randint
df = pd.DataFrame({'A': [randint(1, 9) for x in xrange(10)],
                   'B': [randint(1, 9) * 10 for x in xrange(10)],
                   'C': [randint(1, 9) * 100 for x in xrange(10)]})
print df

   A   B    C
0  7  20  300
1  7  80  700
2  4  90  100
3  4  30  900
4  7  80  200
5  7  60  800
6  3  80  900
7  9  40  100
8  6  40  100
9  3  10  600

print df.query('B > 50 and C != 900')

   A   B    C
1  7  80  700
2  4  90  100
4  7  80  200
5  7  60  800

Теперь, если вы хотите изменить возвращенные значения в столбце A, вы можете сохранить их индекс:

my_query_index = df.query('B > 50 & C != 900').index

.... и используйте, .ilocчтобы изменить их, т.е.

df.iloc[my_query_index, 0] = 5000

print df

      A   B    C
0     7  20  300
1  5000  80  700
2  5000  90  100
3     4  30  900
4  5000  80  200
5  5000  60  800
6     3  80  900
7     9  40  100
8     6  40  100
9     3  10  600
Никос Тавуларис
источник
12

И не забудьте использовать скобки!

Имейте в виду, что &оператор имеет приоритет над такими операторами, как >и <т. Д. Вот почему

4 < 5 & 6 > 4

оценивает до False. Поэтому, если вы используете pd.loc, вам нужно заключить в скобки логические утверждения, в противном случае вы получите ошибку. Вот почему

df.loc[(df['A'] > 10) & (df['B'] < 15)]

вместо того

df.loc[df['A'] > 10 & df['B'] < 15]

что приведет к

Ошибка типа: невозможно сравнить массив dtyped [float64] со скаляром типа [bool]

Томаш Бартковяк
источник
3

Вы можете использовать панд, у него есть некоторые встроенные функции для сравнения. Поэтому, если вы хотите выбрать значения «A», которые удовлетворяют условиям «B» и «C» (при условии, что вы хотите вернуть объект DataFrame pandas)

df[['A']][df.B.gt(50) & df.C.ne(900)]

df[['A']] вернет вам столбец A в формате DataFrame.

Функция pandas 'gt' возвращает позиции столбца B, которые больше 50, а 'ne' возвращает позиции, не равные 900.

Кристофер Мэтьюз
источник