Предположим, у меня есть DataFrame панд, как это:
>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
id value
0 1 1
1 1 2
2 1 3
3 2 1
4 2 2
5 2 3
6 2 4
7 3 1
8 4 1
Я хочу получить новый DataFrame с двумя верхними записями для каждого идентификатора, например:
id value
0 1 1
1 1 2
3 2 1
4 2 2
7 3 1
8 4 1
Я могу сделать это с нумерацией записей в группе за группой:
>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
id level_1 index value
0 1 0 0 1
1 1 1 1 2
2 1 2 2 3
3 2 0 3 1
4 2 1 4 2
5 2 2 5 3
6 2 3 6 4
7 3 0 7 1
8 4 0 8 1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
id value
0 1 1
1 1 2
3 2 1
4 2 2
7 3 1
8 4 1
Но есть ли более эффективный / элегантный подход для этого? А также есть более элегантный подход к записи чисел в каждой группе (например, функция окна SQL row_number () ).
python
pandas
greatest-n-per-group
window-functions
top-n
Роман Пекар
источник
источник
Ответы:
Ты пробовал
df.groupby('id').head(2)
Ouput генерируется:
(Имейте в виду, что вам может потребоваться заказать / отсортировать раньше, в зависимости от ваших данных)
РЕДАКТИРОВАТЬ: Как упомянуто спрашивающим, используйте,
df.groupby('id').head(2).reset_index(drop=True)
чтобы удалить мультииндекс и сгладить результаты.источник
.reset_index(drop=True)
cumcount
(нумерация записей в каждой группе)id
тогда сделайтеdf.sort_values(['id', 'value'], axis=0).groupby('id').head(2)
. Еще один пример, наибольшее значение заid
даетсяdf.sort_values(['id', 'value'], axis=0).groupby('id').tail(1)
.Начиная с 0.14.1 , теперь можно делать
nlargest
иnsmallest
наgroupby
объекте:Там есть небольшая странность , что вы получите исходный индекс в там же, но это может быть очень полезно в зависимости от того, что исходный индекс был .
Если вы не заинтересованы в этом, вы можете сделать,
.reset_index(level=1, drop=True)
чтобы полностью избавиться от него.(Примечание. Начиная с версии 0.17.1, вы сможете делать это и с DataFrameGroupBy, но пока он работает только с
Series
иSeriesGroupBy
.)источник
unique_limit(n)
? Как я хочу первые n уникальных значений? Если я попрошу обnlargest
этом, я расскажу весь df, который может быть дорогимdf.groupby([pd.Grouper(freq='M'), 'A'])['B'].count().nlargest(5, 'B')
это просто возвращает общий топ-5 во всей серии, а не по каждой группеDataFrameGroupBy
s, кажется ложным, связанный запрос извлечения, кажется, добавляет толькоnlargest
к простымDataFrame
s. Что довольно прискорбно, потому что, если вы хотите выбрать более одного столбца?Иногда сортировка целых данных занимает очень много времени. Мы можем сначала сгруппироваться и сделать topk для каждой группы:
источник