python pandas: удаляйте дубликаты по столбцам A, сохраняя строку с наибольшим значением в столбце B

У меня есть фрейм данных с повторяющимися значениями в столбце A. Я хочу удалить дубликаты, сохранив строку с самым высоким значением в столбце B.

Итак, это:

A B
1 10
1 20
2 30
2 40
3 10

Должен превратиться в это:

A B
1 20
2 40
3 10

Уэс добавил несколько приятных функций для удаления дубликатов: http://wesmckinney.com/blog/?p=340 . Но AFAICT, он предназначен для точных дубликатов, поэтому нет упоминания о критериях выбора, какие строки будут сохранены.

Я предполагаю, что, вероятно, есть простой способ сделать это - возможно, такой же простой, как сортировка кадра данных перед удалением дубликатов - но я недостаточно хорошо знаю внутреннюю логику groupby, чтобы понять это. Какие-либо предложения?

Это занимает последнее. Не максимум, хотя:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

Вы также можете сделать что-то вроде:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

Лучший ответ - это слишком много работы, и он выглядит очень медленным для больших наборов данных. applyмедленный и его следует избегать, если это возможно. ixустарела и ее следует избегать.

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index()

   A   B
1  1  20
3  2  40
4  3  10

Или просто сгруппируйте по всем другим столбцам и возьмите максимум нужного столбца. df.groupby('A', as_index=False).max()

Самое простое решение:

Чтобы удалить дубликаты на основе одного столбца:

df = df.drop_duplicates('column_name', keep='last')

Чтобы удалить дубликаты на основе нескольких столбцов:

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

Попробуй это:

df.groupby(['A']).max()

Я бы отсортировал данные сначала по убыванию столбца B, затем удалил дубликаты для столбца A и оставил первым

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

без какой-либо групповой

Вы также можете попробовать это

df.drop_duplicates(subset='A', keep='last')

Я сослался на это по адресу https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html.

Я думаю, что в вашем случае вам не нужна групповая игра. Я бы отсортировал в порядке убывания ваш столбец B, затем удалил дубликаты в столбец A, и если вы хотите, у вас также может быть новый красивый и чистый индекс:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)

Вот вариант, который мне нужно было решить, который стоит поделиться: для каждой уникальной строки в columnAя хотел найти наиболее распространенную связанную строку columnB.

df.groupby('columnA').agg({'columnB': lambda x: x.mode().any()}).reset_index()

.any()Выбирает один , если есть связь для режима. (Обратите внимание, что использование .any()для Series intвозвращает логическое значение вместо выбора одного из них.)

Для первоначального вопроса соответствующий подход упрощает

df.groupby('columnA').columnB.agg('max').reset_index(),

Когда уже заданные сообщения отвечают на вопрос, я внес небольшое изменение, добавив имя столбца, к которому применяется функция max () для лучшей читаемости кода.

df.groupby('A', as_index=False)['B'].max()

Самый простой способ сделать это:

# First you need to sort this DF as Column A as ascending and column B as descending 
# Then you can drop the duplicate values in A column 
# Optional - you can reset the index and get the nice data frame again
# I'm going to show you all in one step. 

d = {'A': [1,1,2,3,1,2,3,1], 'B': [30, 40,50,42,38,30,25,32]}
df = pd.DataFrame(data=d)
df

    A   B
0   1   30
1   1   40
2   2   50
3   3   42
4   1   38
5   2   30
6   3   25
7   1   32


df = df.sort_values(['A','B'], ascending =[True,False]).drop_duplicates(['A']).reset_index(drop=True)

df

    A   B
0   1   40
1   2   50
2   3   42

это также работает:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')       ['B'].max().values})

Я не собираюсь давать вам полный ответ (я не думаю, что вы все равно ищете синтаксический анализ и запись в файловую часть), но ключевой подсказки должно быть достаточно: используйте set()функцию python , а затем sorted()или в .sort()сочетании с .reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]