Означает ли столбец, содержащее название месяца, что есть столбец, содержащий названия месяцев (как мой ответ), или много столбцов с названиями столбцов в качестве названий месяцев (как у eumiro)?
Энди Хайден
1
Принятый ответ устарел и технически неверен, так как pd.Categoricalне интерпретирует категории в порядке, установленном по умолчанию. Смотрите этот ответ .
cs95
Ответы:
141
Pandas 0.15 представил Категориальную серию , которая позволяет сделать это гораздо яснее:
Сначала сделайте столбец месяца категориальным и укажите порядок использования.
In [21]: df['m'] = pd.Categorical(df['m'], ["March", "April", "Dec"])
In [22]: df # looks the same!
Out[22]:
a b m
012 March
156 Dec
234 April
Теперь, когда вы сортируете столбец месяца, он будет отсортирован по этому списку:
In [23]: df.sort_values("m")
Out[23]:
a b m
012 March
234 April
156 Dec
Примечание: если значение отсутствует в списке, оно будет преобразовано в NaN.
Старый ответ для интересующихся ...
Вы можете создать промежуточную серию, и set_indexна этом:
df = pd.DataFrame([[1, 2, 'March'],[5, 6, 'Dec'],[3, 4, 'April']], columns=['a','b','m'])
s = df['m'].apply(lambda x: {'March':0, 'April':1, 'Dec':3}[x])
s.sort_values()
In [4]: df.set_index(s.index).sort()
Out[4]:
a b m
012 March
134 April
256 Dec
Как уже отмечалось, в новых пандах у Series есть replaceспособ сделать это более элегантно:
s = df['m'].replace({'March':0, 'April':1, 'Dec':3})
Небольшая разница в том, что это не будет повышаться, если есть значение вне словаря (оно просто останется прежним).
s = df['m'].replace({'March':0, 'April':1, 'Dec':3})работает и для строки 2 - просто для тех, кто изучает панд вроде меня
kdauria 01
@kdauria хорошее место! (прошло некоторое время с тех пор, как я написал это!) Замените определенно лучший вариант, другой - использовать .apply({'March':0, 'April':1, 'Dec':3}.get):) В 0.15 у нас будут категориальные серии / столбцы, поэтому лучше всего будет использовать это, и тогда сортировка будет работать.
Энди Хайден
@AndyHayden Я взял на себя смелость заменить вторую строку методом 'replace'. Я надеюсь, что это нормально.
Фахим Мита
Редактирование @AndyHayden отклонено, но я все же думаю, что это разумное изменение.
Фахим Мита
7
Просто убедитесь, что вы используете df.sort_values("m")в новых пандах (вместо df.sort("m")), иначе вы получите AttributeError: 'DataFrame' object has no attribute 'sort';)
мозговой штурм
17
панды> = 1.1
Скоро вы сможете использовать sort_valuesс keyаргументом:
pd.__version__
# '1.1.0.dev0+2004.g8d10bfb6f'
custom_dict = {'March': 0, 'April': 1, 'Dec': 3}
df
a b m
012 March
156 Dec
234 April
df.sort_values(by=['m'], key=lambda x: x.map(custom_dict))
a b m
012 March
234 April
156 Dec
keyАргумент принимает в качестве входных серии и возвращает серию. Эта серия внутренне упорядочена, и отсортированные индексы используются для изменения порядка входного DataFrame. Если есть несколько столбцов для сортировки, ключевая функция будет применена к каждому из них по очереди. См. Сортировка с помощью ключей .
панды <= 1.0.X
Один простой метод заключается в использовании вывода Series.mapи Series.argsortиндексации для dfиспользования DataFrame.iloc(поскольку argsort производит отсортированные целочисленные позиции); поскольку у вас есть словарь; это становится легко.
df.iloc[df['m'].map(custom_dict).argsort()]
a b m
012 March
234 April
156 Dec
Если вам нужно отсортировать по убыванию , инвертируйте сопоставление.
df.iloc[(-df['m'].map(custom_dict)).argsort()]
a b m
156 Dec
234 April
012 March
Обратите внимание, что это работает только с числовыми элементами. В противном случае вам нужно будет обойти это, используя sort_valuesи доступ к индексу:
df.loc[df['m'].map(custom_dict).sort_values(ascending=False).index]
a b m
156 Dec
234 April
012 March
Дополнительные параметры доступны с astype(сейчас это не рекомендуется) или pd.Categorical, но вам нужно указать, ordered=Trueчтобы он работал правильно .
Вы уже подчеркнули это, но я хотел бы повторить на тот случай, если кто-то еще просмотрел и пропустил это: Pandas Категориальные наборы ordered=Noneпо умолчанию. Если не установлен, порядок будет неправильным или нарушится на V23. Функция Max, в частности, выдает TypeError (Категориальный не заказывается для операции max).
Дэйв Лю,
16
Немного поздно для игры, но вот способ создать функцию, которая сортирует объекты pandas Series, DataFrame и multiindex DataFrame с использованием произвольных функций.
Я использую df.iloc[index]метод, который ссылается на строку в Series / DataFrame по позиции (по сравнению с df.loc, которая ссылается по значению). Используя это, нам просто нужно иметь функцию, которая возвращает ряд позиционных аргументов:
defsort_pd(key=None,reverse=False,cmp=None):defsorter(series):
series_list = list(series)
return [series_list.index(i)
for i in sorted(series_list,key=key,reverse=reverse,cmp=cmp)]
return sorter
Вы можете использовать это для создания собственных функций сортировки. Это работает с фреймом данных, используемым в ответе Энди Хайдена:
df = pd.DataFrame([
[1, 2, 'March'],
[5, 6, 'Dec'],
[3, 4, 'April']],
columns=['a','b','m'])
custom_dict = {'March':0, 'April':1, 'Dec':3}
sort_by_custom_dict = sort_pd(key=custom_dict.get)
In [6]: df.iloc[sort_by_custom_dict(df['m'])]
Out[6]:
a b m
012 March
234 April
156 Dec
Это также работает с мультииндексными объектами DataFrames и Series:
months = ['Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec']
df = pd.DataFrame([
['New York','Mar',12714],
['New York','Apr',89238],
['Atlanta','Jan',8161],
['Atlanta','Sep',5885],
],columns=['location','month','sales']).set_index(['location','month'])
sort_by_month = sort_pd(key=months.index)
In [10]: df.iloc[sort_by_month(df.index.get_level_values('month'))]
Out[10]:
sales
location month
Atlanta Jan 8161
New York Mar 12714
Apr 89238
Atlanta Sep 5885
sort_by_last_digit = sort_pd(key=lambda x: x%10)
In [12]: pd.Series(list(df['sales'])).iloc[sort_by_last_digit(df['sales'])]
Out[12]:
2816101271435885189238
Мне это кажется чистым, но он сильно использует операции Python, а не полагается на оптимизированные операции pandas. Я не проводил стресс-тестирования, но предполагаю, что это может замедлиться на очень больших DataFrames. Не уверен, насколько производительность сравнивается с добавлением, сортировкой и удалением столбца. Любые советы по ускорению кода будут оценены!
Будет ли это работать для сортировки нескольких столбцов / индексов?
ConanG
да, но выбранный ответ - гораздо лучший способ сделать это. Если у вас несколько индексов, просто расположите их в соответствии с предпочитаемым порядком сортировки, а затем используйте df.sort_index()для сортировки всех уровней индекса.
Майкл Дельгадо
9
import pandas as pd
custom_dict = {'March':0,'April':1,'Dec':3}
df = pd.DataFrame(...) # with columns April, March, Dec (probably alphabetically)
df = pd.DataFrame(df, columns=sorted(custom_dict, key=custom_dict.get))
возвращает DataFrame со столбцами March, April, Dec
pd.Categorical
не интерпретирует категории в порядке, установленном по умолчанию. Смотрите этот ответ .Ответы:
Pandas 0.15 представил Категориальную серию , которая позволяет сделать это гораздо яснее:
Сначала сделайте столбец месяца категориальным и укажите порядок использования.
In [21]: df['m'] = pd.Categorical(df['m'], ["March", "April", "Dec"]) In [22]: df # looks the same! Out[22]: a b m 0 1 2 March 1 5 6 Dec 2 3 4 April
Теперь, когда вы сортируете столбец месяца, он будет отсортирован по этому списку:
In [23]: df.sort_values("m") Out[23]: a b m 0 1 2 March 2 3 4 April 1 5 6 Dec
Примечание: если значение отсутствует в списке, оно будет преобразовано в NaN.
Старый ответ для интересующихся ...
Вы можете создать промежуточную серию, и
set_index
на этом:df = pd.DataFrame([[1, 2, 'March'],[5, 6, 'Dec'],[3, 4, 'April']], columns=['a','b','m']) s = df['m'].apply(lambda x: {'March':0, 'April':1, 'Dec':3}[x]) s.sort_values() In [4]: df.set_index(s.index).sort() Out[4]: a b m 0 1 2 March 1 3 4 April 2 5 6 Dec
Как уже отмечалось, в новых пандах у Series есть
replace
способ сделать это более элегантно:s = df['m'].replace({'March':0, 'April':1, 'Dec':3})
Небольшая разница в том, что это не будет повышаться, если есть значение вне словаря (оно просто останется прежним).
источник
s = df['m'].replace({'March':0, 'April':1, 'Dec':3})
работает и для строки 2 - просто для тех, кто изучает панд вроде меня.apply({'March':0, 'April':1, 'Dec':3}.get)
:) В 0.15 у нас будут категориальные серии / столбцы, поэтому лучше всего будет использовать это, и тогда сортировка будет работать.df.sort_values("m")
в новых пандах (вместоdf.sort("m")
), иначе вы получитеAttributeError: 'DataFrame' object has no attribute 'sort'
;)панды> = 1.1
Скоро вы сможете использовать
sort_values
сkey
аргументом:pd.__version__ # '1.1.0.dev0+2004.g8d10bfb6f' custom_dict = {'March': 0, 'April': 1, 'Dec': 3} df a b m 0 1 2 March 1 5 6 Dec 2 3 4 April df.sort_values(by=['m'], key=lambda x: x.map(custom_dict)) a b m 0 1 2 March 2 3 4 April 1 5 6 Dec
key
Аргумент принимает в качестве входных серии и возвращает серию. Эта серия внутренне упорядочена, и отсортированные индексы используются для изменения порядка входного DataFrame. Если есть несколько столбцов для сортировки, ключевая функция будет применена к каждому из них по очереди. См. Сортировка с помощью ключей .панды <= 1.0.X
Один простой метод заключается в использовании вывода
Series.map
иSeries.argsort
индексации дляdf
использованияDataFrame.iloc
(поскольку argsort производит отсортированные целочисленные позиции); поскольку у вас есть словарь; это становится легко.df.iloc[df['m'].map(custom_dict).argsort()] a b m 0 1 2 March 2 3 4 April 1 5 6 Dec
Если вам нужно отсортировать по убыванию , инвертируйте сопоставление.
df.iloc[(-df['m'].map(custom_dict)).argsort()] a b m 1 5 6 Dec 2 3 4 April 0 1 2 March
Обратите внимание, что это работает только с числовыми элементами. В противном случае вам нужно будет обойти это, используя
sort_values
и доступ к индексу:df.loc[df['m'].map(custom_dict).sort_values(ascending=False).index] a b m 1 5 6 Dec 2 3 4 April 0 1 2 March
Дополнительные параметры доступны с
astype
(сейчас это не рекомендуется) илиpd.Categorical
, но вам нужно указать,ordered=True
чтобы он работал правильно .# Older version, # df['m'].astype('category', # categories=sorted(custom_dict, key=custom_dict.get), # ordered=True) df['m'] = pd.Categorical(df['m'], categories=sorted(custom_dict, key=custom_dict.get), ordered=True)
Теперь достаточно простого
sort_values
вызова:df.sort_values('m') a b m 0 1 2 March 2 3 4 April 1 5 6 Dec
Категориальный порядок также будет соблюдаться при
groupby
сортировке вывода.источник
ordered=None
по умолчанию. Если не установлен, порядок будет неправильным или нарушится на V23. Функция Max, в частности, выдает TypeError (Категориальный не заказывается для операции max).Немного поздно для игры, но вот способ создать функцию, которая сортирует объекты pandas Series, DataFrame и multiindex DataFrame с использованием произвольных функций.
Я использую
df.iloc[index]
метод, который ссылается на строку в Series / DataFrame по позиции (по сравнению сdf.loc
, которая ссылается по значению). Используя это, нам просто нужно иметь функцию, которая возвращает ряд позиционных аргументов:def sort_pd(key=None,reverse=False,cmp=None): def sorter(series): series_list = list(series) return [series_list.index(i) for i in sorted(series_list,key=key,reverse=reverse,cmp=cmp)] return sorter
Вы можете использовать это для создания собственных функций сортировки. Это работает с фреймом данных, используемым в ответе Энди Хайдена:
df = pd.DataFrame([ [1, 2, 'March'], [5, 6, 'Dec'], [3, 4, 'April']], columns=['a','b','m']) custom_dict = {'March':0, 'April':1, 'Dec':3} sort_by_custom_dict = sort_pd(key=custom_dict.get) In [6]: df.iloc[sort_by_custom_dict(df['m'])] Out[6]: a b m 0 1 2 March 2 3 4 April 1 5 6 Dec
Это также работает с мультииндексными объектами DataFrames и Series:
months = ['Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec'] df = pd.DataFrame([ ['New York','Mar',12714], ['New York','Apr',89238], ['Atlanta','Jan',8161], ['Atlanta','Sep',5885], ],columns=['location','month','sales']).set_index(['location','month']) sort_by_month = sort_pd(key=months.index) In [10]: df.iloc[sort_by_month(df.index.get_level_values('month'))] Out[10]: sales location month Atlanta Jan 8161 New York Mar 12714 Apr 89238 Atlanta Sep 5885 sort_by_last_digit = sort_pd(key=lambda x: x%10) In [12]: pd.Series(list(df['sales'])).iloc[sort_by_last_digit(df['sales'])] Out[12]: 2 8161 0 12714 3 5885 1 89238
Мне это кажется чистым, но он сильно использует операции Python, а не полагается на оптимизированные операции pandas. Я не проводил стресс-тестирования, но предполагаю, что это может замедлиться на очень больших DataFrames. Не уверен, насколько производительность сравнивается с добавлением, сортировкой и удалением столбца. Любые советы по ускорению кода будут оценены!
источник
df.sort_index()
для сортировки всех уровней индекса.import pandas as pd custom_dict = {'March':0,'April':1,'Dec':3} df = pd.DataFrame(...) # with columns April, March, Dec (probably alphabetically) df = pd.DataFrame(df, columns=sorted(custom_dict, key=custom_dict.get))
возвращает DataFrame со столбцами March, April, Dec
источник