Есть два возможных решения:
- Используйте булеву маску, затем используйте
df.loc[mask]
- Установите столбец даты как DatetimeIndex, затем используйте
df[start_date : end_date]
Использование логической маски :
Убедитесь, df['date']
что это серия с dtype datetime64[ns]
:
df['date'] = pd.to_datetime(df['date'])
Сделайте логическую маску. start_date
и end_date
может быть datetime.datetime
s,
np.datetime64
s, pd.Timestamp
s или даже датой-строкой:
#greater than the start date and smaller than the end date
mask = (df['date'] > start_date) & (df['date'] <= end_date)
Выберите подкадр данных:
df.loc[mask]
или переназначить на df
df = df.loc[mask]
Например,
import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.random((200,3)))
df['date'] = pd.date_range('2000-1-1', periods=200, freq='D')
mask = (df['date'] > '2000-6-1') & (df['date'] <= '2000-6-10')
print(df.loc[mask])
доходность
0 1 2 date
153 0.208875 0.727656 0.037787 2000-06-02
154 0.750800 0.776498 0.237716 2000-06-03
155 0.812008 0.127338 0.397240 2000-06-04
156 0.639937 0.207359 0.533527 2000-06-05
157 0.416998 0.845658 0.872826 2000-06-06
158 0.440069 0.338690 0.847545 2000-06-07
159 0.202354 0.624833 0.740254 2000-06-08
160 0.465746 0.080888 0.155452 2000-06-09
161 0.858232 0.190321 0.432574 2000-06-10
Использование DatetimeIndex :
Если вы собираетесь сделать большой выбор по дате, может быть быстрее установить
date
столбец в качестве индекса первым. Затем вы можете выбрать строки по дате, используя
df.loc[start_date:end_date]
.
import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.random((200,3)))
df['date'] = pd.date_range('2000-1-1', periods=200, freq='D')
df = df.set_index(['date'])
print(df.loc['2000-6-1':'2000-6-10'])
доходность
0 1 2
date
2000-06-01 0.040457 0.326594 0.492136 # <- includes start_date
2000-06-02 0.279323 0.877446 0.464523
2000-06-03 0.328068 0.837669 0.608559
2000-06-04 0.107959 0.678297 0.517435
2000-06-05 0.131555 0.418380 0.025725
2000-06-06 0.999961 0.619517 0.206108
2000-06-07 0.129270 0.024533 0.154769
2000-06-08 0.441010 0.741781 0.470402
2000-06-09 0.682101 0.375660 0.009916
2000-06-10 0.754488 0.352293 0.339337
Хотя индексация списка Python, например, seq[start:end]
включает, start
но не включает end
, напротив, Pandas df.loc[start_date : end_date]
включает обе конечные точки в результат, если они находятся в индексе. Однако start_date
ни end_date
в индексе не должно быть.
Также обратите внимание, что pd.read_csv
есть parse_dates
параметр, который вы можете использовать для анализа date
столбца как datetime64
s. Таким образом, если вы используете parse_dates
, вам не нужно использовать df['date'] = pd.to_datetime(df['date'])
.
df = df.set_index(['date'])
я обнаружил, что индекс также необходимо отсортировать (черезdf.sort_index(inplace=True, ascending=True)
), так как в противном случае вы можете получить менее чем полный или даже пустой результат DataFramedf.loc['2000-6-1':'2000-6-10']
. И если вы используетеascending=False
, это не будет работать вообще, даже если вы измените это сdf.loc['2000-6-10':'2000-6-1']
Я чувствую, что лучшим вариантом будет использование прямых проверок, а не использование функции loc:
Меня устраивает.
Основная проблема с функцией loc со срезом заключается в том, что ограничения должны присутствовать в фактических значениях, в противном случае это приведет к KeyError.
источник
loc
это здорово. И мне кажется, что, как говорит unutbu, в индексе не должно быть ни start_date, ни end_date .Вы также можете использовать
between
:источник
between_time
: pandas.pydata.org/pandas-docs/version/0.20.3/generated/…Вы можете использовать
isin
метод наdate
столбце такdf[df["date"].isin(pd.date_range(start_date, end_date))]
Примечание: это работает только с датами (как задает вопрос), а не с отметками времени.
Пример:
который дает
источник
Сохраняя решение простым и питонным, я бы посоветовал вам попробовать это.
В случае, если вы собираетесь делать это часто, лучшим решением было бы сначала установить столбец даты в качестве индекса, который преобразует столбец в DateTimeIndex, и использовать следующее условие для нарезки любого диапазона дат.
источник
С моим тестированием
pandas
версии0.22.0
вы теперь можете ответить на этот вопрос проще с более читабельным кодом, просто используяbetween
.Допустим, вы хотите получить даты между 27 ноября 2018 года и 15 января 2019 года:
Обратите внимание на включающий аргумент. очень полезно, когда вы хотите четко указать свой диапазон. обратите внимание, что при значении True мы вернемся также 27 ноября 2018 года:
Этот метод также быстрее, чем ранее упомянутый
isin
метод:Однако он не быстрее, чем принятый в настоящее время ответ, предоставленный unutbu, только если маска уже создана . но если маска динамическая и ее нужно переназначать снова и снова, мой метод может быть более эффективным:
источник
Другой способ, как этого добиться, - использовать
pandas.DataFrame.query()
метод. Позвольте мне показать вам пример следующего фрейма данныхdf
.В качестве аргумента используйте условие для фильтрации следующим образом:
Если вы не хотите включать границы, просто измените условие следующим образом:
источник
Я предпочитаю не изменять
df
.Опция для извлечения
index
изstart
иend
дат:что приводит к:
источник