Может использовать доступ .dt только с датскими значениями

df['Date'] = pd.to_datetime(df['Date'], errors='coerce')
Strange Swan