Может использовать доступ .dt только с датскими значениями
df['Date'] = pd.to_datetime(df['Date'], errors='coerce')
Strange Swan
df['Date'] = pd.to_datetime(df['Date'], errors='coerce')