Установите искру в воздушном потоке

pip3 install apache-airflow-providers-apache-spark
pip3 install apache-airflow-providers-cncf-kubernetes
Bright Bear