df.write с использованием другого разделителя

df.write.option("sep","|").option("header","true").csv(filename)
Energetic Eland