Преобразование строки pyspark в формат даты

80

У меня есть дата-фрейм pyspark со строковым столбцом в формате, MM-dd-yyyyи я пытаюсь преобразовать его в столбец даты.

Я старался:

df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()

и я получаю строку нулей. Кто-нибудь может помочь?

Дженкс
источник
Если вы не используете одно из надстроек TimeSeriesRDD (см. Обсуждение на конференции Spark 2016, я знаю два, но оба все еще находятся в разработке), отличных инструментов для временных рядов не так много. Соответственно, я обнаружил, что редко есть причина беспокоиться о преобразовании строк в объекты datetime, если ваша цель - различные типы операций groupByили операций повторной выборки. Просто выполните их на строковых столбцах.
Джефф
Анализ будет проводиться с использованием небольшого количества материалов или их отсутствия, groupByа скорее с использованием продольных исследований медицинских записей. Поэтому важно иметь возможность манипулировать датой,
Дженкс

Ответы:

114

Обновление (10.01.2018):

Для Spark 2.2+ лучший способ сделать это, вероятно, - использовать функции to_dateили to_timestamp, которые поддерживают formatаргумент. Из документов:

>>> from pyspark.sql.functions import to_timestamp
>>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
>>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect()
[Row(dt=datetime.datetime(1997, 2, 28, 10, 30))]

Исходный ответ (для Spark <2.2)

Можно (желательно?) Сделать это без udf:

from pyspark.sql.functions import unix_timestamp, from_unixtime

df = spark.createDataFrame(
    [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)], 
    ['date_str']
)

df2 = df.select(
    'date_str', 
    from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date')
)

print(df2)
#DataFrame[date_str: string, date: timestamp]

df2.show(truncate=False)
#+----------+-------------------+
#|date_str  |date               |
#+----------+-------------------+
#|11/25/1991|1991-11-25 00:00:00|
#|11/24/1991|1991-11-24 00:00:00|
#|11/30/1991|1991-11-30 00:00:00|
#+----------+-------------------+
сантон
источник
3
Это правильный ответ. Использование udf для этого разрушит вашу производительность.
gberger 05
8
from pyspark.sql.functions import from_unixtime, unix_timestamp
Quetzalcoatl
Обратите внимание, что вы можете найти ссылку на формат даты Java здесь: docs.oracle.com/javase/6/docs/api/java/text/…
RobinL
3
Также обратите внимание, что to_date()аргумент формата - это искра 2.2+. to_dateсуществовал до 2.2, но вариант формата не существовал
RobinL
41
from datetime import datetime
from pyspark.sql.functions import col, udf
from pyspark.sql.types import DateType



# Creation of a dummy dataframe:
df1 = sqlContext.createDataFrame([("11/25/1991","11/24/1991","11/30/1991"), 
                            ("11/25/1391","11/24/1992","11/30/1992")], schema=['first', 'second', 'third'])

# Setting an user define function:
# This function converts the string cell into a date:
func =  udf (lambda x: datetime.strptime(x, '%m/%d/%Y'), DateType())

df = df1.withColumn('test', func(col('first')))

df.show()

df.printSchema()

Вот результат:

+----------+----------+----------+----------+
|     first|    second|     third|      test|
+----------+----------+----------+----------+
|11/25/1991|11/24/1991|11/30/1991|1991-01-25|
|11/25/1391|11/24/1992|11/30/1992|1391-01-17|
+----------+----------+----------+----------+

root
 |-- first: string (nullable = true)
 |-- second: string (nullable = true)
 |-- third: string (nullable = true)
 |-- test: date (nullable = true)
Хьюго Рейес
источник
6
Здесь udfне должно быть необходимости, но встроенные модули для обработки этого ужасны. Я бы сейчас тоже этим занимался.
Джефф
3
Почему даты в тестовом столбце не совпадают с первым столбцом? Да, теперь это тип даты, но дни и месяцы не совпадают. Есть причина?
Дженкс,
1
test выдает неверные значения даты. Это неправильный ответ.
Shehryar 06
1
Любое решение с UDF - это не ответ, а обходной путь. Я не думаю, что есть много вариантов использования, которые нельзя сделать, комбинируя PSF и саму .transform ().
sumon c
28

Подход strptime () у меня не работает. Я получаю другое более чистое решение, используя cast:

from pyspark.sql.types import DateType
spark_df1 = spark_df.withColumn("record_date",spark_df['order_submitted_date'].cast(DateType()))
#below is the result
spark_df1.select('order_submitted_date','record_date').show(10,False)

+---------------------+-----------+
|order_submitted_date |record_date|
+---------------------+-----------+
|2015-08-19 12:54:16.0|2015-08-19 |
|2016-04-14 13:55:50.0|2016-04-14 |
|2013-10-11 18:23:36.0|2013-10-11 |
|2015-08-19 20:18:55.0|2015-08-19 |
|2015-08-20 12:07:40.0|2015-08-20 |
|2013-10-11 21:24:12.0|2013-10-11 |
|2013-10-11 23:29:28.0|2013-10-11 |
|2015-08-20 16:59:35.0|2015-08-20 |
|2015-08-20 17:32:03.0|2015-08-20 |
|2016-04-13 16:56:21.0|2016-04-13 |
Фрэнк
источник
7
Спасибо, у меня такой подход сработал! В случае , если кто - то хочет , чтобы преобразовать строку как 2008-08-01T14:45:37Zв метку времени вместо даты, df = df.withColumn("CreationDate",df['CreationDate'].cast(TimestampType()))работает хорошо ... (Спарк 2.2.0)
Gaurav
1
Я пробовал этот вариант среди многих из pyspark AWS Glue, работает отлично!
Abhi
11

В принятом обновлении ответа вы не видите пример для to_dateфункции, поэтому другое решение, использующее его, будет:

from pyspark.sql import functions as F

df = df.withColumn(
            'new_date',
                F.to_date(
                    F.unix_timestamp('STRINGCOLUMN', 'MM-dd-yyyy').cast('timestamp')))
Манрике
источник
1
выполнение простого to_date () не работает, это правильный ответ
ski_squaw
6

возможно, не так много ответов, поэтому я хочу поделиться своим кодом, который может кому-то помочь

from pyspark.sql import SparkSession
from pyspark.sql.functions import to_date

spark = SparkSession.builder.appName("Python Spark SQL basic example")\
    .config("spark.some.config.option", "some-value").getOrCreate()


df = spark.createDataFrame([('2019-06-22',)], ['t'])
df1 = df.select(to_date(df.t, 'yyyy-MM-dd').alias('dt'))
print df1
print df1.show()

вывод

DataFrame[dt: date]
+----------+
|        dt|
+----------+
|2019-06-22|
+----------+

приведенный выше код для преобразования в дату, если вы хотите преобразовать дату и время, используйте to_timestamp. дайте мне знать, если у вас есть сомнения.

Сантош Кумар Манда
источник
1

Попробуй это:

df = spark.createDataFrame([('2018-07-27 10:30:00',)], ['Date_col'])
df.select(from_unixtime(unix_timestamp(df.Date_col, 'yyyy-MM-dd HH:mm:ss')).alias('dt_col'))
df.show()
+-------------------+  
|           Date_col|  
+-------------------+  
|2018-07-27 10:30:00|  
+-------------------+  
Вишваджит Пол
источник
7
Вы можете подумать о том, как улучшить ваш ответ по сравнению с тем, что уже было предоставлено и принято.
chb