У меня есть сценарий, который считывает данные из файла CSV в, data.table
а затем разбивает текст в одном столбце на несколько новых столбцов. Я в настоящее время с помощью lapply
и strsplit
функции , чтобы сделать это. Вот пример:
library("data.table")
df = data.table(PREFIX = c("A_B","A_C","A_D","B_A","B_C","B_D"),
VALUE = 1:6)
dt = as.data.table(df)
# split PREFIX into new columns
dt$PX = as.character(lapply(strsplit(as.character(dt$PREFIX), split="_"), "[", 1))
dt$PY = as.character(lapply(strsplit(as.character(dt$PREFIX), split="_"), "[", 2))
dt
# PREFIX VALUE PX PY
# 1: A_B 1 A B
# 2: A_C 2 A C
# 3: A_D 3 A D
# 4: B_A 4 B A
# 5: B_C 5 B C
# 6: B_D 6 B D
В приведенном выше примере столбец PREFIX
разделен на два новых столбца PX
и PY
символ «_».
Несмотря на то, что это работает нормально, мне было интересно, есть ли лучший (более эффективный) способ сделать это с помощью data.table
. Мои настоящие наборы данных содержат> = 10 млн + строк, поэтому эффективность использования времени / памяти становится действительно важной.
ОБНОВИТЬ:
Следуя предложению @Frank, я создал более крупный тестовый пример и использовал предложенные команды, но это stringr::str_split_fixed
занимает намного больше времени, чем исходный метод.
library("data.table")
library("stringr")
system.time ({
df = data.table(PREFIX = rep(c("A_B","A_C","A_D","B_A","B_C","B_D"), 1000000),
VALUE = rep(1:6, 1000000))
dt = data.table(df)
})
# user system elapsed
# 0.682 0.075 0.758
system.time({ dt[, c("PX","PY") := data.table(str_split_fixed(PREFIX,"_",2))] })
# user system elapsed
# 738.283 3.103 741.674
rm(dt)
system.time ( {
df = data.table(PREFIX = rep(c("A_B","A_C","A_D","B_A","B_C","B_D"), 1000000),
VALUE = rep(1:6, 1000000) )
dt = as.data.table(df)
})
# user system elapsed
# 0.123 0.000 0.123
# split PREFIX into new columns
system.time ({
dt$PX = as.character(lapply(strsplit(as.character(dt$PREFIX), split="_"), "[", 1))
dt$PY = as.character(lapply(strsplit(as.character(dt$PREFIX), split="_"), "[", 2))
})
# user system elapsed
# 33.185 0.000 33.191
Таким образом, str_split_fixed
метод занимает примерно в 20 раз больше времени.
источник
stringr
пакет, это команда:str_split_fixed(PREFIX,"_",2)
. Я не отвечаю, потому что я не проверял ускорение ... Или, за один шаг:dt[,c("PX","PY"):=data.table(str_split_fixed(PREFIX,"_",2))]
Ответы:
Обновление: начиная с версии 1.9.6 (на CRAN по состоянию на сентябрь 2015 г.), мы можем использовать функцию
tstrsplit()
для получения результатов напрямую (и гораздо более эффективно):require(data.table) ## v1.9.6+ dt[, c("PX", "PY") := tstrsplit(PREFIX, "_", fixed=TRUE)] # PREFIX VALUE PX PY # 1: A_B 1 A B # 2: A_C 2 A C # 3: A_D 3 A D # 4: B_A 4 B A # 5: B_C 5 B C # 6: B_D 6 B D
tstrsplit()
в основном представляет собой оболочкуtranspose(strsplit())
, гдеtranspose()
функция, также недавно реализованная, перемещает список. Пожалуйста, посмотрите?tstrsplit()
и?transpose()
примеры.Смотрите в истории старые ответы.
источник
fread
, но для этого Мне пришлось использоватьtempfile
(что, казалось бы, было бы узким местом), поскольку не похоже, что онfread
имеет эквивалентtext
аргументу. При тестировании с этими образцами данных его производительность находится между вашими подходамиa_spl
иa_sub
подходами.Я добавляю ответ для тех, кто не использует
data.table
v1.9.5 и также хочет однострочное решение.dt[, c('PX','PY') := do.call(Map, c(f = c, strsplit(PREFIX, '-'))) ]
источник
Использование
splitstackshape
пакета:library(splitstackshape) cSplit(df, splitCols = "PREFIX", sep = "_", direction = "wide", drop = FALSE) # PREFIX VALUE PREFIX_1 PREFIX_2 # 1: A_B 1 A B # 2: A_C 2 A C # 3: A_D 3 A D # 4: B_A 4 B A # 5: B_C 5 B C # 6: B_D 6 B D
источник
Мы могли бы попробовать:
cbind(dt, fread(text = dt$PREFIX, sep = "_", header = FALSE)) # PREFIX VALUE V1 V2 # 1: A_B 1 A B # 2: A_C 2 A C # 3: A_D 3 A D # 4: B_A 4 B A # 5: B_C 5 B C # 6: B_D 6 B D
источник
Решение с tidyr:
separate(df,col = "PREFIX",into = c("PX", "PY"), sep = "_")
источник